RuntimeError: Boolean value of Tensor with more than one value is ambiguous這行紅字我估計(jì)只要你用 PyTorch 寫過(guò)超過(guò)一周的訓(xùn)練腳本就一定在終端里見(jiàn)過(guò)它。它不講道理的地方在于代碼看起來(lái)完全沒(méi)問(wèn)題就是一句普普通通的if昨天還能跑今天把 batch size 從 1 改成 32 就直接崩了。很多人第一反應(yīng)是去查顯存、查數(shù)據(jù)、查版本其實(shí)這個(gè)報(bào)錯(cuò)跟 GPU、跟環(huán)境、跟依賴版本都沒(méi)關(guān)系它說(shuō)的是一個(gè)非常純粹的 Python 語(yǔ)義問(wèn)題你把一個(gè)裝了多個(gè)元素的 Tensor 丟進(jìn)了需要布爾值的地方PyTorch 不肯替你猜這么多元素里到底算真還是算假于是就地報(bào)錯(cuò)。這篇內(nèi)容我打算把這個(gè)問(wèn)題從根上講透Boolean value是怎么被觸發(fā)的、Tensor 的真值判斷到底遵循什么規(guī)則、哪些寫法看著人畜無(wú)害實(shí)則埋雷、以及修好之后怎么讓它以后不再?gòu)?fù)發(fā)。會(huì)寫代碼的同學(xué)可以直接抄第 3 節(jié)的對(duì)照表剛?cè)腴T、還在跟著教程跑訓(xùn)練循環(huán)的同學(xué)建議從第 1 節(jié)順著看因?yàn)椴焕斫鈅_bool__這個(gè)協(xié)議你以后還會(huì)在and、or、in、assert這些地方反復(fù)踩同一個(gè)坑。1. 報(bào)錯(cuò)從哪來(lái)Python 的真值判斷與 Tensor 的邊界1.1 Python 里任何對(duì)象都能進(jìn) if靠的是bool協(xié)議Python 的if obj:之所以對(duì)什么對(duì)象都能用是因?yàn)檎Z(yǔ)言層面定義了一套真值測(cè)試協(xié)議。執(zhí)行bool(obj)時(shí)解釋器按順序做三件事先找type(obj).__bool__有就調(diào)用它拿結(jié)果如果沒(méi)有__bool__退一步找__len__用長(zhǎng)度是否為 0來(lái)判定真假兩樣都沒(méi)有那這個(gè)對(duì)象一律視為真。這套協(xié)議是 Python 讓人覺(jué)得順手的重要原因?？樟斜硎羌佟⒎强樟斜硎钦?是假、1是真None是假、空字符串是假、float(nan)反而是真——每個(gè)類型自己決定什么叫真。對(duì)絕大多數(shù)業(yè)務(wù)對(duì)象來(lái)說(shuō)這個(gè)默認(rèn)規(guī)則夠用甚至有__len__的容器還能順帶獲得非空即真的直覺(jué)語(yǔ)義。問(wèn)題在于這套協(xié)議默認(rèn)允許任何對(duì)象都能被問(wèn)一句你是真是假。當(dāng)這個(gè)對(duì)象是一張裝了 1024 個(gè)浮點(diǎn)數(shù)的 Tensor 時(shí)這個(gè)問(wèn)題本身就變得沒(méi)有唯一答案了是全部元素非零才算真任一元素非零就算真還是多數(shù)元素非零三種定義都能自圓其說(shuō)誰(shuí)也沒(méi)比誰(shuí)更正確。PyTorch 的做法很干脆單元素張量numel() 1就返回這個(gè)元素是不是非零多元素張量直接拋RuntimeError: Boolean value of Tensor with more than one value is ambiguous。注意這里的措辭是 ambiguous有歧義不是 illegal非法。它其實(shí)在說(shuō)我能算但我不想替你決定。1.2 PyTorch 為什么偏要在這件事上直接報(bào)錯(cuò)我一開(kāi)始也覺(jué)得這個(gè)設(shè)計(jì)有點(diǎn)不近人情畢竟選一個(gè)默認(rèn)語(yǔ)義比如任一為真就能讓代碼跑下去。后來(lái)自己維護(hù)過(guò)一段時(shí)間的訓(xùn)練框架才明白如果 PyTorch 真這么干了后果比報(bào)錯(cuò)嚴(yán)重得多。設(shè)想if (pred label):這句話。在大 batch 訓(xùn)練里pred label返回的是一張逐元素比較的布爾張量。如果框架按任一為真來(lái)算那么這句話的含義就變成了這批樣本里只要有一個(gè)預(yù)測(cè)對(duì)了就進(jìn) if 分支。這跟寫代碼的人心里想的這批全對(duì)了完全是兩碼事而且它不會(huì)報(bào)錯(cuò)只會(huì)讓準(zhǔn)確率莫名其妙地卡在某個(gè)奇怪的位置。更麻煩的是這種隱式行為會(huì)被依賴。一旦有人寫了if loss_vector:而它能跑后面接手的人就必須去翻 PyTorch 源碼才能知道這行到底在判斷什么。所以直接拋異常把歧義摁在開(kāi)發(fā)階段暴露出來(lái)是更負(fù)責(zé)任的選擇。有意思的是 NumPy 在這一點(diǎn)上思路一致只是歸屬類型不同報(bào)的是ValueError: The truth value of an array with more than one value is ambiguous而 pandas 的 Series 更嚴(yán)格連單元素都傾向于不讓你這么寫。各家?guī)煸谶@個(gè)問(wèn)題上都選擇了寧可報(bào)錯(cuò)不要猜測(cè)。1.3 報(bào)錯(cuò)信息里最該盯的三行這個(gè)報(bào)錯(cuò)的堆棧通常很長(zhǎng)中間還夾著tqdm、DataLoader、nn.Module.forward這些別人的代碼。我習(xí)慣按下面三步看基本十幾秒就能定位。第一看堆棧最底部那一幀它一定落在 Tensor 的真值轉(zhuǎn)換上。這就是報(bào)錯(cuò)的物理位置但它不是你寫錯(cuò)的那行。第二從底部往上找第一幀屬于你自己項(xiàng)目目錄的文件。這一行才是需要改的地方通常就是我們自己寫的某個(gè)if。第三看這一行涉及的變量是什么類型、什么形狀。這一步最容易漏也最關(guān)鍵。很多情況下問(wèn)題不在這一行的寫法而在于上一行喂進(jìn)來(lái)的東西形狀變了——比如本來(lái)是個(gè)標(biāo)量 loss結(jié)果某次改動(dòng)之后變成了[B]的向量。注意這個(gè)報(bào)錯(cuò)可能出現(xiàn)在完全意想不到的位置比如日志格式化、進(jìn)度條更新、斷點(diǎn)續(xù)訓(xùn)的檢查邏輯里。別只盯著 loss 相關(guān)的那幾行。2. 四類高頻觸發(fā)場(chǎng)景邊復(fù)現(xiàn)邊講2.1 if 語(yǔ)句直接接張量batch size 一變就炸最常見(jiàn)的場(chǎng)景就是if后面直接跟張量。典型代碼如下preds model(batch) if preds: print(有輸出)這段代碼在 batch size 為 1 時(shí)是能跑的因?yàn)檩敵鲂螤钍?1, C)numel()不等于 1 啊——等一下這里要分清楚。如果模型最終做了聚合輸出形狀是(1,)或()那numel()確實(shí)等于 1代碼能跑如果輸出是(1, 10)numel() 10照樣報(bào)錯(cuò)。所以真正決定能不能跑的不是 batch size 本身而是張量元素總數(shù)。這也解釋了一個(gè)特別典型的排查困惑小數(shù)據(jù)集上跑得好好的換全量數(shù)據(jù)就崩。小數(shù)據(jù)集上你可能只用了 1 個(gè)樣本做 smoke test某個(gè)中間變量恰好退化成單元素?cái)?shù)據(jù)一多它恢復(fù)成正常的批量形狀if立刻失效。同樣高頻的還有幾個(gè)變體if (preds labels): # 逐元素比較批量下必炸 if (preds.argmax(1) labels).sum(): # sum 返回單元素反而能跑但語(yǔ)義可疑 if batch[mask]: # 變長(zhǎng)序列場(chǎng)景里的?？?if self.transform: # Dataset 里判斷增強(qiáng)是否存在最后一條值得單獨(dú)說(shuō)。self.transform如果是Noneif self.transform:是安全的但如果它被賦成了張量有些自定義 Dataset 會(huì)把變換矩陣存成 Tensor那就危險(xiǎn)了。這類參數(shù)既可能是 None 也可能是 Tensor的寫法在配置驅(qū)動(dòng)的代碼里特別多見(jiàn)。2.2 and / or / not 的隱式轉(zhuǎn)換最陰險(xiǎn)and和or是我認(rèn)為最需要警惕的一類。很多人知道它們會(huì)做真值判斷但沒(méi)意識(shí)到A and B返回的不是布爾值而是操作數(shù)本身——如果 A 為假就返回 A否則返回 B。這意味著只要 A 或 B 的位置上出現(xiàn)了多元素張量就會(huì)觸發(fā)真值轉(zhuǎn)換。# 危險(xiǎn)寫法一 threshold cfg.get(threshold) or 0.5 # 危險(xiǎn)寫法二 if step % 10 0 and loss_vector 1: print(loss_vector)有意思的是第二種在多數(shù)情況下不會(huì)報(bào)錯(cuò)。因?yàn)閘oss_vector通常是個(gè)numel() 1的標(biāo)量張量比如已經(jīng) mean 過(guò)的 loss單元素張量可以正常轉(zhuǎn) bool判斷它是否非零。所以and和單元素張量配合時(shí)是合法的很多人寫了半年都沒(méi)事直到某天為了看更細(xì)的指標(biāo)把 loss 拆成了[B]的逐樣本向量代碼就開(kāi)始崩了。這不是and變壞了是張量的元素個(gè)數(shù)變了。順帶說(shuō)一個(gè)和and經(jīng)常被混淆的東西位運(yùn)算符。在張量上要做邏輯與正確寫法是而不是andmask (logits 0) (logits 1) # 逐元素形狀不變 if mask.all(): # 需要顯式歸約 ...返回的還是張量所以它不能直接接在if后面。而且的優(yōu)先級(jí)比比較運(yùn)算符高logits 0 logits 1會(huì)被解析成logits (0 logits) 1寫成這樣幾乎必錯(cuò)括號(hào)一定要加。這個(gè)優(yōu)先級(jí)坑跟張量無(wú)關(guān)是 Python 語(yǔ)法本身的設(shè)定但因?yàn)樗?jīng)常和這個(gè)報(bào)錯(cuò)一起出現(xiàn)我把它放在這里一起說(shuō)了。2.3 in、max、sorted、字典取值里的暗雷除了if和邏輯運(yùn)算符還有幾個(gè)地方會(huì)偷偷調(diào)用bool()。in運(yùn)算符是重災(zāi)區(qū)。if 1 in tensor:看起來(lái)完全合理實(shí)際執(zhí)行時(shí) Python 會(huì)把它翻譯成遍歷 tensor 的每個(gè)元素用比較再對(duì)結(jié)果做真值判斷多元素時(shí)立刻拋錯(cuò)。正確寫法是先歸約再判斷if (tensor 1).any(): # 存在性判斷 if (tensor 1).all(): # 全等判斷max()和sorted()同樣有問(wèn)題。max(a, b)內(nèi)部用比較兩個(gè)張量得到的是張量而不是布爾值接著必須轉(zhuǎn)成真值才能決定哪個(gè)大多元素時(shí)炸。張量的逐元素最大值請(qǐng)用torch.maximum(a, b)或torch.where。sorted(list_of_tensors)同理別指望它按什么順序排。字典這塊有個(gè)容易被忽略的點(diǎn)Tensor 是可以做字典鍵的但它的哈希是按對(duì)象身份來(lái)的不是按數(shù)值內(nèi)容。也就是說(shuō)torch.tensor([1])和另一個(gè)torch.tensor([1])會(huì)被當(dāng)成兩個(gè)不同的鍵d[tensor]查不到東西但你不會(huì)看到任何報(bào)錯(cuò)。另外if d.get(key):這種寫法如果 value 是張量同樣會(huì)走真值轉(zhuǎn)換。這類問(wèn)題不常出現(xiàn)但一旦出現(xiàn)非常難查因?yàn)樗粓?bào)錯(cuò)。還有一個(gè)更隱蔽的assert tensor_a tensor_b。assert會(huì)對(duì)表達(dá)式結(jié)果做真值判斷返回張量多元素炸。要用assert torch.equal(a, b)或assert (a b).all()。2.4 元組解包與函數(shù)返回值里的連鎖反應(yīng)最后一類是比較繞的報(bào)錯(cuò)發(fā)生在你沒(méi)有直接操作張量的地方。比如你寫了個(gè)校驗(yàn)函數(shù)def check_batch(batch): ... return ok_flag, info調(diào)用方寫if check_batch(batch)[0]:如果ok_flag返回的是張量而不是 Python 布爾就在調(diào)用方炸堆棧會(huì)指向調(diào)用方那一行看起來(lái)和你寫的check_batch毫無(wú)關(guān)系。再比如自定義 Dataset 的__getitem__返回字典DataLoader用collate_fn拼成批量后某些 key 原來(lái)是單樣本張量、拼接后變成了[B, ...]。如果你在collate_fn里寫了if sample[mask]:單樣本時(shí)能跑可能是單元素批量時(shí)炸。判斷類型、判斷 None、判斷長(zhǎng)度這三件事本身是安全的因?yàn)閕sinstance返回真布爾、is None返回真布爾、len()返回整數(shù)。不安全的只有一件事對(duì)張量的內(nèi)容做真值判斷。把這條規(guī)則記牢就能避開(kāi)上面所有變體。3. 修復(fù)寫法對(duì)照表從能跑對(duì)到寫得穩(wěn)3.1 any / all / numel 三種語(yǔ)義別混修這個(gè)報(bào)錯(cuò)的核心是先想清楚你到底想問(wèn)什么。我把常見(jiàn)的三種語(yǔ)義列出來(lái)你想問(wèn)的問(wèn)題正確寫法說(shuō)明有沒(méi)有任何一個(gè)元素滿足條件t.any()存在性常用于掩碼非空是不是所有元素都滿足條件t.all()全量校驗(yàn)常用于斷言這個(gè)張量是不是只有一個(gè)元素t.numel() 1形狀校驗(yàn)不是內(nèi)容校驗(yàn)這個(gè)標(biāo)量的值是多少t.item()只對(duì)單元素有效any()和all()返回的還是單元素張量所以嚴(yán)格來(lái)說(shuō)要再.item()一次才變成 Python 布爾——但在if里直接用是合法的因?yàn)閱卧貜埩靠梢哉＾D(zhuǎn) bool。我個(gè)人的習(xí)慣是判斷分支直接用if mask.any():需要把值存下來(lái)或做算術(shù)時(shí)再加.item()。提示len(tensor)返回的是第一維大小不是元素總數(shù)。對(duì)形狀(1, 10)的張量len()等于 1容易讓人誤以為這是個(gè)標(biāo)量。判斷單元素請(qǐng)用numel()。3.2 item() 的代價(jià)與替代方案.item()是把張量元素取成 Python 標(biāo)量的標(biāo)準(zhǔn)做法但它有一個(gè)性能代價(jià)如果張量在 GPU 上.item()會(huì)觸發(fā)一次設(shè)備同步把計(jì)算圖等在那里直到數(shù)據(jù)拷回主機(jī)。在訓(xùn)練循環(huán)里每步都調(diào)用累積起來(lái)可能吃掉相當(dāng)一部分吞吐。幾個(gè)替代策略# 1. 只在日志間隔上同步 if step % 50 0: logger.info(loss%.4f, loss.item()) # 2. 累積到 CPU 列表里最后統(tǒng)一處理 loss_history.append(loss.detach()) ... mean_loss torch.stack(loss_history).mean().item() # 3. 需要多次使用時(shí)取一次存起來(lái) loss_val loss.item() if loss_val best: best loss_val還有兩個(gè)容易踩的邊角.item()對(duì)多元素張量會(huì)報(bào)另一個(gè)錯(cuò)ValueError: only one element tensors can be converted to Python scalars別看錯(cuò)成同一個(gè)問(wèn)題.tolist()對(duì)多元素返回嵌套列表適合把整個(gè)張量搬回 Python 側(cè)做后續(xù)處理代價(jià)更高但語(yǔ)義清晰。float(t)和int(t)是.item()的語(yǔ)法糖限制一樣只對(duì)單元素有效。3.3 比較類操作的正確姿勢(shì)torch.equal 與 allclose判斷兩個(gè)張量相等這件事得分成兩種需求。形狀和值都要求完全一致時(shí)用torch.equal(a, b)。它返回一個(gè)真正的 Python 布爾可以直接進(jìn)if和assert而且它的語(yǔ)義就是形狀相同且逐元素相等不會(huì)有歧義。涉及浮點(diǎn)數(shù)時(shí)別用用torch.allclose(a, b, rtol1e-5, atol1e-8)同樣返回 Python 布爾。這里的兩個(gè)參數(shù)值得說(shuō)清楚rtol是相對(duì)容差管大數(shù)值的量級(jí)誤差atol是絕對(duì)容差管接近零的那些元素。調(diào)參經(jīng)驗(yàn)上如果你的張量里有大量接近 0 的值atol要給得稍微寬松一點(diǎn)否則會(huì)因?yàn)榻財(cái)嗾`差被判不相等。做精度對(duì)齊、結(jié)果復(fù)現(xiàn)驗(yàn)證的時(shí)候這兩個(gè)參數(shù)基本決定了你的測(cè)試是穩(wěn)定通過(guò)還是隨機(jī)飄紅。如果只是想統(tǒng)計(jì)這批里有多少預(yù)測(cè)對(duì)了不要去構(gòu)造整體布爾判斷直接做歸約acc (preds.argmax(1) labels).float().mean().item()這樣既有數(shù)值結(jié)果又完全不碰真值轉(zhuǎn)換是最安全的寫法。3.4 封裝一個(gè) safe_bool 工具函數(shù)如果你維護(hù)的是一個(gè)多人協(xié)作的框架團(tuán)隊(duì)里總有人會(huì)寫出if tensor:。與其靠代碼評(píng)審一遍遍抓不如提供一個(gè)統(tǒng)一的工具函數(shù)把語(yǔ)義顯式化import torch def safe_bool(x, modeany): 把可能是張量的值安全地轉(zhuǎn)成 Python 布爾。 mode: any 存在性 / all 全量 / scalar 只接受單元素 if isinstance(x, torch.Tensor): if x.numel() 1: return bool(x.item()) if mode any: return bool(x.any().item()) if mode all: return bool(x.all().item()) raise ValueError(f張量元素?cái)?shù)為 {x.numel()}無(wú)法按 {mode} 之外的語(yǔ)義判斷) return bool(x)這個(gè)函數(shù)最重要的不是省事而是它強(qiáng)制使用者在調(diào)用時(shí)寫明語(yǔ)義。mode參數(shù)的存在本身就是一句提醒你到底想表達(dá)有一個(gè)滿足還是全部滿足我見(jiàn)過(guò)太多線上事故是因?yàn)楫?dāng)初隨手寫了個(gè)含糊的判斷幾個(gè)月后沒(méi)人說(shuō)得清它原本想干什么。不過(guò)要提醒一句別把這個(gè)函數(shù)當(dāng)成萬(wàn)能膠到處抹。它適合用在配置解析、參數(shù)校驗(yàn)這類邊界處訓(xùn)練主流程里的核心邏輯還是應(yīng)該老老實(shí)實(shí)寫.all()或.any()讓讀代碼的人一眼看清意圖。4. 提前攔截把這類錯(cuò)誤擋在訓(xùn)練之前4.1 assert 用法與 -O 模式的坑assert是排查這類問(wèn)題最順手的工具但它有個(gè)致命的坑Python 用-O優(yōu)化模式運(yùn)行時(shí)所有assert會(huì)被整體剔除。如果你的關(guān)鍵校驗(yàn)邏輯比如輸入形狀必須是二維只寫在assert里那線上跑python -O的時(shí)候它就消失了問(wèn)題會(huì)以更難定位的形式炸在別處。所以我的原則是assert只用來(lái)做開(kāi)發(fā)期的自檢線上必須成立的約束要用顯式的if raiseif not isinstance(labels, torch.Tensor): raise TypeError(flabels 應(yīng)為 Tensor實(shí)際是 {type(labels)}) if labels.numel() 0: raise ValueError(labels 為空) if not torch.is_floating_point(logits): raise TypeError(logits 需要是浮點(diǎn)類型)另一個(gè)細(xì)節(jié)是不要在assert里放有副作用的表達(dá)式比如assert self.counter.next() 0。優(yōu)化模式下這行整體消失next()就不會(huì)被調(diào)用行為在兩種運(yùn)行模式下不一致是典型的本地好好的線上全亂的成因。4.2 斷點(diǎn)調(diào)試與張量形狀日志真正卡住的時(shí)候打印比讀代碼有用得多。我常用的手法是在可疑的if前加一行臨時(shí)探針print(type(x), getattr(x, shape, None), getattr(x, dtype, None))一行就能區(qū)分三種情況x 是標(biāo)量張量形狀()或(1,)、x 是多元素張量形狀(B, ...)、x 根本不是張量那報(bào)錯(cuò)就另有原因。用breakpoint()Python 3.7 內(nèi)置比print更高效進(jìn)到 pdb 之后幾個(gè)命令基本夠用p x.shape看形狀p x.numel()看元素?cái)?shù)p type(x)看類型p x.requires_grad看是否需要梯度w看調(diào)用棧u和d上下移動(dòng)棧幀。在 pytest 里加--pdb參數(shù)失敗時(shí)會(huì)自動(dòng)停在現(xiàn)場(chǎng)省去加print再重跑的時(shí)間。日志側(cè)可以調(diào)一下打印選項(xiàng)讓張量輸出更好讀torch.set_printoptions(profileshort, sci_modeFalse, linewidth120)profileshort會(huì)縮減打印的元素?cái)?shù)量sci_modeFalse關(guān)掉科學(xué)計(jì)數(shù)法讀小數(shù)值時(shí)舒服很多。訓(xùn)練腳本里我還會(huì)給關(guān)鍵張量打上形狀標(biāo)簽比如logger.debug(key%s shape%s, name, tuple(t.shape))和同事對(duì)日志時(shí)能省不少溝通成本。4.3 單元測(cè)試與代碼審查清單防復(fù)發(fā)最有效的手段是測(cè)試?yán)锩鞔_包含一個(gè) batch size 大于 1 的用例。我見(jiàn)過(guò)太多項(xiàng)目的單測(cè)只跑 1 個(gè)樣本因?yàn)榭?。結(jié)果就是所有依賴單元素退化成標(biāo)量的隱式錯(cuò)誤全被掩蓋了。折中方案是冒煙測(cè)試用小批量但至少保留一個(gè) batch size 為 2 或 4 的用例專門覆蓋數(shù)據(jù)流。代碼審查時(shí)我會(huì)重點(diǎn)看這幾類寫法做成清單貼在團(tuán)隊(duì)文檔里審查點(diǎn)危險(xiǎn)信號(hào)建議改法真值判斷if tensor:、if not tensor:改成is not None或.any()邏輯運(yùn)算a and b中任一是張量改并加括號(hào)或先歸約成員判斷x in tensor改(tensor x).any()比較斷言assert a b改assert torch.equal(a, b)參數(shù)默認(rèn)值param or defaultparam 可能是張量改default if param is None else param大小比較max(t1, t2)、sorted(...)改torch.maximum或先取標(biāo)量這份清單里最后兩條最容易被忽視因?yàn)樗鼈冊(cè)诖a里看起來(lái)完全不像張量操作。尤其param or default這個(gè)寫法在配置解析代碼里幾乎隨處可見(jiàn)出問(wèn)題的概率取決于配置值恰好是什么類型——屬于典型的偶發(fā)性 bug測(cè)試覆蓋率不夠根本抓不到。5. 常見(jiàn)問(wèn)題速查表與踩坑實(shí)錄5.1 排查流程五步走遇到這個(gè)報(bào)錯(cuò)我的一般流程是第一步確認(rèn)報(bào)錯(cuò)確實(shí)是這個(gè)明確的RuntimeError文本而不是ValueError: only one element tensors...。后者的含義完全不同指的是.item()用錯(cuò)了對(duì)象。第二步從堆棧底部往上找第一幀自己的代碼鎖定那一行。第三步打印該行涉及的變量類型、形狀、元素?cái)?shù)。區(qū)分這張量多大和這張量是什么。第四步問(wèn)自己我原本想判斷什么。這里有個(gè)小技巧如果一行代碼你看了 5 秒還沒(méi)想清楚它的語(yǔ)義那它原本的設(shè)計(jì)就是有問(wèn)題的不要試圖原樣修好它直接重寫。第五步改完在 batch size 大于 1 的用例上回歸一遍。這點(diǎn)千萬(wàn)別省很多修復(fù)在單樣本下能過(guò)在大批量下又是另一個(gè)錯(cuò)。5.2 速查表報(bào)錯(cuò)出現(xiàn)的寫法根本原因推薦修法if logits:多元素張量做真值判斷if logits.numel() 0:或.any()if a and b:and 隱式調(diào) bool拆成兩個(gè) if或歸約后比較if x in tensor:in 走逐元素比較(tensor x).any()assert a b逐元素比較結(jié)果做真值torch.equal(a, b)cfg[th] or 0.5or 對(duì)張量做真值判斷0.5 if x is None else xmax(loss_list)張量比較返回張量先.item()再比或torch.stack().max()if d.get(k):value 是張量if d.get(k) is not None:collate 里的if sample[m]:單樣本能跑批量炸if sample[m].numel() 0:5.3 幾個(gè)容易誤判的案例有幾個(gè)場(chǎng)景報(bào)錯(cuò)文本一樣但根因完全不同值得單獨(dú)拎出來(lái)說(shuō)。第一個(gè)是分布式訓(xùn)練里的if rank:。rank如果是通過(guò)torch.distributed拿到再經(jīng)過(guò)張量運(yùn)算得到的比如從某個(gè)張量里取出來(lái)的那它可能是張量而不是 Python 整數(shù)。多卡環(huán)境下判斷是不是主進(jìn)程永遠(yuǎn)寫成if rank 0:這樣即使 rank 是單元素張量也安全。第二個(gè)是混合精度相關(guān)的分支。if scaler:這類判斷如果 scaler 是None表示未啟用寫if scaler:是安全的但如果項(xiàng)目里把它包了一層變成張量就會(huì)出問(wèn)題。統(tǒng)一用is not None最省心。第三個(gè)是nn.Module的判斷。if self.model:對(duì) Module 來(lái)說(shuō)永遠(yuǎn)為真因?yàn)?Module 沒(méi)有定義__bool__也沒(méi)有__len__走的是默認(rèn)視為真那條路。這不會(huì)報(bào)錯(cuò)但會(huì)讓沒(méi)加載權(quán)重時(shí)走隨機(jī)初始化分支這類邏輯永遠(yuǎn)失效。判斷模型是否存在只能用is not None。第四個(gè)是 PyTorch 與 NumPy 混用。Tensor 和 ndarray 之間的轉(zhuǎn)換很頻繁如果某處不小心把 Tensor 轉(zhuǎn)成了 ndarray 再走判斷邏輯報(bào)錯(cuò)文本會(huì)變成 NumPy 那一版ValueError: The truth value of an array...?？吹竭@類文本時(shí)別懷疑 PyTorch 版本去查數(shù)據(jù)在哪一步跨了庫(kù)。第五個(gè)是torch.where和nonzero的返回值誤用。torch.nonzero返回的是索引張量形狀是(N, D)在批量情況下N通常大于 1千萬(wàn)別用if nonzero_result:來(lái)判斷有沒(méi)有找到要寫if nonzero_result.numel() 0:。這些案例的共同點(diǎn)是報(bào)錯(cuò)信息一模一樣但修改位置完全不同。所以我在排查時(shí)有個(gè)固定動(dòng)作——先確認(rèn)那個(gè)值到底是張量還是 Python 標(biāo)量再?zèng)Q定怎么改。跳過(guò)這一步直接改代碼很容易改錯(cuò)地方然后看著報(bào)錯(cuò)移動(dòng)到了下一行白白多花半小時(shí)。最后分享一個(gè)我自己的習(xí)慣任何寫進(jìn)訓(xùn)練流程的判斷只要操作對(duì)象可能來(lái)自模型輸出、數(shù)據(jù)加載或配置解析我一律不寫裸的if tensor:。寧可多敲幾個(gè)字符寫成if t.numel() 0 and t.any():也不給未來(lái)的自己留一個(gè)batch size 一變就炸的定時(shí)裝置。這個(gè)報(bào)錯(cuò)本身其實(shí)挺友好的——它至少在報(bào)錯(cuò)的那一刻把問(wèn)題指出來(lái)了比那些安靜地給出錯(cuò)誤結(jié)果的隱式轉(zhuǎn)換要可愛(ài)得多。