寫Python代碼這些年我見過太多人在for循環(huán)上栽跟頭卻很少有人真正停下來問一句for循環(huán)憑什么能遍歷列表、字典、文件、甚至無限序列答案就是標(biāo)題里這個看似不起眼的名詞——Python迭代器Iterator。它不只是一個面試考點(diǎn)更是理解Python數(shù)據(jù)流處理的鑰匙。這篇文章我會從for循環(huán)的底層執(zhí)行講起手寫迭代器、拆解生成器、聊透惰性求值最后把實(shí)戰(zhàn)里最容易踩的坑和排查方法一并整理出來。無論你是剛學(xué)Python不久的新手還是寫了兩三年代碼想補(bǔ)基礎(chǔ)的老手只要你想徹底搞懂“for循環(huán)背后到底發(fā)生了什么”這篇文章都能給你一個完整且能落地的答案。1. for循環(huán)啟動前的“暗箱操作”迭代協(xié)議是怎么運(yùn)轉(zhuǎn)的1.1 從一條語句拆出的三步流程很多教程告訴你“for循環(huán)就是遍歷元素”這個說法沒錯但它掩蓋了真正的工作原理。你用for item in my_list:的時候Python解釋器并不是簡單地“一個個取出來”它做的事情其實(shí)可以拆成三步調(diào)用iter(my_list)拿到一個迭代器對象。反復(fù)調(diào)用這個迭代器對象的__next__()方法每次取一個元素。當(dāng)__next__()拋出StopIteration異常時循環(huán)捕獲這個異常安靜地結(jié)束。我當(dāng)年第一次看到這個解釋的時候心里想的是這不就是把簡單問題復(fù)雜化嗎直到后來有一次處理一個幾千萬行的日志文件按行讀取時內(nèi)存直接爆炸我才明白這套“多此一舉”的設(shè)計(jì)恰恰是Python能處理大數(shù)據(jù)流的核心。你可以自己在交互式環(huán)境里體驗(yàn)一下這個流程my_list [10, 20, 30] it iter(my_list) print(next(it)) # 10 print(next(it)) # 20 print(next(it)) # 30 print(next(it)) # 拋異常 StopIteration看清楚列表本身不是迭代器它只是一個可迭代對象真正的迭代器是iter(my_list)返回的那個東西。循環(huán)體內(nèi)每執(zhí)行一次next()就會被調(diào)用一次直到異常出現(xiàn)。這個“用異常來控制結(jié)束”的設(shè)計(jì)初看反直覺但其實(shí)非常優(yōu)雅——它讓迭代器協(xié)議變得極其簡單任何對象只要實(shí)現(xiàn)好__next__就能被for無縫驅(qū)動。1.2 iter()與next()兩個函數(shù)撐起整個流程iter()和next()是理解整個迭代器體系的兩個入口。先說iter()它的作用就是“給我一個迭代器”。如果傳入的是序列列表、元組、字符串它會返回一個“序列迭代器”如果傳入的是實(shí)現(xiàn)了__iter__()的對象它會調(diào)用__iter__()并返回其結(jié)果如果你傳的是一個老式的、只實(shí)現(xiàn)了__getitem__()的對象它還會退而求其次創(chuàng)建一個按索引順序訪問的迭代器。next()就更直接了它等價于調(diào)用iterator.__next__()。每調(diào)用一次迭代器就“吐出”下一個值同時內(nèi)部狀態(tài)往前推進(jìn)。這里最需要記住的一點(diǎn)是迭代器是有狀態(tài)的而且這個狀態(tài)是單向的不能回退。你取走了第三個元素就不可能再回頭拿第二個除非你重新創(chuàng)建一個迭代器。說句題外話很多從別的語言轉(zhuǎn)來的朋友會問為什么不能用下標(biāo)直接訪問非要搞迭代器因?yàn)橄聵?biāo)訪問的前提是“數(shù)據(jù)在內(nèi)存里、有固定長度”而迭代器的設(shè)計(jì)目標(biāo)是“不知道長度、甚至沒有長度也能一個個生產(chǎn)出來”。斐波那契數(shù)列、傳感器數(shù)據(jù)流、網(wǎng)絡(luò)分頁請求這些場景根本沒有辦法用下標(biāo)去做只能用迭代器逐次拉取。2. 可迭代對象和迭代器不是一回事這是很多人寫錯代碼的根源2.1 一份清單幫你分清楚我復(fù)盤過團(tuán)隊(duì)里不少同事的代碼發(fā)現(xiàn)問題最多的就是對“可迭代對象”和“迭代器”的混淆。網(wǎng)上很多文章把兩者混著說導(dǎo)致很多人以為“列表是迭代器”結(jié)果在代碼里寫出各種奇怪的問題。用一句話分清可迭代對象是“能產(chǎn)出迭代器的東西”迭代器是“真正逐個吐值的東西”。對比維度可迭代對象Iterable迭代器Iterator判斷方式實(shí)現(xiàn)了__iter__()或__getitem__()實(shí)現(xiàn)了__iter__()和__next__()是否有next()方法通常沒有必須有能否重復(fù)遍歷能每次iter()產(chǎn)生全新迭代器不能迭代完就耗盡典型例子列表、字典、字符串、集合文件對象、iter(列表)的返回值、生成器能否用for可以for會自動調(diào)用iter()可以同樣也是先調(diào)iter()想要在代碼里驗(yàn)證一個對象到底是哪一類最直接的辦法是用isinstance()配合collections.abc里的抽象基類from collections.abc import Iterable, Iterator my_list [1, 2, 3] print(isinstance(my_list, Iterable)) # True print(isinstance(my_list, Iterator)) # False it iter(my_list) print(isinstance(it, Iterable)) # True print(isinstance(it, Iterator)) # True注意觀察迭代器一定是可迭代對象因?yàn)榈髯约簩?shí)現(xiàn)了__iter__()并且__iter__()返回的是自己。這保證了迭代器也能被for使用。但反過來不成立列表是Iterable但不是Iterator。這個關(guān)系你最好刻進(jìn)腦子里后面排查各種詭異問題都要靠它。2.2 為什么同一個列表可以多次for而迭代器不行有個很經(jīng)典的實(shí)驗(yàn)同一個列表可以連續(xù)for兩遍但同一個迭代器for完第一遍之后第二遍什么都拿不到。my_list [1, 2, 3] for x in my_list: print(x) # 1 2 3 for x in my_list: print(x) # 1 2 3 正常 it iter(my_list) for x in it: print(x) # 1 2 3 for x in it: print(x) # 什么都不會輸出原因就是前面說的列表作為可迭代對象每次被for時都會調(diào)用iter(my_list)生成一個全新的迭代器所以每次都能從頭開始而it自己已經(jīng)是迭代器了for循環(huán)對它調(diào)用iter(it)時它返回的是自己本身內(nèi)部指針已經(jīng)走到了末尾自然沒有任何值可以再吐。我見過不止一個同事把迭代器保存下來想在多處復(fù)用結(jié)果第二次一跑發(fā)現(xiàn)數(shù)據(jù)全沒了第一反應(yīng)是“數(shù)據(jù)被消費(fèi)了”。對數(shù)據(jù)確實(shí)是被消費(fèi)了這恰恰體現(xiàn)了迭代器的“流”特性它像一根吸管你吸完了就沒了想再喝只能換一根新的吸管。3. 手寫一個迭代器自定義類的完整實(shí)操3.1 最簡迭代器模板理解了協(xié)議手寫迭代器其實(shí)非常機(jī)械。你需要做的就是在類里面實(shí)現(xiàn)兩個方法__iter__()和__next__()。__iter__()負(fù)責(zé)返回迭代器本身__next__()負(fù)責(zé)產(chǎn)生下一個值并且在沒有值可給的時候拋出StopIteration。下面是一個倒計(jì)時的迭代器從指定數(shù)字倒數(shù)到0class Countdown: def __init__(self, start): self.current start def __iter__(self): return self def __next__(self): if self.current 0: raise StopIteration value self.current self.current - 1 return value for num in Countdown(5): print(num) # 5 4 3 2 1 0這里有幾個關(guān)鍵點(diǎn)要說明白第一__iter__只是返回self這意味著這個類本身既是可迭代對象也是迭代器。這種寫法在簡單場景里沒有問題但如果你希望同一個對象能被多次遍歷就不能這么干應(yīng)該把__iter__里返回一個新的獨(dú)立迭代器。第二狀態(tài)變量這里的self.current是迭代器的靈魂。每次調(diào)用__next__都必須更新狀態(tài)否則會陷入死循環(huán)。我見過有人把狀態(tài)寫成了局部變量每次調(diào)用都從初始值開始結(jié)果永遠(yuǎn)吐同樣的值。第三StopIteration不能省。for循環(huán)就是靠這個異常來終止的如果迭代器永遠(yuǎn)不拋for循環(huán)就會一直跑下去。3.2 迭代器在真實(shí)業(yè)務(wù)里的三個場景光會寫模板沒用得知道往哪里用。我根據(jù)自己的實(shí)戰(zhàn)經(jīng)驗(yàn)總結(jié)了三個最常見的業(yè)務(wù)場景。第一個場景是分頁遍歷。比如對接第三方接口拿數(shù)據(jù)對方一次只給一頁每頁100條。你不用迭代器的時候得寫個下標(biāo)記錄當(dāng)前頁數(shù)然后拼命維護(hù)那個下標(biāo)用迭代器狀態(tài)收斂在對象內(nèi)部代碼干凈得多。class PaginatedAPI: def __init__(self, api_client, page_size100): self.client api_client self.page_size page_size self.page 1 self.buffer [] self.index 0 self.done False def __iter__(self): return self def __next__(self): if self.index len(self.buffer): if self.done: raise StopIteration self.buffer self.client.fetch_page(self.page, self.page_size) self.page 1 self.index 0 if not self.buffer: self.done True raise StopIteration item self.buffer[self.index] self.index 1 return item第二個場景是樹結(jié)構(gòu)遍歷。做目錄掃描、解析嵌套評論、遍歷組織架構(gòu)這些都是典型的樹形數(shù)據(jù)。用遞歸當(dāng)然可以但遞歸對深度很敏感層級一深容易爆棧。把迭代器寫成顯式棧驅(qū)動的形式既能保持代碼清晰又不用太擔(dān)心遞歸深度問題。第三個場景是自定義數(shù)據(jù)源的懶加載。比如你有一個極大的CSV文件但只想逐行處理不想一次性讀進(jìn)內(nèi)存。雖然直接用文件對象本身就夠了但如果你要在這個基礎(chǔ)上做清洗、轉(zhuǎn)換、過濾包一層迭代器是非常自然的選擇。4. 生成器更省事的迭代器實(shí)現(xiàn)路徑4.1 yield怎么改寫了執(zhí)行流程手寫類的方式實(shí)現(xiàn)了迭代器但說實(shí)話代碼量還是有點(diǎn)大。Python提供了一個更輕量的方案就是生成器。只要函數(shù)里出現(xiàn)yield關(guān)鍵字這個函數(shù)就不再是普通函數(shù)而變成生成器函數(shù)。調(diào)用它時函數(shù)體不會立即執(zhí)行而是返回一個生成器對象——生成器就是一種迭代器。def countdown(start): current start while current 0: yield current current - 1 for num in countdown(5): print(num)這個和上面用類寫的Countdown效果一模一樣但代碼短了很多。關(guān)鍵在于理解yield的執(zhí)行語義每次執(zhí)行到y(tǒng)ield函數(shù)就會暫停把當(dāng)前值拋給調(diào)用方下次再被next()驅(qū)動時它會從暫停的位置繼續(xù)往下執(zhí)行。有一次我給新同事講這個他說這就像游戲存檔yield是存檔點(diǎn)執(zhí)行到那里就保存現(xiàn)場退出來下次繼續(xù)從存檔點(diǎn)開始打。這個比喻我非常喜歡因?yàn)閥ield不僅僅是把值交出去它還把整個局部變量、執(zhí)行位置都保存了下來。這份“現(xiàn)場保存”能力是普通函數(shù)完全不具備的。4.2 生成器表達(dá)式與惰性求值帶來的收益除了生成器函數(shù)Python里還有生成器表達(dá)式寫法跟列表推導(dǎo)式幾乎一樣只是把方括號換成圓括號squares_gen (x * x for x in range(10)) print(squares_gen) # generator object genexpr at 0x...生成器表達(dá)式并不會立刻算出所有元素它只是定義了一個計(jì)算規(guī)則真正的計(jì)算發(fā)生在你遍歷它的那一刻。這就是惰性求值。惰性求值帶來的最大收益就是內(nèi)存占用低處理一億個數(shù)的時候列表推導(dǎo)式會試圖把一億個元素全部裝進(jìn)內(nèi)存而生成器表達(dá)式一次只算一個。我在處理數(shù)據(jù)清洗時經(jīng)常這么寫先用一個生成器做過濾再用另一個做字段轉(zhuǎn)換最后再交給下游統(tǒng)計(jì)。中間沒有任何一步產(chǎn)生大列表。data (raw for raw in load_all_records()) cleaned (normalize(r) for r in data if r is not None) stats compute_stats(cleaned)這串代碼看起來很普通但數(shù)據(jù)量一旦上來它的內(nèi)存優(yōu)勢就會體現(xiàn)得極其明顯。我之前處理一份5GB的CSV如果每個步驟都轉(zhuǎn)成列表內(nèi)存直接飆到十幾GB機(jī)器當(dāng)場卡死全部改用生成器之后內(nèi)存占用穩(wěn)定在幾百M(fèi)B以內(nèi)跑起來非常順暢。5. 常見問題排查與避坑經(jīng)驗(yàn)5.1 迭代器“一次用完”的救場方案前面提到的“迭代器耗盡了”是出現(xiàn)頻率最高的問題。一旦迭代器走到頭再想遍歷就什么都沒有。這個問題怎么救我總結(jié)了三種方案按場景選。如果你只是需要把迭代器的結(jié)果存下來復(fù)用最直接的辦法是用list()把它整個轉(zhuǎn)成列表。但要注意這會一次性把所有元素加載進(jìn)內(nèi)存如果元素量很大又會回到內(nèi)存爆炸的老路上去。如果你需要反復(fù)遍歷同一個生成器產(chǎn)生的結(jié)果但數(shù)據(jù)量又大到不能裝進(jìn)列表有兩個思路一是改造生成器函數(shù)讓每次調(diào)用它都返回一個新生成器二是用itertools.tee()把迭代器復(fù)制成幾個獨(dú)立副本。from itertools import tee it iter([1, 2, 3, 4, 5]) it1, it2 tee(it, 2) print(list(it1)) # [1, 2, 3, 4, 5] print(list(it2)) # [1, 2, 3, 4, 5]這里必須提醒一句tee()也不是魔法它的實(shí)現(xiàn)原理是內(nèi)部緩存已消費(fèi)的元素如果兩個副本前進(jìn)的距離相差很大緩存的數(shù)據(jù)量也會相應(yīng)增大。所以它適合“兩條線同時推進(jìn)”的場景不適合“一個跑完再跑另一個且數(shù)據(jù)量巨大”的場景。5.2 for循環(huán)中修改容器到底安全嗎這個問題幾乎每個項(xiàng)目里都會遇到。在for循環(huán)遍歷列表的同時如果直接append或remove程序不會報(bào)錯但結(jié)果往往非常詭異。我以前排查過一個bug遍歷列表時把所有偶數(shù)刪掉結(jié)果發(fā)現(xiàn)某些偶數(shù)還在列表里。numbers [1, 2, 3, 4, 5, 6] for num in numbers: if num % 2 0: numbers.remove(num) print(numbers) # [1, 3, 5, 6] 6沒被刪掉原因是for循環(huán)內(nèi)部維護(hù)了一個遞增的下標(biāo)。刪除元素會導(dǎo)致后面的元素往前挪但循環(huán)的下標(biāo)不受影響于是跳過了原本緊跟在被刪元素后面的那個元素。這不是迭代器的問題而是“修改容器會把迭代過程搞亂”的典型表現(xiàn)。安全的做法是要么遍歷原列表的副本for num in numbers[:]要么遍歷的時候只記錄要刪的索引循環(huán)結(jié)束后再統(tǒng)一處理要么直接改用列表推導(dǎo)式生成新列表。個人習(xí)慣是“能不原地修改就絕不原地修改”新開一個列表存儲結(jié)果代碼可讀性和安全性都更好。5.3 排查清單速查表我把這些年調(diào)試迭代器相關(guān)問題總結(jié)成一張速查表遇到問題可以先對照一下現(xiàn)象可能原因解決辦法同一個迭代器第二次遍歷沒數(shù)據(jù)迭代器是一次性消費(fèi)的重新用iter()生成新迭代器或用itertools.tee()自定義類直接for時報(bào)“not iterable”沒實(shí)現(xiàn)__iter__()或__getitem__()補(bǔ)上__iter__()返回自身或獨(dú)立迭代器for循環(huán)中間改列表結(jié)果錯亂循環(huán)中直接增刪元素改變了迭代下標(biāo)遍歷副本或先記錄后統(tǒng)一修改生成的迭代器用next()取不到值狀態(tài)變量沒有初始化或沒有更新檢查__init__里的狀態(tài)初始值和__next__里的狀態(tài)推進(jìn)代碼卡在while里出不來__next__()沒拋出StopIteration確保耗盡時拋出StopIteration生成器只執(zhí)行了第一行代碼生成器是惰性的調(diào)用函數(shù)不會執(zhí)行函數(shù)體用next()或for驅(qū)動它執(zhí)行一眼可見的無限迭代器直接list()卡死list()會一直消費(fèi)到StopIteration用itertools.islice()限量截取這張表里我標(biāo)出的最后一條尤其值得注意。很多新手看到生成器可以無限產(chǎn)生值就忍不住拿list()去看一眼結(jié)果然后程序就徹底卡死了。正確的姿勢是用islice或者takewhile這類工具來配合。from itertools import islice def fibonacci(): a, b 0, 1 while True: yield a a, b b, a b fib fibonacci() first_ten list(islice(fib, 10)) print(first_ten) # [0, 1, 1, 2, 3, 5, 8, 13, 21, 34]6. 文件對象和itertools迭代器實(shí)戰(zhàn)的兩把趁手工具6.1 文件對象就是最典型的迭代器說了這么多抽象的東西我舉一個最貼近日常的例子文件對象。Python里打開文件后返回的文件對象本身就是迭代器。這意味著你可以直接for line in file:逐行讀取而不必用readlines()一次性把所有行讀進(jìn)內(nèi)存。with open(huge_log.txt, r, encodingutf-8) as f: for line in f: process(line)這個寫法在處理幾百M(fèi)B甚至幾GB的日志文件時內(nèi)存占用幾乎可以忽略不計(jì)。相反如果你用readlines()文件有多大內(nèi)存基本就得吃多大我之前處理幾個G的日志時就這樣炸過一次所以現(xiàn)在只要遇到“大文件”我腦子的第一反應(yīng)就是“迭代器逐行處理別貪圖方便一次性讀完”。6.2 itertools里的高頻迭代工具itertools是我在真實(shí)項(xiàng)目中反復(fù)使用的標(biāo)準(zhǔn)庫模塊它提供的工具函數(shù)全部圍繞迭代器設(shè)計(jì)配合起來能省下大量代碼。我挑幾個高頻的分享。chain()可以把多個迭代器串聯(lián)成一個。比如你要同時掃描多個日志文件把它們當(dāng)作一個整體來處理直接用chain(file1, file2, file3)就可以了不用手動寫循環(huán)拼接。zip()配套的zip_longest()解決的是長度不等時的合并問題。用普通zip()短的耗盡了就結(jié)束用zip_longest()可以補(bǔ)默認(rèn)值繼續(xù)合并。groupby()可以對排好序的迭代器做分組。我之前做埋點(diǎn)日志分析時按用戶ID分組統(tǒng)計(jì)行為序列g(shù)roupby()比手動維護(hù)字典分組方便太多。注意它要求數(shù)據(jù)是有序的相同鍵必須連續(xù)出現(xiàn)否則分組效果會出乎意料。cycle()會無限循環(huán)地遍歷一個可迭代對象。做輪詢調(diào)度的時候很好用比如三個后端服務(wù)輪流接請求next(cycle([svr-a, svr-b, svr-c]))就能拿到下一個服務(wù)名。這些工具的共性是它們接收迭代器返回新的迭代器全程惰性求值。用它們組合出來的數(shù)據(jù)處理管線既清晰又不吃內(nèi)存是非常值得花時間掌握的技巧。7. 迭代器協(xié)議在源碼和日常編碼里的擴(kuò)展聯(lián)想7.1 一個自定義可迭代類的完整示范為了讓你能在實(shí)際項(xiàng)目里直接用起來我給出一個稍微完整一點(diǎn)的示范自定義一個頁游玩家戰(zhàn)力排行榜的迭代器既能支持for遍歷又能支持len()之類的常見操作。class Leaderboard: def __init__(self, players): self._players sorted(players, keylambda x: x[score], reverseTrue) def __iter__(self): return iter(self._players) def __len__(self): return len(self._players) players [ {name: A同學(xué), score: 3200}, {name: B同學(xué), score: 4100}, {name: C同學(xué), score: 2800}, ] board Leaderboard(players) for player in board: print(player[name], player[score]) # B同學(xué) 4100 # A同學(xué) 3200 # C同學(xué) 2800注意這里__iter__返回的是iter(self._players)而不是self這樣的設(shè)計(jì)讓排行榜對象可以被重復(fù)遍歷多次。每次for都會基于底層的列表生成一個新迭代器。這個思路可以套用到很多業(yè)務(wù)對象上訂單列表、任務(wù)隊(duì)列、消息分頁結(jié)果只要你想讓它“既像容器一樣能反復(fù)遍歷又想在遍歷的時候做點(diǎn)格式化或過濾”就可以往這個模板上靠。7.2 從迭代器到數(shù)據(jù)管線的思維轉(zhuǎn)換掌握了迭代器之后寫代碼會有一個非常明顯的變化習(xí)慣用“管線”的思考方式取代“直接操作容器”。以前處理數(shù)據(jù)我總是先構(gòu)造一個大列表然后寫for循環(huán)逐個處理最后再存結(jié)果現(xiàn)在我會思考每一步應(yīng)該產(chǎn)生什么流怎么用生成器和itertools把步驟串起來。這個思維轉(zhuǎn)換并不復(fù)雜但要提醒一點(diǎn)不是所有地方都適合用迭代器。如果你的數(shù)據(jù)量不大而且需要反復(fù)隨機(jī)訪問直接用列表反而更簡單沒必要為了“用迭代器”而用迭代器。追求代碼的可讀性和可維護(hù)性永遠(yuǎn)比追求某種“高級寫法”更重要。我在實(shí)際項(xiàng)目中見過太多為了炫技而上迭代器的代碼明明一個列表就能解決問題非要套三層生成器表達(dá)式最后別人根本看不懂。好的迭代器代碼應(yīng)該是邏輯清晰、內(nèi)存可控、可復(fù)用而不是越花哨越好。我自己這些年寫下來最大的體會是Python的迭代器協(xié)議并不復(fù)雜但它是一層底色鋪在for循環(huán)、生成器、文件讀取、itertools工具鏈的下面。一旦理解了這層底色再看很多標(biāo)準(zhǔn)庫的源碼、第三方庫的API設(shè)計(jì)都會有豁然開朗的感覺。以后你再寫for循環(huán)不妨多想一步這一步背后是iter()和next()在替你打工而你自己也已經(jīng)可以隨時成為一個能寫迭代器的人了。