在Linux系統(tǒng)編程與內(nèi)核學(xué)習(xí)中fork、mmap、page fault、TLB、頁(yè)表、Copy-on-Write寫時(shí)復(fù)制簡(jiǎn)稱COW是CPU硬件、內(nèi)存管理單元MMU、Linux內(nèi)核內(nèi)存管理子系統(tǒng)、進(jìn)程模型協(xié)同工作所構(gòu)成的一整套虛擬內(nèi)存運(yùn)行機(jī)制。真正打通這條鏈路后會(huì)發(fā)現(xiàn)從用戶態(tài)的一次內(nèi)存訪問到物理頁(yè)的最終落地每一步都有清晰的硬件與軟件協(xié)作邏輯。我們可以先在腦中建立這樣一棵執(zhí)行樹一、虛擬地址空間的兩層抽象VMA 層與頁(yè)表層Linux內(nèi)核維護(hù)了兩套職責(zé)明確、互相關(guān)聯(lián)的抽象VMA虛擬內(nèi)存區(qū)域?qū)迂?fù)責(zé)描述地址空間的邏輯屬性頁(yè)表層負(fù)責(zé)維護(hù)虛擬頁(yè)到物理頁(yè)的實(shí)際映射。1.1 VMA地址空間的邏輯視圖用戶態(tài)的虛擬地址空間由struct mm_struct整體描述而每一段屬性相同的連續(xù)虛擬地址范圍由struct vm_area_struct簡(jiǎn)稱VMA來刻畫。一個(gè)進(jìn)程的所有VMA以Maple樹紅黑樹的演進(jìn)版本的結(jié)構(gòu)組織在mm_struct中覆蓋進(jìn)程的整個(gè)用戶地址空間。VMA回答的是邏輯屬性問題這段地址的起始與結(jié)束位置在哪里這段內(nèi)存的訪問權(quán)限是什么讀/寫/執(zhí)行它是匿名映射還是文件映射它是私有映射還是共享映射典型的進(jìn)程地址空間會(huì)包含代碼段r-x、只讀數(shù)據(jù)段r--、數(shù)據(jù)段rw-、棧rw-、mmap映射區(qū)rw-等多個(gè)VMA。1.2 頁(yè)表地址翻譯的物理視圖頁(yè)表解決的是實(shí)際映射問題這個(gè)虛擬頁(yè)當(dāng)前到底映射到哪個(gè)物理頁(yè)幀該頁(yè)是否已經(jīng)在物理內(nèi)存中硬件層面的訪問權(quán)限與標(biāo)志位是什么1.3 需求分頁(yè)虛擬內(nèi)存 ≠ 物理內(nèi)存Linux虛擬內(nèi)存的核心設(shè)計(jì)之一是惰性分配lazy allocation與請(qǐng)求調(diào)頁(yè)demand paging當(dāng)我們通過mmap、malloc等接口建立虛擬映射時(shí)內(nèi)核只是創(chuàng)建了對(duì)應(yīng)的VMA并不會(huì)立即分配物理頁(yè)也不會(huì)立即填充頁(yè)表項(xiàng)。只有當(dāng)進(jìn)程真正訪問該地址時(shí)才會(huì)通過Page Fault觸發(fā)物理頁(yè)的分配與頁(yè)表的建立。這也意味著虛擬內(nèi)存的大小絕不等于已占用的物理內(nèi)存大小。一個(gè)1GB的mmap映射在沒有被訪問前可能不占用任何物理RAM。二、CPU 側(cè)的地址翻譯MMU、TLB 與 Page Walk當(dāng)CPU執(zhí)行一條內(nèi)存訪問指令如*p 10時(shí)它拿到的是虛擬地址線性地址必須通過內(nèi)存管理單元MMU翻譯為物理地址才能訪問內(nèi)存。2.1 TLB地址翻譯的高速緩存Translation Lookaside Buffer轉(zhuǎn)譯后備緩沖器簡(jiǎn)稱TLB是頁(yè)地址翻譯的硬件緩存。TLB中緩存了虛擬頁(yè)號(hào)VPN到物理頁(yè)幀號(hào)PFN的映射同時(shí)還緩存了讀/寫、用戶/內(nèi)核、執(zhí)行禁用等權(quán)限信息。當(dāng)TLB命中時(shí)CPU可以直接得到物理地址完全不需要訪問內(nèi)存中的頁(yè)表這是最高效的路徑。對(duì)于4KB頁(yè)面來說地址翻譯可以簡(jiǎn)化為物理地址 (PFN 12) | 頁(yè)內(nèi)偏移如果沒有TLB一次內(nèi)存訪問需要先遍歷多級(jí)頁(yè)表多次內(nèi)存訪問才能得到物理地址再訪問目標(biāo)數(shù)據(jù)內(nèi)存訪問延遲會(huì)成倍上升。現(xiàn)代CPU還配備了Paging-Structure Caches頁(yè)表結(jié)構(gòu)緩存進(jìn)一步降低頁(yè)表遍歷的開銷。2.2 TLB Miss 與硬件頁(yè)表遍歷當(dāng)TLB中沒有找到對(duì)應(yīng)虛擬頁(yè)的映射時(shí)發(fā)生TLB Miss。此時(shí)CPU會(huì)自動(dòng)執(zhí)行硬件頁(yè)表遍歷Page Walk按照頁(yè)表層級(jí)逐級(jí)查找內(nèi)存中的頁(yè)表項(xiàng)。Linux內(nèi)核在軟件層面抽象了五級(jí)頁(yè)表模型PGDPage Global Directory→ P4DPage 4th Directory→ PUDPage Upper Directory→ PMDPage Middle Directory→ PTEPage Table Entry對(duì)于不支持某一層級(jí)的硬件架構(gòu)Linux會(huì)通過折疊fold機(jī)制將該層邏輯消除讓軟件可以統(tǒng)一使用五級(jí)模型。以最常見的x86-64架構(gòu)為例硬件通常實(shí)現(xiàn)4級(jí)分頁(yè)P(yáng)ML4→PDPT→PD→PTLinux會(huì)將P4D層級(jí)折疊最終對(duì)應(yīng)到硬件的四級(jí)結(jié)構(gòu)。PGD、P4D、PUD、PMD、PTE 本質(zhì)上構(gòu)成了一棵多級(jí)頁(yè)表索引樹虛擬地址會(huì)被拆成多段索引CPU/MMU 先通過 PGD 找到下一層頁(yè)表再經(jīng)過 P4D、PUD、PMD 逐級(jí)縮小地址范圍最終由 PTE 給出具體的物理頁(yè)框地址以及讀寫、用戶態(tài)訪問等權(quán)限信息這樣做的核心目的是不用為整個(gè)巨大虛擬地址空間一次性建立完整頁(yè)表而只為實(shí)際使用的區(qū)域分配下級(jí)頁(yè)表從而節(jié)省內(nèi)存。PGD、P4D、PUD、PMD 本質(zhì)上都不是“存最終物理頁(yè)地址”的它們主要負(fù)責(zé)繼續(xù)指向下一層頁(yè)表真正到 PTE才通常得到最終物理頁(yè)框和頁(yè)權(quán)限PTE Page Table Entry頁(yè)表項(xiàng)PTE 是頁(yè)表里的一條記錄用來描述某個(gè)虛擬頁(yè)映射到哪個(gè)物理頁(yè)以及這個(gè)頁(yè)能不能讀、寫、執(zhí)行PTE ├── Physical Frame Number │ └── 對(duì)應(yīng)哪個(gè)物理頁(yè) │ ├── Present │ └── 當(dāng)前映射是否有效 │ ├── Read / Write │ └── 是否允許寫 │ ├── User / Supervisor │ └── 用戶態(tài)是否可以訪問 │ ├── Execute 權(quán)限 │ └── 是否允許執(zhí)行 │ ├── Accessed │ └── 這個(gè)頁(yè)是否被訪問過 │ └── Dirty └── 這個(gè)頁(yè)是否被寫過2.3 頁(yè)表遍歷的三種結(jié)果硬件頁(yè)表遍歷完成后會(huì)出現(xiàn)三種結(jié)果PTE有效且權(quán)限允許翻譯成功將結(jié)果填入TLB訪問物理內(nèi)存指令正常執(zhí)行。映射合法但PTE不存在虛擬地址屬于某個(gè)VMA但頁(yè)表項(xiàng)為空觸發(fā)Page Fault由內(nèi)核分配物理頁(yè)并建立映射。PTE存在但訪問權(quán)限違規(guī)比如向只讀頁(yè)執(zhí)行寫入觸發(fā)保護(hù)型Page Fault這是Copy-on-Write的入口。頁(yè)錯(cuò)誤異常Page-Fault Exception的觸發(fā)原因既包括頁(yè)表中不存在有效翻譯也包括翻譯存在但訪問權(quán)限不匹配。CPU會(huì)將錯(cuò)誤地址存入CR2寄存器并通過錯(cuò)誤碼Error Code指示故障類型關(guān)鍵字段包括P位0表示頁(yè)不存在1表示保護(hù)違規(guī)W/R位0表示讀訪問1表示寫訪問U/S位0表示內(nèi)核態(tài)訪問1表示用戶態(tài)訪問I/D位0表示數(shù)據(jù)訪問1表示指令取指三、Page Fault缺頁(yè)異常是Linux虛擬內(nèi)存得以運(yùn)轉(zhuǎn)的關(guān)鍵驅(qū)動(dòng)機(jī)制。絕大多數(shù)的物理頁(yè)分配、頁(yè)表建立、寫時(shí)復(fù)制、換入換出都是通過Page Fault觸發(fā)的。3.1 Linux 缺頁(yè)處理Linux內(nèi)核的缺頁(yè)處理入口如x86架構(gòu)的do_page_fault會(huì)執(zhí)行大致如下的判斷邏輯page_fault_handler(address,access_type,error_code){vmafind_vma(current-mm,address);if(!vma){// 地址不屬于任何VMA非法訪問send_signal(SIGSEGV);return;}if(!permission_check(vma,access_type)){// 訪問權(quán)限與VMA屬性不符send_signal(SIGSEGV);return;}if(pte_present(entry)){// 頁(yè)存在但寫保護(hù) → COW故障if(is_cow_mapping(vma)access_typeWRITE){handle_cow_fault(vma,address);}else{send_signal(SIGSEGV);}}else{// 頁(yè)不存在 → 請(qǐng)求調(diào)頁(yè)handle_demand_paging(vma,address);}resume_instruction();}CPU只負(fù)責(zé)報(bào)告“地址翻譯或權(quán)限檢查失敗”而這個(gè)故障是正常機(jī)制還是程序錯(cuò)誤由內(nèi)核根據(jù)VMA的狀態(tài)來判斷。如果內(nèi)核能夠修復(fù)映射程序就會(huì)透明地繼續(xù)執(zhí)行如果確實(shí)是非法訪問才會(huì)向進(jìn)程發(fā)送SIGSEGV等信號(hào)。3.2 Minor Fault 與 Major FaultLinux從性能統(tǒng)計(jì)的角度將Page Fault分為兩類Minor Fault次缺頁(yè)不需要磁盤I/O即可處理的缺頁(yè)。例如匿名頁(yè)的分配、寫時(shí)復(fù)制、頁(yè)緩存中已有頁(yè)面的映射建立等。Major Fault主缺頁(yè)處理過程中需要磁盤I/O的缺頁(yè)。例如文件映射的首次讀入、swap分區(qū)的換入等。這一統(tǒng)計(jì)可以通過getrusage(2)系統(tǒng)調(diào)用獲取ru_minflt與ru_majflt分別對(duì)應(yīng)兩種缺頁(yè)的計(jì)數(shù)/proc/pid/stat中也暴露了對(duì)應(yīng)字段。CPU硬件層面的缺頁(yè)分類不存在/保護(hù)違規(guī)與Linux統(tǒng)計(jì)層面的分類minor/major是兩個(gè)不同維度。COW故障通常屬于minor fault因?yàn)樗簧婕皟?nèi)存內(nèi)的頁(yè)面復(fù)制不涉及磁盤I/O。四、fork() 與 Copy-on-WriteCopy-on-Write是虛擬內(nèi)存機(jī)制的應(yīng)用之一它的設(shè)計(jì)目標(biāo)是在保證fork語義的前提下盡可能降低進(jìn)程創(chuàng)建的開銷。4.1 forkfork創(chuàng)建的子進(jìn)程擁有與父進(jìn)程獨(dú)立的地址空間且fork瞬間的內(nèi)存內(nèi)容與父進(jìn)程一致。如果fork時(shí)直接復(fù)制所有物理頁(yè)對(duì)于大內(nèi)存進(jìn)程來說開銷會(huì)極其高昂。Linux的實(shí)現(xiàn)采用了寫時(shí)復(fù)制策略fork時(shí)不復(fù)制物理頁(yè)只復(fù)制頁(yè)表與VMA等元數(shù)據(jù)讓父子進(jìn)程暫時(shí)共享同一批物理頁(yè)等到真正寫入時(shí)再?gòu)?fù)制。4.2 fork 時(shí)內(nèi)核做了什么復(fù)制VMA結(jié)構(gòu)為子進(jìn)程創(chuàng)建一套獨(dú)立的vm_area_struct描述與父進(jìn)程相同的地址空間布局。復(fù)制頁(yè)表結(jié)構(gòu)為子進(jìn)程構(gòu)建獨(dú)立的頁(yè)表層級(jí)將PTE都指向與父進(jìn)程相同的物理頁(yè)幀。設(shè)置寫保護(hù)對(duì)于私有可寫映射如匿名數(shù)據(jù)段、MAP_PRIVATE映射將父子進(jìn)程對(duì)應(yīng)PTE的寫權(quán)限清空標(biāo)記為只讀。建立COW標(biāo)記在內(nèi)核層面標(biāo)記這些映射為寫時(shí)復(fù)制映射。完成后父子進(jìn)程擁有獨(dú)立的地址空間視圖、獨(dú)立的頁(yè)表但物理頁(yè)面是共享的。4.3 寫入觸發(fā) COW 故障的完整流程當(dāng)子進(jìn)程或父進(jìn)程嘗試向共享頁(yè)寫入時(shí)CPU檢測(cè)權(quán)限沖突寫入指令經(jīng)過MMU翻譯時(shí)發(fā)現(xiàn)PTE存在但寫權(quán)限為0觸發(fā)保護(hù)型Page Fault。陷入內(nèi)核CPU保存現(xiàn)場(chǎng)將錯(cuò)誤地址存入CR2攜帶錯(cuò)誤碼進(jìn)入內(nèi)核缺頁(yè)處理程序。內(nèi)核識(shí)別COW場(chǎng)景內(nèi)核查找地址對(duì)應(yīng)的VMA確認(rèn)這是合法的私有可寫映射且當(dāng)前處于寫保護(hù)共享狀態(tài)判定為COW故障。分配新物理頁(yè)分配一個(gè)新的物理頁(yè)幀。復(fù)制頁(yè)面內(nèi)容將舊物理頁(yè)的內(nèi)容復(fù)制到新頁(yè)對(duì)于4KB頁(yè)面即復(fù)制4096字節(jié)。更新頁(yè)表項(xiàng)修改寫入方的PTE使其指向新物理頁(yè)并恢復(fù)寫權(quán)限。刷新TLB清除該虛擬地址對(duì)應(yīng)的舊TLB條目確保后續(xù)翻譯使用新的PTE。返回用戶態(tài)恢復(fù)現(xiàn)場(chǎng)重新執(zhí)行觸發(fā)故障的寫入指令。至此父子進(jìn)程各自擁有獨(dú)立的物理頁(yè)地址空間的隔離性得到保證。這就是“寫時(shí)復(fù)制”名稱的由來復(fù)制不在fork時(shí)發(fā)生而在第一次寫入時(shí)發(fā)生。4.4 fork 不是 O(1)fork的主要成本包括復(fù)制父進(jìn)程的頁(yè)表以及創(chuàng)建子進(jìn)程的內(nèi)核數(shù)據(jù)結(jié)構(gòu)。對(duì)于一個(gè)擁有10GB駐留內(nèi)存的進(jìn)程按4KB頁(yè)面計(jì)算約有262萬個(gè)頁(yè)表項(xiàng)復(fù)制這些頁(yè)表項(xiàng)、建立VMA結(jié)構(gòu)、維護(hù)反向映射、處理TLB同步等都會(huì)產(chǎn)生顯著開銷。4.5 兩種典型后續(xù)場(chǎng)景場(chǎng)景Afork后立即exec子進(jìn)程很快執(zhí)行execve替換地址空間絕大多數(shù)共享頁(yè)根本不會(huì)被寫入COW避免了幾乎所有的數(shù)據(jù)復(fù)制這也是傳統(tǒng)fork()exec()模式高效的核心原因。場(chǎng)景B子進(jìn)程修改大量?jī)?nèi)存如果子進(jìn)程寫入所有駐留頁(yè)每個(gè)頁(yè)面都會(huì)觸發(fā)一次COW故障最終物理內(nèi)存占用接近翻倍。此時(shí)COW只是把復(fù)制的時(shí)機(jī)從fork延遲到了寫入并沒有消除復(fù)制本身。COW優(yōu)化的是“永遠(yuǎn)不會(huì)被修改的頁(yè)”的復(fù)制開銷而不是消除所有復(fù)制五、mmap()mmap的定義是在調(diào)用進(jìn)程的虛擬地址空間中創(chuàng)建一個(gè)新的內(nèi)存映射。理解了VMA和頁(yè)表的分層后mmap就非常容易納入整個(gè)體系。5.1 mmap映射映射可以從兩個(gè)維度分類按后備存儲(chǔ)分匿名映射MAP_ANONYMOUS沒有普通文件作為后備存儲(chǔ)內(nèi)容初始化為0。文件映射以普通文件或設(shè)備文件作為后備存儲(chǔ)映射內(nèi)容對(duì)應(yīng)文件的指定偏移范圍。按共享語義分私有映射MAP_PRIVATE修改對(duì)其他進(jìn)程不可見文件映射不會(huì)寫回底層文件。這類映射使用寫時(shí)復(fù)制機(jī)制。共享映射MAP_SHARED修改對(duì)共享該映射的所有進(jìn)程可見文件映射會(huì)寫回底層文件。這類映射不使用COW。5.2 mmap 與 fork、COW 的關(guān)聯(lián)mmap內(nèi)存映射會(huì)跨fork保留并且保持相同的屬性。結(jié)合COW機(jī)制可以得到完整的鏈路創(chuàng)建 MAP_PRIVATE | MAP_ANONYMOUS 私有匿名映射 │ ▼ fork() │ ▼ 父子共享物理頁(yè)面PTE只讀 │ ▼ 任一方寫入 → 保護(hù)缺頁(yè) → COW匿名映射以及大多數(shù)MAP_PRIVATE的文件映射都是可能發(fā)生COW故障的映射而MAP_SHARED映射不屬于COW映射。六、fork 一個(gè) 10GB 進(jìn)程會(huì)怎樣問題fork一個(gè)占用10GB虛擬地址空間、8GB物理駐留內(nèi)存的進(jìn)程會(huì)立即復(fù)制10GB數(shù)據(jù)嗎回答不會(huì)立即復(fù)制全部用戶數(shù)據(jù)。Linux的fork()采用Copy-on-Write機(jī)制fork完成后父子進(jìn)程擁有獨(dú)立的虛擬地址空間和獨(dú)立的頁(yè)表結(jié)構(gòu)但所有私有可寫頁(yè)面的PTE最初都指向相同的物理頁(yè)幀且被標(biāo)記為只讀。當(dāng)父進(jìn)程或子進(jìn)程嘗試寫入這些共享頁(yè)時(shí)MMU會(huì)檢測(cè)到權(quán)限不匹配觸發(fā)保護(hù)型頁(yè)錯(cuò)誤。內(nèi)核的缺頁(yè)處理程序確認(rèn)這是合法的COW映射后會(huì)分配新的物理頁(yè)、復(fù)制原頁(yè)內(nèi)容、更新寫入方的頁(yè)表項(xiàng)并刷新TLB之后程序繼續(xù)執(zhí)行。但fork也絕非O(1)操作。它仍然需要復(fù)制所有VMA元數(shù)據(jù)、復(fù)制各級(jí)頁(yè)表?xiàng)l目、創(chuàng)建子進(jìn)程的內(nèi)核調(diào)度結(jié)構(gòu)、維護(hù)反向映射并且需要處理TLB刷新與緩存一致性問題。對(duì)于8GB駐留內(nèi)存的進(jìn)程僅頁(yè)表復(fù)制就需要處理數(shù)百萬個(gè)PTE會(huì)產(chǎn)生可觀測(cè)的延遲。如果子進(jìn)程隨后調(diào)用exec替換地址空間那么大部分頁(yè)面都不會(huì)被復(fù)制COW的收益最大化如果子進(jìn)程修改大部分駐留內(nèi)存那么每個(gè)被修改的頁(yè)面都會(huì)產(chǎn)生一次COW故障和頁(yè)面復(fù)制最終物理內(nèi)存占用會(huì)接近翻倍。延伸追問的應(yīng)答鏈問為什么寫入會(huì)產(chǎn)生頁(yè)錯(cuò)誤答因?yàn)閒ork時(shí)將共享頁(yè)的PTE寫權(quán)限清空了寫入操作與PTE權(quán)限沖突觸發(fā)保護(hù)型頁(yè)錯(cuò)誤。問修改頁(yè)表權(quán)限后為什么要刷新TLB答如果TLB中已經(jīng)緩存了舊的可寫映射CPU會(huì)繼續(xù)使用過期的TLB條目導(dǎo)致COW機(jī)制失效。修改PTE后必須無效化對(duì)應(yīng)的TLB條目。問TLB Miss就是頁(yè)錯(cuò)誤嗎答不是。TLB Miss后CPU會(huì)自動(dòng)執(zhí)行硬件頁(yè)表遍歷只有頁(yè)表遍歷后發(fā)現(xiàn)PTE不存在或權(quán)限違規(guī)才會(huì)觸發(fā)頁(yè)錯(cuò)誤。問mmap和這個(gè)有什么關(guān)系答mmap的作用是創(chuàng)建VMA建立虛擬地址空間的邏輯映射物理頁(yè)和PTE可以通過請(qǐng)求調(diào)頁(yè)在首次訪問時(shí)建立。MAP_PRIVATE映射還會(huì)啟用寫時(shí)復(fù)制機(jī)制。問頁(yè)錯(cuò)誤一定會(huì)訪問磁盤嗎答不一定。COW、匿名頁(yè)分配、頁(yè)緩存命中都屬于次缺頁(yè)不需要磁盤I/O只有需要從磁盤讀入文件或從swap換入時(shí)才是主缺頁(yè)。寫在最后掌握上述完整鏈路后還可以繼續(xù)向更深層拓展x86-64地址編碼細(xì)節(jié)虛擬地址如何拆分為各級(jí)頁(yè)表索引PTE中各個(gè)標(biāo)志位Present、R/W、U/S、Accessed、Dirty等的含義與作用。反向映射rmap內(nèi)核如何從物理頁(yè)反向找到所有映射它的VMA這是頁(yè)回收、swap的基礎(chǔ)。透明巨頁(yè)THP巨頁(yè)模式下頁(yè)表層級(jí)減少、TLB命中率提升對(duì)COW與缺頁(yè)路徑的影響。頁(yè)回收與swap物理內(nèi)存不足時(shí)內(nèi)核如何選擇回收頁(yè)、如何寫回磁盤或交換分區(qū)。虛擬內(nèi)存是操作系統(tǒng)最核心的抽象之一是硬件架構(gòu)、內(nèi)核設(shè)計(jì)、進(jìn)程模型、系統(tǒng)調(diào)用層層協(xié)作的系統(tǒng)工程。當(dāng)把fork、mmap、page fault、TLB、頁(yè)表、COW從六個(gè)孤立的知識(shí)點(diǎn)串成一條從CPU指令到物理內(nèi)存的完整執(zhí)行鏈路時(shí)才算真正理解了虛擬內(nèi)存的運(yùn)行機(jī)制。