編譯器圖像處理編程語言高性能計算【免費(fèi)下載鏈接】Halidea language for fast, portable>項目地址https://gitcode.com/gh_mirrors/ha/Halide點擊查看免費(fèi)下載導(dǎo)讀本文講解 Halide 調(diào)度體系中最基礎(chǔ)、也是首先需要建立的「編程模型」調(diào)度scheduling操作的對象到底有哪幾類它們各自的狀態(tài)與行為以及它們?nèi)绾瓮ㄟ^生產(chǎn)者producer邊連成一張有向無環(huán)的流水線圖pipeline graph。讀完本文你將掌握Var、Func、Expr、ImageParam、RDom/RVar這五個核心詞匯的確切含義理解 Stage初始純定義 更新定義與純/非純函數(shù)的劃分并知道輸出output與邊界分析bounds analysis在這張圖上扮演的特殊角色——這些正是整個調(diào)度手冊.claude/skills/scheduling/references/guide/后續(xù)所有章節(jié)使用的公共詞匯。調(diào)度操作的對象五個核心詞匯調(diào)度scheduling只作用于少量幾類對象。本手冊第 2 章02-the-programming-model.md先給它們命名、說明它們組成的圖手冊其余部分默認(rèn)沿用這套詞匯。Var維度與循環(huán)變量的名字Var是一個維度的名字本質(zhì)上就是一條循環(huán)變量loop variable。它唯一的身份就是名字本身不攜帶任何額外狀態(tài)——兩個同名的Var會被視為同一個變量。在源碼中這一點體現(xiàn)得非常直接src/Var.h中的Var類只有一個Expr e成員一個Int(32)的內(nèi)部變量表達(dá)式構(gòu)造時僅記錄名字same_as()的實現(xiàn)就是字符串比較return name() other.name();Var.h。Var的典型用途有兩個作為純定義pure definition的左值參數(shù)例如f(x, y) ...中的x、y作為調(diào)度調(diào)用里的循環(huán)句柄例如f.parallel(x)、f.vectorize(x, 8)中指定要操作的維度。Var還支持一類特殊的隱式變量源碼里預(yù)聲明了_0到_9共十個src/Var.h末尾的ImplicitVar0…ImplicitVar9以及占位符_。當(dāng)函數(shù)調(diào)用參數(shù)個數(shù)少于其維度數(shù)時Halide 會自動注入隱式變量補(bǔ)齊維度這為f(_)、img.in().gpu_threads(_0, _1)這類簡寫提供了語法基礎(chǔ)。Func函數(shù)定義的操作句柄Func是「一個函數(shù)定義」的句柄handle它是被調(diào)度的那個對象。理解Func的關(guān)鍵在于復(fù)制語義復(fù)制一個Func只是產(chǎn)生指向同一個底層函數(shù)的另一個句柄無論通過哪個句柄做調(diào)度作用的都是同一個函數(shù)。從源碼結(jié)構(gòu)看Func內(nèi)部持有Internal::Function見 Func.h而Internal::Function是對FunctionPtr引用計數(shù)的共享指針的封裝因此拷貝Func并不會拷貝函數(shù)本體。一個Func的狀態(tài)包括狀態(tài)含義name用于打印輸出也用于在計算順序中打破平局breaking ties in computation orderstages有序列表一個初始純定義加上零個或多個更新定義見下文「Stage 與更新定義」producers它從哪些其他Func讀取數(shù)據(jù)即其定義右側(cè)引用的上游Func集合compute level / store level它在哪兒被計算compute、存儲store放在哪兒默認(rèn)值是 inline內(nèi)聯(lián)其中 compute level 與 store level 在源碼中以LoopLevel表達(dá)src/Schedule.h中LoopLevel::inlined()表示內(nèi)聯(lián)、LoopLevel::root()表示根層級相當(dāng)于compute_root/store_rootLoopLevel(f, x)則把計算/存儲錨定到某個函數(shù)的某個循環(huán)上對應(yīng)compute_at/store_at。Expr定義右側(cè)的值表達(dá)式Expr是定義右側(cè)RHS的值表達(dá)式。對于循環(huán)嵌套loop nest的構(gòu)建而言Expr中唯一真正重要的是它讀取了哪些Func——正是這一點把生產(chǎn)者/消費(fèi)者圖producer/consumer graph連接起來。普通算術(shù)、常量以及castT(...)這類表達(dá)式不會出現(xiàn)在循環(huán)嵌套中它們最終被折疊進(jìn)葉子行f(...) ...內(nèi)部。也就是說Expr的復(fù)雜計算是在賦值那一行內(nèi)部完成的不單獨(dú)產(chǎn)生循環(huán)結(jié)構(gòu)。ImageParam輸入緩沖葉子ImageParam代表一個輸入緩沖例如管線的輸入圖像。它是葉子leaf永遠(yuǎn)不會被計算永遠(yuǎn)不會出現(xiàn)在循環(huán)嵌套中讀取某個ImageParam的Func只是少了一個需要構(gòu)建的生產(chǎn)者——因為緩沖已經(jīng)存在了。src/ImageParam.h中的注釋確認(rèn)了這一點ImageParam 是「a leaf in the pipeline」管線中的葉子它經(jīng)set()綁定具體Buffer后即可通過operator()生成讀取表達(dá)式。它甚至可以直接隱式轉(zhuǎn)換為Funcoperator Func()并支持img.in()包裝以便在調(diào)度中為其建立中間緩沖例如把輸入加載到 GPU shared memory。RDom / RVar歸約域與歸約變量RDom/RVar是歸約域reduction domain與歸約變量reduction variable。聲明RDom r(min, extent, …)會生成一個或多個RVarr.x、r.y依此類推供**更新定義update definition**使用。RVar命名循環(huán)的方式與Var相同但有兩個關(guān)鍵區(qū)別它的迭代是**有序ordered**的相鄰迭代之間可以攜帶依賴?yán)缋奂雍蛂unning sum。因此RVar只能出現(xiàn)在更新定義里不能用于純定義。src/RDom.h展示了RDom的完整構(gòu)造方式RDom r(0, 10)單維歸約域min0extent10RDom r(0, 4, 0, 5)多維歸約域一次聲明多條歸約軸RDom r(input)/RDom r(buffer)直接遍歷某個ImageParam或Buffer的全部像素維度與參數(shù)一致r.where(predicate)為歸約域添加謂詞只迭代謂詞為真的子集可用于非矩形域或形狀依賴自由變量的域。RVar可以直接當(dāng)作Expr使用單維RDom也可以直接轉(zhuǎn)換為RVar或Expr。歸約變量的取值滿足min()≤ 值 min() extent()。Stage 與更新定義一個Func可以擁有更新定義update definitions寫在首個定義之后的賦值就地修改該Func的值。手冊第 2 章給出的標(biāo)準(zhǔn)例子Func hist(hist); hist(x) 0; // stage 0: the pure (initial) definition RDom r(0, N, r); hist(in(r)) 1; // stage 1: an update definition這就是一個直方圖統(tǒng)計的骨架先用純定義把所有位置清零stage 0再用更新定義對每個輸入像素in(r)做累加stage 1。有序的 stage 列表「初始定義 更新定義」構(gòu)成一個有序的stages列表s0純定義、s1依此類推。語義上有兩條硬規(guī)則每個 stage 完成之后下一個 stage 才開始它們之間串行銜接所有 stage 寫入同一份存儲。從源碼結(jié)構(gòu)看Internal::Function持有一個初始Definitionis_init() true和一組更新Definitiondefine_update()見 Definition.h 與 Function.h每個Definition各帶自己的StageSchedule。這就是「每個 stage 被單獨(dú)調(diào)度」的內(nèi)部基礎(chǔ)。由于 stage 屬于算法部分——它們描述了這個Func是什么理解它們不需要任何調(diào)度知識——所以每個 stage 仍要各自調(diào)度通過f.update(n)定位。例如f.update(0)代表第一個更新定義參見后續(xù)章節(jié) Reshaping Loops以及src/Func.h中Stage::name()返回形如f.update(2)的字符串。更新定義的約束一條更新定義最多引用一個RDom。如果需要多條歸約軸就來自單個多維RDom例如RDom r(0, 4, 0, 5); // r.x ∈ [0,4)r.y ∈ [0,5)同一條更新定義內(nèi)使用RDom.h還給出了歸約的多種經(jīng)典用法可幫助理解更新定義的表達(dá)能力遞歸自引用構(gòu)建純函數(shù)在 Halide 中不能遞歸但更新定義可以——例如前 20 個斐波那契數(shù)Func f; Var x; RDom r(2, 18); f(x) 1; f(r) f(r-1) f(r-2);散射scatter與純定義不同更新定義的左側(cè)可以是一般表達(dá)式因此可把數(shù)據(jù)寫到任意位置ImageParam input(UInt(8), 2); Func histogram; Var x; RDom r(input); // 遍歷輸入全部像素 histogram(x) 0; histogram(input(r.x, r.y)) histogram(input(r.x, r.y)) 1;混合純維度與歸約變量可以把某個維度保持為純維度以獲得更靈活的調(diào)度。例如二維求和表先水平累加再垂直累加若sum_x(r.x, y)保留純維度y就可以用sum_x.update().parallel(y)并行化每一行的內(nèi)部累加注意sum_x.parallel(y)只并行化初始化step不會作用于更新 step——調(diào)度更新 step 必須經(jīng)由f.update()返回的句柄。當(dāng)歸約變量與純維度混合時歸約域默認(rèn)最外層遍歷必要時可用sum_x.compute_at(sum_y, y)這樣的compute_at調(diào)度來改變遍歷方向與局部性詳見手冊第 14 章 Placement: compute_root and compute_at。純 vs 非純Pure vs Non-pure一個Func是純pure的當(dāng)且僅當(dāng)它只有初始定義、沒有更新定義一旦加上一個或多個更新定義它就變成非純non-pure。這一劃分在手冊 Part III調(diào)度指令部分中反復(fù)起作用。兩者的本質(zhì)區(qū)別決定了編譯器能做什么純 Func 可以被代入substitute到調(diào)用者中作為一個表達(dá)式。因為純定義本身就是一個表達(dá)式編譯器可以把它直接展開進(jìn)消費(fèi)它的循環(huán)體而不必單獨(dú)分配存儲。非純 Func 不能這樣代入——?dú)w約不是表達(dá)式reduction isnt an expression所以它必須被構(gòu)建到存儲storage中?！高@一個事實驅(qū)動了后續(xù)的若干規(guī)則」非純函數(shù)天然不能內(nèi)聯(lián)必然占據(jù)存儲、成為循環(huán)嵌套中真實存在的一環(huán)這也與src/Inline.cpp/InlineReductions.cpp等內(nèi)部 pass 的分工對應(yīng)——內(nèi)聯(lián)化只對可作為表達(dá)式展開的純函數(shù)成立歸約則經(jīng)由單獨(dú)的歸約內(nèi)聯(lián)路徑處理。流水線圖The Pipeline GraphFunc之間通過生產(chǎn)者producer邊連接構(gòu)成一張有向無環(huán)圖DAG這就是流水線pipeline。其中有一個Func是輸出output即對其調(diào)用print_loop_nest()或realize的那個Func。從輸出出發(fā)、沿生產(chǎn)者邊可達(dá)的所有Func都屬于這條流水線除此之外的一切都與本流水線無關(guān)。這張圖有兩個值得盡早鎖定的性質(zhì)輸出是特殊的它總是在最頂層被計算恰好一次并且永遠(yuǎn)不會被內(nèi)聯(lián)掉。因此輸出必然以真實的循環(huán)與存儲形式存在。強(qiáng)制一個 Func 非內(nèi)聯(lián)會使它對于邊界分析bounds analysis變得不透明opaque。設(shè)想一個仿射輔助函數(shù)helper(x) m*x b被用作索引f(helper(x))。內(nèi)聯(lián)時它編譯得很好但一旦強(qiáng)制其非內(nèi)聯(lián)邊界推斷bounds inference可能失敗報錯形如calls ... in an unbounded way in dimension ...因為編譯器無法再「看穿」非內(nèi)聯(lián)函數(shù)內(nèi)部的索引關(guān)系。所以索引輔助函數(shù)通常最好保持內(nèi)聯(lián)。相關(guān)機(jī)制可進(jìn)一步閱讀手冊第 4 章 Bounds Inference以及src/BoundsInference.cpp與src/PrintLoopNest.cppprint_loop_nest的實現(xiàn)入口。小結(jié)從詞匯到后續(xù)章節(jié)本篇建立的詞匯表是整本調(diào)度手冊的公共地基詞匯一句話定位Var只攜帶身份的循環(huán)/維度名字Func被調(diào)度的函數(shù)句柄包含名字、stages、producers、compute/store levelExpr右側(cè)表達(dá)式唯一影響循環(huán)嵌套的是它讀取了哪些 FuncImageParam葉子輸入緩沖不出現(xiàn)在循環(huán)嵌套中RDom/RVar有序、可攜帶迭代依賴的歸約域與歸約變量只出現(xiàn)在更新定義中Stage純定義 有序更新定義各自獨(dú)立調(diào)度f.update(n)純/非純純可被表達(dá)式代入非純必須落存儲流水線圖生產(chǎn)者邊構(gòu)成 DAG輸出可及者才屬于本管線后續(xù)閱讀建議均在 guide 目錄 下03-realizing-a-pipeline.md管線何時真正執(zhí)行JIT vs AOT04-bounds-inference.md緩沖區(qū)與循環(huán)邊界如何由輸出請求推導(dǎo)12-reading-a-loop-nest.md 與 13-defaults-and-inlining.md如何讀循環(huán)嵌套、內(nèi)聯(lián)默認(rèn)值與三種計算層級16-reshaping-loops.mdsplit/fuse/reorder/tile如何重塑循環(huán)以及f.update(n)的具體用法。源碼層面Var、Func、RDom、ImageParam的完整定義分別位于 src/Var.h、src/Func.h、src/RDom.h、src/ImageParam.h調(diào)度相關(guān)的LoopLevel/計算存儲層級定義位于 src/Schedule.h均可作為本文各結(jié)論的直接佐證。贊分享編譯器圖像處理編程語言高性能計算【免費(fèi)下載鏈接】Halidea language for fast, portable>項目地址https://gitcode.com/gh_mirrors/ha/Halide點擊查看免費(fèi)下載相關(guān)推薦3D-Speaker開發(fā)者進(jìn)階指南自定義模型架構(gòu)與訓(xùn)練流程開發(fā)3D Speaker開發(fā)者進(jìn)階指南自定義模型架構(gòu)與訓(xùn)練流程開發(fā) 3D Speaker是一個專注于單模態(tài)和多模態(tài)說話人驗證、識別及說話人分割的開源項目為開發(fā)者人工智能語音深度學(xué)習(xí)Horovod核心API與編程模型詳解Horovod核心API與編程模型詳解 本文深入解析Horovod分布式深度學(xué)習(xí)框架的核心API與編程模型重點剖析 hvd.init 初始化機(jī)制、分布式優(yōu)化器深度學(xué)習(xí)機(jī)器學(xué)習(xí)分布式訓(xùn)練VIC水文模型完整配置手冊3大核心模塊詳解與實戰(zhàn)應(yīng)用掌握VIC模型配置是水文科研工作的關(guān)鍵基礎(chǔ)。本文提供完整的VIC模型配置手冊從基礎(chǔ)概念到高級應(yīng)用幫助水文研究者快速上手并避免常見配置陷阱。 VIC模型數(shù)據(jù)分析上一篇構(gòu)建高效數(shù)字人對話系統(tǒng)OpenAvatarChat模塊化架構(gòu)深度解析下一篇OpenCore Legacy Patcher3 步免費(fèi)把老 Mac 升級最新 macOS創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考