久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

從 Issue 到 PR 合入:HCCL 開源貢獻全流程實戰(zhàn)指南

從 Issue 到 PR 合入:HCCL 開源貢獻全流程實戰(zhàn)指南 在昇騰設備上做分布式訓練時HCCLHuawei Collective Communication Library就是那個藏在底層、負責多卡和跨節(jié)點梯度同步的集合通信庫。很多做模型訓練的同學用過它但真正參與過它開發(fā)的并不多。這篇東西我想從一個貢獻者的視角把從提 Issue 到 PR 合入的完整鏈路拆開講一遍包括什么樣的 Issue 會被維護者認真看、PR 怎么寫才不用來回折騰十輪、CI 掛了先查哪里、以及 code review 時那些不好意思問出口的潛規(guī)則。如果你已經有 C/C 或 Python 基礎想找一個有真實落地場景的開源項目練手HCCL 其實是個比想象中更友好的選擇。這篇文章會從項目背景、Issue 規(guī)范、環(huán)境準備、PR 流程、CI 調試到合入后的收尾工作逐步帶你把整套流程走通。哪怕你還沒碰過集合通信只要愿意讀代碼、愿意跑測試也能找到自己可以下手的位置。1. 項目畫像先搞清楚 HCCL 到底是什么1.1 它在分布式訓練棧里的位置在聊怎么給 HCCL 貢獻代碼之前先花點時間把項目本身講清楚。HCCL 是昇騰 AI 加速卡上的集合通信庫對標的是 GPU 生態(tài)里的 NCCL。訓練大模型時數(shù)據(jù)并行是最常見的并行策略每張卡算完自己那一份梯度之后需要把梯度同步到所有卡上這個同步動作就是靠集合通信庫來完成的。AllReduce、AllGather、ReduceScatter 這些通信原語就是 HCCL 對外提供的核心能力。你可以把它理解成快遞系統(tǒng)里的分揀中心每張卡都往里面投遞自己的梯度包裹分揀中心負責按照規(guī)則重新打包再派送給所有卡。如果分揀中心效率低整個訓練任務都會卡在等待上。這也是為什么集合通信庫的性能優(yōu)化如此重要——哪怕只提升 10% 的通信效率在大規(guī)模訓練里節(jié)省的時間成本都是非常可觀的。對貢獻者來說這個位置意味著兩件事一是你寫的代碼會被真實的高性能計算場景使用改動的影響面很直觀二是它涉及的知識面比較寬包括操作系統(tǒng)、網絡協(xié)議、硬件拓撲、并發(fā)編程但每個方向都不是說你要成為專家才能參與很多任務其實是在已有代碼框架上做增量優(yōu)化和修補。1.2 代碼倉庫和模塊劃分HCCL 的源碼可以通過公開代碼托管平臺獲取常見的路徑是在 Gitee 或 GitHub 上搜索相關組織下的 HCCL 倉庫。拿到源碼之后你會發(fā)現(xiàn)它并不是一個特別龐大的項目但目錄結構劃分得很清晰。核心內容一般集中在通信算子的實現(xiàn)、設備管理、拓撲發(fā)現(xiàn)、傳輸鏈路這幾個模塊里。從新人的角度我建議先不要把精力放在底層傳輸鏈路上那個模塊涉及到對硬件驅動的理解排查問題的門檻很高。相對友好的切入點是集合通信算子的上層邏輯、工具腳本、文檔注釋和測試用例。比如你看到某個算子在特定數(shù)據(jù)大小下性能異常順著調用鏈往下查可能定位到的是內存分配策略或者同步等待邏輯的問題這種問題的修復往往只涉及幾百行代碼但對于理解整個項目幫助極大。順便說一句HCCL 的代碼風格整體比較規(guī)整大量使用 C 特性但也保留了不少 C 風格的接口設計。原因很簡單這個庫需要被上層框架比如 PyTorch 的適配層通過 C 接口調用所以對外 API 用 C 接口更穩(wěn)定內部的實現(xiàn)則用 C 來保證開發(fā)效率。1.3 貢獻前的能力準備先潑一盆冷水給 HCCL 貢獻代碼不是會寫 Python 調幾個框架就行的事情。它需要一定的 C/C 功底至少要能讀懂指針、引用、模板這些基礎概念理解多線程和鎖的用法以及具備通過日志和調試工具排查問題的經驗。但也不用被嚇住因為項目里不只是代碼一種貢獻形式。文檔修正、示例代碼、測試補充、Issue 復現(xiàn)驗證這些都是非常有價值的貢獻方式。尤其對于第一次參與開源的人來說從文檔和測試入手熟悉了整個流程之后再碰核心代碼是曲線比較平滑的一條路。環(huán)境方面如果你手頭有昇騰設備那當然是最好的可以本地復現(xiàn)并驗證性能改動。如果沒有也可以貢獻一些不依賴硬件的代碼邏輯優(yōu)化或者在 CI 環(huán)境里去跑測試。只不過需要提前說明的是HCCL 的很多測試是依賴真實硬件環(huán)境的純軟件模擬環(huán)境只能覆蓋一部分功能這個限制對所有貢獻者都一樣不是你一個人的問題。2. 從一條合格 Issue 開始2.1 Issue 不是吐槽區(qū)我見過很多新手在 GitHub/Gitee 上提 Issue開頭就是“訓練報錯了求大佬看看”然后附一張模糊的截圖沒有版本號沒有日志沒有復現(xiàn)步驟。這種 Issue 基本不可能得到有效的回復——不是維護者不熱情而是信息不足以定位問題。高質量開源協(xié)作的第一步是學會提一條合格的 Issue。一個合格的 HCCL Issue必須包含幾個核心要素問題現(xiàn)象、復現(xiàn)步驟、環(huán)境信息、日志信息?,F(xiàn)象描述要準確比如“在 8 卡環(huán)境執(zhí)行 AllReduce 時當數(shù)據(jù)量為 512MB 時性能比預期低 30%”就比“訓練很慢”有用得多。復現(xiàn)步驟要可操作別人按你的步驟能走通。環(huán)境信息包括操作系統(tǒng)版本、CANN 版本、HCCL 版本、固件驅動版本、卡型號和拓撲。日志信息則是運行時的報錯輸出、HCCL 日志通常由環(huán)境變量控制開關以及必要的堆棧信息。有人可能會覺得我提個 Issue 而已還需要整理這么多東西嗎換個角度想如果你是那個需要花半小時甚至更久去復現(xiàn)問題的維護者你希望看到什么樣的報告將心比心把信息整理清楚本身就是對維護者勞動的尊重。2.2 一份能加速處理的 Issue 長什么樣我以一個真實的 bug 類 Issue 為例給你拆解一下模板要素標題[Bug] AllReduce 在數(shù)據(jù)量為 256MB 時觸發(fā)段錯誤 環(huán)境信息 - 操作系統(tǒng)Ubuntu 20.04.6 LTS - CANN 版本8.0.RC1 - HCCL 版本v1.8.1 - 固件驅動24.1.rc1 - 硬件4 張 Atlas 訓練卡單機單卡環(huán)形互聯(lián) 復現(xiàn)步驟 1. 編譯 examples/allreduce_benchmark參數(shù)配置如下省略具體參數(shù) 2. 設置 HCCL_LOGFILE/tmp/hccl.log 環(huán)境變量 3. 啟動測試程序數(shù)據(jù)量設置為 256MB 4. 觀察程序退出碼 期望行為正常完成集合通信并輸出正確結果。 實際行為程序在通信初始化階段崩潰退出碼 -11堆棧顯示在拓撲發(fā)現(xiàn)模塊具體報錯粘貼。 日志片段 粘貼關鍵日志避免貼整個文件這個模板的信息密度很高維護者拿到手可以直接開始復現(xiàn)。值得注意的一點是“數(shù)據(jù)量為 256MB 時崩潰128MB 或 512MB 時正?!边@種信息非常關鍵因為它能幫助維護者快速縮小問題范圍——可能涉及內存池分配策略、通信緩沖區(qū)的邊界條件或者某個特定數(shù)據(jù)分片邏輯。另外如果問題涉及性能最好附上基線數(shù)據(jù)和實測數(shù)據(jù)的對比說明是在什么條件測的。性能問題比崩潰問題更難處理因為它可能和網絡拓撲、CPU 頻率、PCIe/NVLink/HCCS 鏈路狀態(tài)都有關沒有數(shù)據(jù)的性能 Issue 基本等于大海撈針。2.3 Issue 里的溝通禮儀Issue 提完之后你可能會遇到幾種情況。一種是維護者很快回復“能否提供更多信息”這時你需要及時補充一種是長時間沒人回復這并不一定代表你的問題不重要可能是維護者比較忙也可能是你的 Issue 確實缺少必要信息還有一種情況是有人回復了但是給了一個和你預期不一樣的解釋方向。在 Issue 評論區(qū)溝通要保持專業(yè)和耐心。不要用“這東西怎么這么難用”這種抱怨語氣直接陳述技術問題就好。如果某個對話已經偏離主題可以禮貌地提醒對方回到問題本身。如果維護者要求你驗證某個修復補丁盡量第一時間去跑然后把結果反饋到評論區(qū)——這是建立信任的過程。這里還有一個很容易踩的坑在 Issue 里貼完整的大文件日志。幾萬行的日志會把真正有用的錯誤信息淹沒掉正確做法是先用 grep 過濾掉無關內容只保留報錯前后的關鍵幾十行并在日志片段外簡要標注每部分可能表示的含義。維護者每天要處理大量 Issue信息越聚焦你的問題被解決的優(yōu)先級就越高。3. 從 Issue 到開發(fā)計劃3.1 怎么篩選適合自己的任務不是所有 Issue 都需要你寫代碼。HCCL 的項目維護者通常會給 Issue 打標簽比如 good first issue、help wanted、bug、enhancement 等。如果你是第一次參與建議優(yōu)先找 good first issue 或者文檔增強類的任務這類任務的技術依賴少評審要求相對寬松能幫你把整個工具鏈跑通。篩選任務的時候有幾點經驗可以分享。首先看 Issue 的創(chuàng)建時間——太老的問題可能已經沒人關注你做了也可能不被接受。其次是看評論區(qū)的活躍度如果維護者在此前已經給過一些方向性建議說明這個問題是被認可的你可以在此基礎上展開。第三是評估影響范圍盡量選那些改動文件不超過 10 個、核心邏輯相對獨立的問題。以 HCCL 為例一個對新人比較友好的任務是“補充某個通信原語在異常輸入下的錯誤碼檢查”這種改動通常只需要在 API 入口增加參數(shù)校驗邏輯清晰、影響面可控。相比之下“優(yōu)化某拓撲下 AllReduce 的帶寬利用率”這種任務雖然很有吸引力但往往需要你深入理解硬件拓撲和網絡通信機制調試周期很長不建議拿來做第一個 PR。3.2 認領任務與溝通方式找到合適的 Issue 之后不要直接悶頭開始寫代碼。正確的做法是先在這個 Issue 下面評論說明你想認領這個任務并簡單描述你打算怎么解決。好處有三個一是避免和其他貢獻者撞車讓別人知道這個任務有人在做二是維護者會給你反饋如果方案有問題可以及時調整避免白干三是有溝通記錄作為依據(jù)后續(xù)你提交 PR 時維護者更容易建立上下文。在評論認領任務時可以簡單描述你的技術背景和計劃時間線比如“我熟悉 C 和內存管理計劃兩周內完成修復并提交 PR”。這種信息能打消維護者對新人執(zhí)行力的顧慮。但要注意一旦你承諾了時間線最好能真的推進如果有意外延期也應該及時在 Issue 里同步而不是一直沉默。另外一個小技巧認領任務后可以先把相關代碼讀一遍在評論里提出你的初判。比如“經排查問題出現(xiàn)在 topology.c 中的設備發(fā)現(xiàn)邏輯可能和 PCIe 鏈路寬度檢測有關”。即使這個判斷不完全正確維護者也會覺得你是真的在做事而不是隨便占個坑。3.3 本地開發(fā)環(huán)境搭建開發(fā)環(huán)境搭建是很多新手真正卡住的地方。我的建議是分兩步走先搞定能在本地完成的工作讀代碼、編譯、跑靜態(tài)檢查再解決需要硬件資源的工作跑真實通信測試。HCCL 的代碼構建一般依賴 Linux 環(huán)境、GCC 編譯器、CMake 和 Python 工具鏈。拿到源碼后按 README 的說明安裝好依賴依次執(zhí)行配置、編譯、安裝這幾個步驟即可。在配置階段有幾個選項比較重要比如是否啟用測試代碼、日志等級、調試符號等。如果你是做功能開發(fā)而非性能調優(yōu)建議打開調試符號和更詳細的日志輸出方便定位問題。沒有昇騰硬件的情況下依然可以完成編譯驗證但鏈接階段可能會缺少某些底層庫。這種情況下一個可行的替代方案是只編譯與你改動相關的模塊做語法級別的驗證然后把完整的驗證寄托在 CI 上。這個過程雖然不那么順暢但很多開源項目的貢獻者都是這樣工作的——本地環(huán)境不完全匹配CI 反而成了最終裁判。綁定硬件環(huán)境的測試跑不了還有一個折中方案編寫針對純軟件邏輯的單元測試。比如某個函數(shù)負責解析環(huán)境變量、計算通信緩沖區(qū)大小或者維護內部狀態(tài)這種邏輯完全可以在宿主機上寫單元測試跑起來。HCCL 中這一類可以脫離硬件驗證的代碼比你想象的多得多這也是很多新人能夠遠程貢獻的主要原因。4. 寫 PR不只是把代碼推上去4.1 分支與提交規(guī)范代碼開發(fā)完成后提交 PR 的第一步是在遠端倉庫創(chuàng)建自己的分支。分支命名建議遵循一定的規(guī)范比如用 fix/ 開頭表示 bug 修復用 feature/ 表示新功能用 docs/ 表示文檔變更。這樣維護者從分支名就能快速判斷改動的性質。分支創(chuàng)建好之后開發(fā)過程中的 commit 信息也要講究。我見過很多 PR 里一個 commit 寫了 800 行改動信息只是“fix bug”這種提交歷史基本沒有可讀性。更好的做法是遵循 Conventional Commits 規(guī)范在提交信息里用簡短的類型前綴說明改動類別比如 feat: 新功能、fix: 修復問題、test: 測試相關、docs: 文檔修改。同時一個 commit 盡量只做一件事把邏輯上獨立的修改拆成多個 commit方便 reviewer 逐個審查。Git 操作層面有幾個建議。一是經常拉取主分支的最新代碼及時 rebase 以減少合并沖突二是在提交信息中用祈使句開頭比如 Fix double free in comm buffer而不是 Fixing 或 Fixed三是提交信息正文可以簡單寫清楚為什么做這個修改以及實現(xiàn)的思路但不要寫廢話。4.2 代碼風格與自檢清單在推上遠端之前先在自己的分支上做一輪自檢這種自檢能大幅提高 PR 通過率。以 C 代碼為例重點檢查以下幾項。第一命名是否規(guī)范。HCCL 這類底層庫對命名風格有嚴格要求變量名要能清晰表達含義避免 a、b、c 這種無意義命名函數(shù)和類的命名要符合項目既有風格不要一種模塊用駝峰、一種用下劃線至少在同一個文件里保持一致。第二邊界條件是否處理。比如你改了一個緩沖區(qū)分配邏輯是否考慮了 size 為 0 的情況是否考慮了內存對齊要求是否能處理分配失敗這些邊界條件往往是 bug 的溫床。第三是內存和資源管理。C/C 項目最常見的問題就是內存泄漏、雙重釋放、資源未釋放。如果你改動的代碼涉及動態(tài)內存分配仔細檢查每條路徑上資源是否都被正確釋放。對于不熟悉 C 內存管理的同學建議先讀幾遍項目里已有的分配釋放邏輯照葫蘆畫瓢比自由發(fā)揮更安全。第四日志是否恰當。HCCL 有自己的日志系統(tǒng)在關鍵路徑和錯誤分支上應該有合理的日志輸出方便線上問題排查。但日志也不能太多每個正常操作都打一條日志會把性能拖垮。第五測試是否充分。如果改動修復了某個 bug至少應該有一個能驗證該 bug 被修復的測試用例。對于性能優(yōu)化則需要附上優(yōu)化前后的基準測試結果。4.3 PR 描述怎么寫得讓 Reviewer 秒懂PR 描述是你和 reviewer 溝通的第一份材料它的質量直接決定了 review 的順暢程度。一份好的 PR 描述不需要長篇大論但必須覆蓋幾個核心信息這個 PR 解決什么問題、改動涉及哪些模塊、實現(xiàn)思路是什么、測試結果如何、是否有關聯(lián)的 Issue。一個比較實用的模板結構如下## 背景 2~3 句話說清楚為什么要做這個修改關聯(lián)的 Issue 編號 ## 改動內容 列出主要改動文件和每個文件的核心變更點 ## 實現(xiàn)思路 簡要說明采用的技術方案為什么選擇這個方案而不是其他方案 ## 測試驗證 本地測試、單測、CI 結果、性能對比數(shù)據(jù) ## 影響范圍 這個改動會影響哪些模塊或場景是否涉及接口變更、是否需要升級適配寫 PR 描述的時候要站在 reviewer 的角度去寫。reviewer 可能對你的改動上下文不熟悉你要用最短的時間讓他理解你在做什么、為什么這么做。不要直接拷貝 commit message 到 PR 描述里commit message 是給代碼歷史看的PR 描述是給人看的兩者內容可以有重疊但 PR 描述應該更完整、更有邏輯。還有一點PR 描述里提到的測試結果一定要真實可查不要編造數(shù)字。如果某個性能數(shù)據(jù)是在特定條件下測出來的要如實寫明測試環(huán)境和方法。reviewer 大概率會追著你問數(shù)據(jù)的來源如果數(shù)據(jù)站不住腳你的信譽會大打折扣。5. 過 CI 和 Code Review 的硬仗5.1 CI 跑哪些東西提交 PR 之后代碼會自動進入 CI 流程。HCCL 的 CI 通常包括編譯檢查、單元測試、靜態(tài)代碼掃描、以及依賴于硬件環(huán)境的集成測試。你不一定能看到所有 CI 階段但編譯檢查和靜態(tài)掃描基本每次都會觸發(fā)。CI 失敗是每個貢獻者都會遇到的事情第一次不用慌。最常見的失敗原因有三類編譯錯誤、代碼格式不符合規(guī)范、測試用例掛了。編譯錯誤比較直觀順著日志里報錯的文件和行號定位即可。格式問題則需要用項目指定的工具跑一遍自動格式化比如 clang-format 或 astyle 之類格式化完成后再提交。測試用例失敗的情況需要具體分析。如果在本地能復現(xiàn)那就按正常的調試流程走如果本地無法復現(xiàn)則可能是環(huán)境差異導致的此時可以在 PR 評論中說明情況并請求維護者協(xié)助查看 CI 日志。有些 CI 失敗是因為基礎設施不穩(wěn)定導致的偶發(fā)失敗比如網絡超時、資源調度延遲這種情況下重跑一次就過了但如果是你的代碼引起的重跑多少次都是失敗。想減少 CI 往返次數(shù)最好的辦法是在本地盡量復現(xiàn) CI 的檢查項。比如提前在本地跑單元測試、靜態(tài)檢查、格式化校驗確保這些過了再推代碼。CI 每失敗一次你的 PR 合入時間就延后一次而每個維護者一天能處理的 PR 數(shù)量是有限的。5.2 面對 review 意見的心態(tài)與技術準備Code review 是整個貢獻流程中壓力最大但也最有價值的環(huán)節(jié)。你的 PR 提交后維護者或社區(qū)成員會逐行查看代碼提出修改意見。這些意見可以是針對正確性的嚴重問題也可以是對變量命名的吹毛求疵甚至是對代碼風格的偏執(zhí)。先說一個最重要的心態(tài)建設review 意見不是針對你一個人的它是針對代碼本身的。看到“這里加個空指針檢查”這種意見不要興奮也不要失落把它當作一次技術方案打磨的過程就好。技術準備方面你要能區(qū)分不同性質的 review 意見。如果是正確性問題比如并發(fā)競爭、內存錯誤、邏輯漏洞這個沒有商量的余地務必認真修改。如果是風格和可讀性意見雖然不強制但建議盡量順從因為維護者比你更了解項目的歷史慣性和后續(xù)維護成本。如果是方案層面的討論比如“你為什么會選擇用自旋鎖而不是互斥鎖”這種意見開放度比較高你可以從實際場景和性能測試數(shù)據(jù)出發(fā)據(jù)理力爭前提是你的論證有數(shù)據(jù)支撐。有個經驗可以分享當你在 review 中修改代碼之后一定要在 PR 評論區(qū)回復每條意見的處理結果。常見的做法是直接用 GitHub/Gitee 的回復功能加一段“已修復見 commit xxxxxxx”或者“這個建議我不太認同原因是……”。每個意見都有交代reviewer 才能放心地在后續(xù) commit 中只關注新增的改動。5.3 反復修改與歷史清理除非你寫代碼真的行云流水否則一個 PR 經過多輪 review 修改是非常普遍的事情。每輪修改之后你需要在 PR 里追加新的 commit。這里有一個困擾很多新手的問題我改了一輪產生了 3 個新 commit歷史能清理嗎我的建議是分階段處理。在你的 PR 還沒有被 reviewer 大量關注之前可以用 git rebase 把多個小 commit 合并成幾個邏輯完整的 commit讓歷史保持整潔。但當 reviewer 已經在舊 commit 上留過言之后就不要再隨意 rebase 了因為那會讓 review 評論和代碼版本對不上反而增加溝通成本。這個階段你可以通過追加 commit 的方式表達等 PR 合入時平臺一般會默認用 squash merge 的方式把整個 PR 壓成一個 commit這樣最終歷史依然干凈。Git 操作上還有一個注意項rebase 時不要強推git push --force已經公開的 commit如果你用了一定要在 PR 評論里明確告知否則別人本地的分支會變得非?;靵y。更穩(wěn)妥的做法是先 fetch 主分支最新代碼然后 rebase 到最新再強推你的 PR 分支。5.4 合入前最后一道關卡簽署與自評很多開源項目在 PR 正式合入前還有一個輕量級的合規(guī)檢查常見的是貢獻者許可協(xié)議CLA和開發(fā)者原創(chuàng)證書DCO。HCCL 這類商業(yè)驅動的開源項目通常都在意這種合規(guī)問題因為它涉及代碼的版權歸屬和法律風險。如果合入前提示你需要簽署 CLA不要覺得麻煩這是一條一次性流程填一遍以后所有項目都能通用。DCO 的簽署則更簡單一般只需要在你的 commit message 尾部追加一行 Signed-off-by: 你的名字 郵箱表示你確認這些代碼是你寫的或者你有權提交這些代碼。很多新手一看到英文縮寫就以為很復雜其實整個流程五分鐘內就能完成。還有一個容易被忽略的步驟合入前自己最后讀一遍完整的 diff。尤其是改動后的文件從 Git 的 diff 視角再審視一次。你會發(fā)現(xiàn)很多平時注意不到的小問題,比如誤提交的調試代碼、多余的空白改動、臨時的日志輸出。自己先把這些問題清理干凈再讓維護者看到能少挨很多批。6. 合入之后與常見問題速查6.1 合入不是終點PR 合入之后很多人會覺得這件事結束了可以接著去做下一個任務。但從貢獻者的角度合入只是開始真正驗證你改動的時刻是在之后的一個月。首先你要關注合入后的 CI 情況。合入主分支并不意味著代碼完全沒問題穩(wěn)健的項目通常會在主分支上跑更長時間、更全面的回歸測試。如果這些測試發(fā)現(xiàn)你引入了回歸維護者會在你的 PR 討論里回復你或者新建一個 Issue 指向你的提交。其次你可以繼續(xù)保持對相關 Issue 的關注。如果你的改動修復了某個用戶報告的 bug可以留意用戶側有沒有反饋“這個修復有效”或“問題仍然存在”的信息。如果問題仍然存在你需要重新打開 Issue 繼續(xù)排查這也是開源社區(qū)協(xié)作的正常節(jié)奏。另外作為一個已經合入過代碼的貢獻者你已經有資格去 review 別人的 PR 了。這是一個很好的學習機會——你會發(fā)現(xiàn)坐在 reviewer 的位置上你會更加理解那些你曾經覺得煩瑣的規(guī)范其實都是項目質量和可維護性的保證。6.2 常見問題速查表下面整理了一些 HCCL 貢獻過程中常見的問題和排查方向是我以及身邊同事實際踩過的坑供你參考。問題現(xiàn)象可能原因排查思路本地編譯失敗報缺少頭文件依賴庫路徑未配置檢查 CANN 或驅動環(huán)境變量確認 LD_LIBRARY_PATH 是否正確CI 失敗全部失敗在編譯階段拉取代碼時未同步子模塊檢查倉庫是否用 --recurse-submodules 拉取或手動更新子模塊CI 失敗失敗在靜態(tài)掃描代碼格式不符合規(guī)范本地運行 clang-format 等格式化工具后重新提交本地單測通過CI 單測失敗環(huán)境差異或測試數(shù)據(jù)不同對比本地與 CI 的環(huán)境變量、依賴版本必要時在 PR 中請求維護者獲取 CI 日志性能優(yōu)化數(shù)據(jù)不佳方案與硬件拓撲不匹配嘗試在不同卡數(shù)、不同數(shù)據(jù)量下進行基準測試分析是否引入了不必要的同步無法在本地復現(xiàn) Issue 中的崩潰缺少日志開關或特定環(huán)境變量按 Issue 中提供的信息逐項核對尤其是數(shù)據(jù)量、拓撲和驅動版本PR 長期無人 review維護者繁忙或描述不清晰在 PR 評論區(qū)禮貌 維護者或補充測試數(shù)據(jù)和復現(xiàn)步驟讓問題更清晰6.3 幾條值得謹記的避坑心得做了一段時間 HCCL 貢獻之后有幾個踩過的坑讓我印象很深這里集中說一下。第一不要在 issue 里只問“怎么解決”而不提供任何上下文。一個好的問題應該讓人感覺你已經讀過代碼、有自己的猜測只需要別人幫你確認方向。我在社區(qū)里看到過的最高效的一次提問是一個貢獻者直接貼出了他定位到的代碼行號并附上了他對問題的分析維護者只回了一句“你的判斷是對的修吧”這比來回追問五六輪高效太多。第二不要在一個 PR 里同時修多個不相關的問題。多個問題混在一起reviewer 很難評估風險。一個 PR 解決一個問題是開源協(xié)作的基本契約。如果你發(fā)現(xiàn)代碼里另外有一個 bug請新建一個 Issue 或者再開一個 PR不要塞到當前這個里。第三不要忽視文檔的力量。代碼改動如果涉及對外行為的變化比如環(huán)境變量語義變更、接口參數(shù)調整、日志輸出變化一定同步更新相關文檔。你維護的不只是代碼還有這個項目的可理解性。很多 PR 因為文檔沒有同步更新而被要求返工這種事情完全可以提前避免。第四不要在 rebase 的過程中引入重復的改動。很多新手在 rebase 主分支時因為沖突解決不當把主分支的代碼又復制了一份到自己分支里導致 diff 里出現(xiàn)大量無關改動。遇到這種情況建議用 git diff 對比主分支和自己分支的差異檢查是否只保留了你想要改動的文件。最后再說一點參與開源項目不是一個零和博弈。你可能提交的第一個 PR 會被拒絕會被告知設計欠妥甚至會被人說“這個思路根本不對”。這些都很正常很多資深開發(fā)者當年的第一個 PR 也是被反復打回來的。關鍵是你能從反饋里學到東西而不是被打擊之后就放棄。如果你手頭有昇騰設備又有興趣深入了解分布式訓練底層的通信邏輯可以試著從跑通官方 benchmark 開始然后自己設置一些異常數(shù)據(jù)或者異常環(huán)境變量看看會發(fā)生什么。好奇心是最好的入口而 Issue 和 PR 只是把你對問題的理解轉化成最終代碼的載體。只要你能把一件事寫清楚、說清楚、改清楚開源社區(qū)的大門對你就是敞開的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久91| 国产欧美在线观看免费观看| 精品超碰国产| 亚洲图片激情综合另类| 激情五月天婷婷| AA级电影三区| 午夜成人爽爽爽爽A片李冰冰| 久久风骚城市| 婷婷丁香六月| 久久综合九九| 中文字幕一二区二三区人妻专区| 久久这里只精品| www.天天干| 久久久久久久久久va| 欧美人妻二区三区| 久热9| 国产福利精品98视频| 一本久久精品中文字| 丁香五月成人| 黄片色区软件| 精品玖九九久| 搡老女人老91二区| 操逼内射干逼白丝91| 啪啪资源网| 999久久久精品国产| 久草免费福利在线播放| 欧 美 自 拍 偷 拍| 亚洲无码一区成人免费午夜| 色踪合AV| 精品人妻视频一区二区在线播放 | 国产成人精品一区| 亚洲97p| 大香蕉伊人亚洲| 中文字幕 国产 精品| 高清一区AV无码| 久久这里只有精品9| 日韩欧美蜜桃精品久久中文字幕久久| 中国小夫妻勾搭露脸淫荡对白| 一区二区三区免费岛国片| 国产精品乱码久久久久久久久| 久久免费精品96| 免费人人搞97| 国产丰满熟夫69mpp| 青苹果影院男人的天堂| 99xav| 北京专精特新企业招聘信息| 久久亚洲天天做| 欧美1727免费观看视频| 欧美亚洲丝袜人妻制服99| 中文字幕日韩综合| 欧美美女自慰一区二区三区| 亚洲情色1区| 国产精品肉丝自拍| 天天干天天日天天射黄色大片| 曰韩精品九九无码| www.一本大99| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 综合色图,成人综合网| 天天干人妇| 亚洲成?V人片在线观看福利| 午夜理论片在线观看免费| 国产AV色黄看到爽| 久久毛卡| 色综九九九一区| 日韩中文字幕视频在线观看| 日韩中文字幕二区| 日韩欧美传媒一区国产| 久热久| 91嫩草在线| 青青草亚洲一区| 91在线欧色| 丁香六月婷婷| 国产传媒午夜理伦精品| 大香蕉宗合网在线| 加勒比在线视频| 操99| 亚洲精品一区二区三区新线路| 蜜臀av一区二区三区免费观看| 久久久久免费少妇| 亚洲天堂情色| 久久精品一区一起草| 精品九区| 91丨九色丨国产丨人妻在线| 边做饭边操逼逼| 看一级特黄a大一片| 色呦呦国产精品免费看| 夜夜做夜夜爽精品视频| 熟女探花啪啪| 亚洲成人一区二区精品| 蜜臀少妇一区二区| 欧美国产视频| 国产福利电影| 欧美夜夜狠| 青青草男人天堂| 91精品人妻一品二品三品| 91综合在线| 先锋影音av先锋一区| 日韩人妻 中文字幕| 97在线精品| 97超碰热线| 国产青青美女玩逼视频| 人人妻碰人人免费| 日韩 人妻 精品| 伊人色综合欧美| 东京热毛片调教| 日韩黄色片子| 亚欧国产无码精品在线| 蜜伊人色综合97| 青青草中出视频| 欧美专区日本专区| 婷婷五月天无码| 嫩草黄页| 亚洲美女自拍偷拍视频| 九九九九免费高| 91综合色噜噜| 天天添天天干电影| 日韩本不卡视频在线观看 | 国产精品国产精品国产| 久久无码一区二区二三区性色| 高清国产av无码| 久热久| 午夜国产成人精品视频 | av橘色网站| 好吊色综合| 国产精品免费视频人成| 午夜AV污污污| 国产欧美日韩一区二区三区| 91天天综合网,天天综合网| 日韩久射综合| 嗯嗯啊在线视频| 97中文字幕一区| 国产传媒操逼视频| 国产久久久久影院老熟女| 亚洲国产一级黄色视频| 亚洲色欲天天人妻无码系列专区| 欧美亚洲国内自拍| 麻豆天美91| 久久极品一区二区| 综合久久97| 免费看日产一区二区三区| 狠狠躁日日躁夜夜躁A| 久久久久久久久久久久黄色| 干b在线性社区| 一及黄久一点| 免费看国产大AB| 中文字幕一区二区三区人妻少妇在线| 久久久久久大| 九月丁香| 97人人爱人人做人人乐| 五月婷婷hd| 精品性爱久久视频| 97伊人网| 精品偷拍13p欧美dodk视频| 男人的天堂一区三区| 午夜天堂啪啪| 狼天天狼天天大香蕉| 三级片大波波| 操死我了啊啊啊| 香港久久久| 亚洲av青草久久一区二区| 国产JDAV无码视频在线观看| 婷婷影院入口| 奸色色 男人天堂 天天射| 亚洲图片 91| 黄色av片三级三级三级免费看| 大香蕉黄色一区| 乱日视频| 亚洲人体视频在线观看| 自拍鲍鱼一区在线高清观看免费| 丁香六月激情| 久久人妻视频网| 日日黄色三级网站| 久夜操| 精品国产一区探花在线观看| 国产大学生高潮在线播放| 激情综合五月婷婷| 日日干夜夜骑| 自拍偷拍第26| 久久婷婷视频| 色香伊人| 东京热,男人的天堂| 2018天天日天天日| 91婷婷伊人狠人| 日本在线不卡v二区| 97干在线看| 天天热精品| 毛片久久| 久久久9品一区二区三区| 亚洲有薄码区久久在线一区| 伊人黄色片| 欧成人精品H无码| 狠狠色噜噜狠狠狠狠2018| 丁香色五月 97干| AV中文字幕剧情1区2区3| 99色网| 亚洲色图日韩精品| 欧美亚洲美少妇一区二区| 水滴偷拍| 久久色情| 91白虎| 91碰超| 日本亚洲vr欧美不卡高清专区| 日日夜夜青青草母狗| 超碰九7| 婷婷亚洲五月***久久| 欧美综合在线91| 九九九久千久久激情蜜桃在线看| 97在线免费观看视频| 欧美特大黄一级片片免费| 国产噜噜噜噜噜久久久久久久久| 在线a亚洲视频播放在线| 五月婷婷五月天| 97精品视频网站| 青草精品视频一日本久久久久网站| av在线一区二区三区| 欧亚不卡| 欧色性第一页| 色网在线视频观看免费| 国产精品电| 久久精品中文字幕无码l| 睡产熟女乱伦| 717影院理论午夜伦八戒| 骚乳在线| 人妻一区二区三区视频| 日韩午夜啪啪视频| 超碰美国| 99视频只有精品| 91劲爆| 亚洲日韩精品在线播放| 国产精品在线免费| 亚洲综合色婷婷| 欧美色图校园春色| 亚洲综合97中文网| 国产美女裸体秘 永久无遮挡| 日韩欧美麻豆大片| 夜夜操美女| 亚洲天堂人妻一区二区| 老熟女乱伦片| 国产第11页| 欧美性爱精品一区二区| 少妇综合| 品亲网欧美品亲网| 九九99精品| …亚洲黄色厕厕女女在线播…| 26uuu国产| 9 1果冻精品视频| 日本精品成人无码| 2019AV天堂| 久久精品人妻一区二区三区| 亚洲欧美中文一区二区三| 亚洲天堂日本| 九九激情网| 人妻夜爽夜夜爽| 日韩99神马视频播放片在线播放| 亚洲情色图片区| 秋霞成人做爱| 一级黄碟| 成年女人一区| 国产蜜臀精品一区二区尤物| 99精品综合久久久久五月天| 欧美日韩丝袜 | 国产超碰在线| 探花精品 一区二区| 天天日天天舔东京热| 欧美精品久久久久久久丰满| 91色花堂| 青青青草伊人精品| 亚卅熟女乱色| 99视频这有这里有精品| 日本欧美不卡| 97操B| 性欧美另类高清| 日韩亚洲国产视频| 天天草天天日| 欧美一品道| 天天操av懂色| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 国模少妇一区二区三区| 欧美一级AAAAAAA| 97操碰| 精品十三区| 婷婷五月天色| av凤凰久久久| 国模不卡| 中文字幕日韩精品久久| 一区二区高清视频| 欧美激情 亚洲色图| 久久久久久久少妇| 综合色图,成人综合网| 国产91精品福利在线| 97精品久久久久久久| 激情婷婷五月天| 加勒比综合88| 日韩资源网| 免费αⅴ在线观看| 免费观看网黄| 人妻丝袜肏逼| 人妻少妇精品久久久| 欧美一区二区在线资源| 国产精品永久免费10000| 男人的午夜天堂| 免费国产| 日本久久久精品电影| 特级大荫道BBwBBwBBW| 丁香五月婷婷基地| 五月天婷婷影院| www.超碰在线| 91婷婷伊人狠人| 国产又粗又又黄又猛| 五月色网| 校园春色 男人天堂 | 国产免费一区| 大屁股国产在线视频| 久久综合乱子伦国产免费| 欧美婷婷五月天| 国产精品99久久久www| 国产精品无码论坛| 午夜国产乱伦视频| 国产多人在线观看视频| 日韩熟女乱伦中出| 日操粉逼逼| 秋霞 色色| 激情综合网激情综合| 国产精品动态一区二区三区四四| 一本色道久久综合亚洲二区三区| 无卡一区=区| 人妻喷水| 欧美天天综合网版| 夜草网站| AV污污污污| WWW操逼| 国产成年女黄特黄| 国产精品一区av在线| 亚洲情色五月天| 中文字幕一区二区三区人妻少妇在线| 伊人991| AV色图| 人妻欧美| 成人自拍三级在线观看| 手机在线播放国产福利| 香蕉在线一区二区三区| 婷婷尹人大香蕉免费| 欧亚综合一卡二卡中文字幕| 国产综合久久久鬼色| 亚洲图片 激情小说| 后入式999| 欧美翘臀视频网站一区二区三区| 韩三级a视频在线观看| 欧美日韩插逼视频| 久久久久国产一区二| 人妻天天夜夜爽一区二区| 青青操97| 人妻五十路在线| 久久久久久久久一区二区三区| 成年人黄色| 五十路三区在线| 99这里只有精品国产| 国产日韩欧美中文在线播放| 欧洲黄色网| 91视频伊人| 人人摸人人叼| 亚洲情色在线| 91丨精品丨国产丨丝袜| 人人妻人人玩人人澡人人爽| 91综合色噜噜| 91粉嫩萝控精品福利网站_精品影音先锋国| 欧美日韩中文亚洲v在线综合| AV污污污污| 精品人妻伦一二三区久久| 九月婷婷久久| 人妻喷水| 污色区网站| 日韩性爱视频免费在线| 性色av网站| 日本一天色道久久久精品视频| 婷婷性网| 高清在线偷拍自拍视频| 欧美三级不卡| 黑人在线91| 国产suv精品一区二六| 国内毛片热久久思思热| 亚洲精品国产无码高清| 国产青一二三| 性色高清..……| 亚洲91在线播放影院| 男人的天堂,欧美亚洲另类国产日韩,日本高清一区二区 | 好湿好紧视频| 国产精品成人福利在线| 色老牛| 亚洲人妻一区二区三区| 91熟女视频网| av在线一区二区三区| 四虎AV在线观看| 亚洲熟女乱色一区二区三区久久久| 中文字幕蜜乳av| 99激情视频| 91免费看中出视频| 五月丁香婷婷色| 男女性扦B| 国产成人自拍视频视频| 国模一区二区三区| 日韩综合色图| 精品人妻二区三区| 国产精品成久久久久午夜午夜| 欧美日韩操操操| 超碰天天操| 中国女人内射6XXXXX| 久久人妻视频网| 东京热综合久久一区二区| 狠狠干综合| 超碰97久久国| 一区在线观看中文字幕| 亚洲综合精品国产一区| 乱欲性色| 久操com| 欧美内射少妇| 亚洲伊人a线观看视频| 国产男女边吃边摸视频网站| 神马久久网| 4虎在线观看| 四虎AV在线观看| 亚洲色图国产另类| 欧美97视频| 亚欧美综合网| 370p日韩欧美亚洲精品| 色娱乐色呦呦夜夜夜夜av| AV一区观看| 加勒比人妻综合| 日本高清视频xxxx| 国产女人9999| 国产尹人在线视频免费| 欧美日韩系列| 久久久久久久极品香蕉视频| 亚洲人体视频在线观看| 天天超级碰碰碰| 91九色精品熟女内射| 91老司机在线| 亚州色图欧美| 极品极品色影院| 91精品国产一区三一| 91欧美长吊| 久久首页| 亚洲熟妇A V黑人| 97国伦国色| 欧洲一级性爱视频在线观看| 色欧美综合| 午夜呻吟欧美| 中文字幕一区二区三区视频播放| 99色网| 国产人妻精品一区二区三区秋霞| 99在线精品观看99| 精品高清av中文字幕| 青青草影视蜜久久| 懂色AV中文| 九九AV| 国产又黄又粗的视频| 欧美三级偷拍| 人人爽人人精品乱人伦AV| 男人天堂一区二区| 淫荡少妇免费| 操人人| 日本不卡一二区| av线电影| 九九热精品| 欧美十八禁导航成人| 久久久久久九九九| 国产精品对白自产拍| 亚洲少妇喷视频看| 少妇滛荡视频| 中日亚韩免费视频| 精品综合久久久久久五月天| 人伦四五区| 青青草成人视频在线观看二区| 大香交伊人网| av九九| 91c色| 色综合V| 久久69| 秘书高跟黑色丝袜国产91在线| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 美女让帅哥通她小鸡鸡| 亚洲淫乱骚妇AV| 亚洲综合色男人网| 996热| 中文字幕日韩专区精品系列| 婷婷色综合| 亚洲AV秘 精品久久老牛影视| 精品无码久久久久久久杏吧| 搡老女人老熟女91老熟女综合网| 中文字幕av一区二区三区人妻少妇 | 日韩精品人妻中文字幕久久久| 婷婷色在线| 日本免费亚洲欧美| 8050无码八戒| 亚州操逼图| 亚洲天堂一区二区久久| 97人人夜夜精品视频| 张柏芝国产一区在线观看| 亚洲久9| 91狠狠综合久久| 成人日本片久久久蜜桃| 亚洲国产精品久久久久婷婷老年 | 91 丝袜在线播放| 欧美一区二区男人天堂| 亚洲人天堂| 好吊色综合| 国产福利合集| 国产强奸AV在线| 98人妻精品一区二区色欲| 中文字幕蜜乳av| 欧美日韩国产成人高清| 色黄污美女啪啪啪免费网站| 日韩性爱1级片视频| 亚洲婷婷综合网| 91人妻人人澡人人爽人人精品| 久久久久久97| 91大神精品长腿在线观看网站| 国产精品久久久久久亚洲色欲| aaa亚无码专区| 亚洲精品国产精品成人| 成人性爱av.com| 国语av最新自产拍在线观看| 操碰97| 六九九九| 欧美日韩大陆黑人少妇99| 国产欧美成人精品| 亚洲美腿丝袜香蕉影视欧美成人| 综合少妇网| 欧美春色| 手机午夜电影神马久久| 婷婷视频在线免费观看| 思思热在线视频精品| 久久,精品一二三| 久久999久| 91在线丝袜| 亚洲天堂男人天堂网| 天堂av最新电影网| 亚洲无码视频免费在线观看网址!| 中文字幕黄片在线| 一区二区三区激情在线观看| 久草综合京东| 粉嫩av一区二区三区四季| 花花AV导航| 2019精品国产无码成人| 国产精品一区二区三区,亚洲综合 性开放中文AV高清无码免费看 | 成年人黄色| 偷拍偷窥与盗摄视频专区| 黑丝自慰喷水网站| 小少妇| 九九国产热| 狠狠爱夜夜| 亚欧毛片基地国产毛片基地| 午夜操一视频一区| 黑人精品一区二区在线播放| 丁香五月久久| 99re6久热只有精品6在线直播| 亚洲欧洲第二视频在线观看色图| 男人的天堂99| 一本一道vs波多野结衣| 97久久精品亚洲| 日韩综合97P| 97色碰| 日本精品一区二区中文字幕| 91高跟美女在线播放| 我要色综合网| 人人扣人人操| 欧美乱妇狂野欧美在线视频| 亚洲se91| av大香蕉| 亚州,欧美在线| 园内精品自拍视频在线播放| 狠狠干综合| 亚洲人精品午夜不卡| 青娱乐休闲视频在线观看| 欧美视频一| 射丝袜大香蕉| 91日产欧美| 9999九九九久久久| 欧美一区二区亚洲天堂| 亚洲情色 欧美| 破处bbq| 91操人| 国产精品电| 欧美性生活男人的天堂| 国产欧美成人第一页在线观看| 亚洲色人妻综合| 欧美激情在线观看视频| 91久久久久久久| 四虎免费视频| 亚洲精品乱码线路中文字幕| 97人妻色| 成人在线视频二区| 国产99999久久精品| 友优传媒精品在线一区二区| 国产1024在线播放| 日本精品中文字幕视频| 一区二区三区亚洲| 91社操逼| 久久婷婷六月综合| 熟啊v色欧美热| 色婷婷婷五月天激情四射| 18啪啪手机免费性爱| 中国91AV| 26uuu国产免费观看| 亚洲最大成人a毛毛片| 先锋激情∨在线视频播放| 亚洲色欲一区二区三区| 蜜臀网 一区| 日本好吊色视频| 九七人妻在线| 911av网站免费观看| 青草青青久久久久久国产| 久久香蕉国产线看观看亚洲女人| 深爱五月婷婷| 超碰69| 亚洲 欧美日韩 另类| 91插B网站| 色五月婷婷网| 12一15性XXXX粉嫩国产| 欧亚不卡| www.av在线观看| 九九九精品美女| 富二代亚洲精品99| 欧美黑人精品在线播放| 丝袜色综合| 亚洲激情久久| 大屁股人妻女教师撅着屁股| 手机午夜电影神马久久| 欧美三级一级| 精品午夜福利国产一区二区在线观看 | 在线强奷到舒服的无码视频| 91 综合网| 97久久视频| 一个色导综合| 91碰碰| 97色五月天完| 97综合| 十八禁一区二区无码观看| 婷婷五月天色色| 香港澳门日本三级网站| 丰满欧美放荡少妇在线| 任你爽视频| 永久免费av无码网站国产app | 九九亚洲| 欧美一级特黄淫片在线观看| 欧美激情在线观看视频| m欧洲一级午老| 日韩偷拍色图| 美国一区二区免费视频| 国产精品人妻免费精品| 久久久成人免费av电影| 婷婷色香| 97精品国产97久久久久久免费| 99精品欧美一区二区三区桃色| 992视频一区| 综合欧美日韩在线| 色情乱伦AV| 国产精品人妻免费精品| 性欧美| 亚洲97p| 蜜臀av中字字幕网站| 亚洲日本韩国在线| 最近2018中文字幕在线高清第一页| 少妇高潮一区二区三区在线| 91欧美另类| 久久久工口| 三级三久久线久久99久目本WW| 欧美中文字幕精品人妻| 大香蕉99999| 久久久久久九九九九九九| 久草新免费| 亚洲五月婷婷| 最新啪啪视频| 国产欧美精选激情视频| 中文字幕美女91| 丰满人妻一区二区三区| 久久老熟女| 狠狠操狠狠燥| 亚洲男人的天堂网| 熟妇国产免费一区| 欧美A√综合网| 欧美性爱一内片一区二区三区| 99亚洲精品| 欧美一区二区三区日韩| 亚洲精品第一| 丰满人妻一区二区三区四区| 精品人妻中文字幕高清| 91成人18| 欧美中文综合| 欧美日韩中文视频播放| 中文字幕在线免费观看 | 国产精品电影推荐| 欧美激情色婷婷花野真衣一区二区| 99re3这里只有精品| 97资源超碰| 国产激情久久久| 国产尹人在线视频免费| 日韩不卡av一二三| 性一交一乱一交A片久久四色| 亚洲AV无码国产精品久久久久 | 玖日综合网| 综合情欲网| 欧美骚少妇| 揉揉揉夜夜| 91综合网在线| 国产品精品自在在线午夜免费| 91老熟女| 青娱乐91| 成人小说另类在线| 人人 操人人 操人人| 三级日本一区二区三区| 国产又黄又粗的视频| 亚洲国产精品成人久久蜜臀| 欧美一级在线观看成人| 欧美不卡在线一区二区| 欧美亚洲尤物久久| 家庭乱伦性爱av| 深夜激情无码| 91黑丝露脚| 宅男91视频在线播放| 欧美久久毛片基地| 国产精品电影推荐| 怡春院久久| 91这里只有精品| 一级性爱视频免费在线| 操高情无码| 九月丁香综合网| 亚洲,欧美,春色,另类| 国产性感在线观看| 最新9久久久9免费视频| 亚欧洲日韩国产精品| 色色毛片| 精品一区二区人妖| 九九热精品免费视频| 天天干天天日天天射黄色片| 樱花草社区www中国| 99久久99九九99九九九| 欧美日韩啪啪电影| 一块操欧美| 天天干天天爽| 国产13区| 国产精品久久久午夜夜伦鲁鲁| 九九九九亚洲| av网站在线观看了| 能看的av| 97伪v| 射久久| 久久久久亚洲Aⅴ无码| 久操B网| 亚洲欧美日产国产91毛片| 亚洲有码视频二区| 老司机深夜影院18未满| www老逼91| 免费男人的天堂| 成人精品久久久午夜福利| 国产高潮AA片免费看| 啊啊啊啊啊好大好舒服想要| 久久久91| 成人国产精品三级A片| 天天综合有色网| 欧美春色| 欧美专区日本专区| 天天日B狠狠操| 九99久久| 啪啪视频亚洲第一| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 97欧美综合| 蜜乳av首页| 男人把坤坤插入女人的下体| 人妻丝袜美腿中文字幕| 熟女乱伦二区| 91美女視頻| 精品成人亚洲午夜电影| 日本女人久久久| 一区在线国产播放| 国产亚洲欧洲在线观看| 亚洲国产成人精品999| 啊啊啊啊嗯嗯嗯用力好爽| 大香交| 国产乱码精品一区二区三区四川| 91欧美长吊| 97爱爱| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 日韩无码视频黄色| 国产丝袜视频| 亚洲色电影在线| 在线性黄高清免费视频| 久久天天躁日日躁狠狠躁| 无码137片内射在线影院| 97超碰色五月| 91亚洲综合| 婷婷情色综合网| 日韩精品人妻| 殴美性色a级欧美| 91综合网站| 欧美日韩m| 日语五十路和六十路亚洲国产精品| 人妻少妇一区二区| 97超碰美女| 精品丰满人妻一区二区三区免费观| 欧洲站一级二级三级h| 亚洲操操| 久久久久久综合久久伊人蜜月| 色综合色欲色综合色综合色综合| 爱丝福利| www.超碰在线| 九久久精品| 成人AV在线电影| 欧美偷拍| 一区久久久二区| 欧美性爱18观看| 69AV女优男人的天堂| 日韩一区二区精彩视频| 丝袜美腿校园春色| av网站免费看| 精品久久久亚洲AV成人网站| 欧美激情在线观看视频| 久久,精品一二三| 九九九九九九视频免费| 九九热五区| 日本性爱少妇| 一区二区三区无卡视频在线观看| 久久黄色性爱视频| 日韩欧美~中文字| 无码一区二区三区四区五区六区七区八区九区十区视频 | 九月婷婷综合| 欧美精品三区| 精品一二三区四视频| 欧美午夜一区二区三区| 水滴偷拍| 久久AV无码1区2区3区| 中文字幕精品一区二区精| 久久久夜夜夜| 青春草A| 囯戸精品高潮呻吟旡码| 少妇高潮喷水无套久久久久久| 欧美一级久久久丰满| julia国产在线| 欧美色图片91| 一区三区啪啪| 国产精品久久久啊| 久久原创中文| 九九天堂| 日本女优在线视频福利| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 三级三级三级a级全黄三| 久久久久久十| 欧州一区二区三区四区| 91国精产品| 日本三级日本三级三级人妇四虎| 亚洲精品亚洲人成在线麻豆| 青青草国产欧美非洲黑人| 亚洲区限制级| 久久久久成人蜜桃精品| 国产精品熟女九色九色蜜臀| 超碰美国| 伊人伊人LD| 人妻日日夜夜精品| 熟女视频久久| 极品色| 亚洲精品久久久久久| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 亚洲Av无码成人精品国产| 亚洲综合九九| 国产三级中文字幕粉嫩| 国产熟女精品区| 99久久九九| 亚洲精品人妻在线| 天天草天天日| 97精品在线视频| 久久偷拍人| 欧美性猛交美女自慰91| 日韩少妇一区二区三区| 探花精品 一区二区| 夜夜嗨一区二区三区三州加勒比| 麻豆婷婷成人一二三| 六月丁香啪啪| 五月丁香社区婷婷日韩欧美精品影院| 日本操逼aaaaa| 偷拍 亚洲 欧美| 久久免费精品96| 91在线免费观看处女| 色色婷| 人妻99p| 日韩欧美午夜视频在线| 国产精品人妻熟女aⅴ| 午夜男女爽爽大片免费观看| 天天92av| 天堂成人网| 久久黄黄黄| 国产三级中文字幕粉嫩| 亚洲综合骚逼| 好舒服视频| 亚洲资源网| 天美欧美国产| 精品国产国产AV| 97色冈| 打av高清| 5252色欧美在线| 亚洲A色| 青青草精玖玖69精品| 亚洲综合影视| 精品v1区| 日少妇亚洲版| 色网综合网| 超碰97首页| 屁股久久久久久久久| 午夜综合在线| 欧美亚洲清纯| 疯操AV| 吊色| 91精品网站| 青青草国产欧美非洲黑人| 夜夜躁狠狠躁日日躁av| 夜夜爽夜夜摸夜夜操免费视频| 中文字幕免费在线观看| 草B在线| 99久久99九九99九九九| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 99天堂网| 看日韩美女二区三区免费操逼视频| 人妻少妇色综合| 青青草吊丝| 亚av顶级裸体一区二区三区四区五区 | 超碰97COm中文| 日韩射精| 亚洲另类欧美精品| 亚洲囯产精品女人久久久| 久久久久久AⅤ无码免费肉站| 天天日天天干天天整| 国产精品久久成人免费| 玖玖在线视频| 青青草精玖玖69精品| 亚洲日韩乱码中文无码蜜桃臀网站| 亚洲天堂日本| 日韩欧美蜜桃精品久久中文字幕久久 | 久操免费电影| 久久9久久| 啊啊啊在线观看| 一级aaaaa欧美中文字幕录像片| 91高清无码下载| 激情AV| 熟妇人妻一区二区三区| 欧日韩在线观看| 1204人成网站色www| 色五月AV| 久久精品亚洲成a人天堂| 看日韩美女二区三区免费操逼视频| 人妻密肉在线观看| 日韩一级二级三级免费看完整版国语版 | 欧美极度丰满熟妇hd| 99热精品在线观看| 嗯嗯嗯啊啊啊在线免费观看| 亚欧美综合网。| 天天干18禁| 国产成人自拍视频视频| 日韩欧美中文日韩欧美色| 五月花婷婷| 欧美乱妇狂野欧美在线视频| 国产自产22区| 亚洲一区日韩精品中文字幕| 国产操逼逼网| 禁止观看美女黄| 亚洲综合色图欧美| AV乱伦国产| 欧美一级黄片免费播放| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 极品综合| 无码又爽又硬又激情免费视频| 夜夜操中文字幕| 欧美日韩在线小说| 手机在线人成免费视频| 欧美久久婷婷| 国产97亚洲| 欧美v亚洲v日韩v最新在线二区| 五月丁香啪啪| 九九九只有精品| 成人小说视频在线精品欧美| 日产狠狠干| 欧美丝袜亚洲| 亚欧日韩成人| 青青草视频在线观看一区二区| 亚洲少妇视频| 亚洲AV噜噜狠狠网址蜜桃动漫| 日韩成人色图| 91男人天堂网| 人人操人人摸人人看人人插| 久久麻豆一区二区| 久久成人精品| 福利社区午夜一区二区| 日韩 人妻 精品| 中文久久久| 亚洲不卡AV在线| 丰满人妻-区二区三区免费看| 秋霞免费AV| 亚洲天天影视色综合| 看免费一级在线播放毛片| 亚洲精品丝袜-不卡成人免费……| 91久久18禁| 国产家庭乱伦性爱视频| 久久欧美1卡2卡3| 夜夜欢天天干| 久久综合婷婷| 亚洲国产亚洲天堂| 日本成人电影资源网| 尤物视频偷拍免费| 操逼不卡中文字幕| 日本精品性生活久久久| 眼镜人妻101.com| 91欧美长吊| 97色伦97色伦国产欧美| 狠插 制服 自拍| 永久免费av无码网站国产app| 操人妻丝袜高跟| 美女91| 欧美乱色| 久9精品| 婷婷五月丁香五月| 欧美日韩久久精品爱爱| 亚洲第一综合| 欧美色日本| 淫荡熟女乱伦网| 骚人妻少妇视频| 激情干在线| 快灬快灬 一下爽蜜桃在线观看| 婷婷激情综合网| 夜夜高潮夜夜爽夜夜爱爱一区| 小少妇| 亚洲欧美日韩中文播放 | 手机在线视频国内精品| 日日干夜夜骑| 99久久久无码国产精品性男| 九九九九九九九九九国产精品| 日韩一级二级| 秋霞一集毛片观看| 高清不卡 中文 人妻| 操逼日韩无码| 91五十路| 爱爱动态试试看6 0秒| 岛国激情视频在线观看| 美女丝袜激情小说| 欧日韩不卡视.频| 干我久操| 玖玖超碰熟| 色哟哟国产精品免费网址| 夜夜操美女| 日夜尻逼网| 亚洲丝袜色| 男女猛烈无遮掩视频免费软件| 欧美狠狠操| 性爱精品一区| 97欧美综合| 人妻熟女午夜精品在线| 亚洲小电影免费涩涩成人在线高清| 中字一区| 六月婷婷五月丁香| 在线观看一级α片刺激高潮视频| 国产久久久久影院老熟女| 婷婷久草一区二区三区| {男男暴菊gay无套网站| 乱欲性色| 丁香五月社区| 91精品久久久| aV中文麻| 久草男人天堂| 一区二区激情国产熟女 | 天天噜| 男人的天堂日本东京热| 成人免费福利在线观看| 天天综合~91| 久久一本大香蕉| 色牛牛AV| 国产一区二区三区视频在线看| 精品网站99999| 国产高清在线观看欧美| 老司机午夜精品视频| 性色高清..……| 日本精品人妻少妇一区二区| 伊人女女资源在线观看| 欧美精品精品一区二区| 亚欧洲日韩国产精品| 嗯嗯啊啊好疼| 天天爽爽爽爽| 强奸a片网| 岛国片在线播放| 舔足天天操天天射| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 久久久无码av精| 国产精品美女| 精品二区久久| 330dv亚洲成年视频网| 中文高清一区二区的| 很很热性爱视频| 国产操逼视频在线观看| 在线播放成人高清免费视频| 色香综合天天影视综合| 日本一区99| 69人妻人人揉人人躁人人精品| 国产又粗又长又爽又色| 天天插夜夜操| 色色毛片| 国内一区二区免费| 99久在线精品99re8蜜桃| 天堂麻豆天美| 日韩情色视频| 久操不卡视频| 国产丝袜美女在线一区| 精品人妻一区二区三区蜜桃视频| 嗯嗯啊好大| 屌妞视频久久久久久久| 国产农村妇女精品1区二区| 国岛片视频| 精品性爱久久视频| 亚洲 se图 欧美电影| AV天天综合| 福利偷拍视频-中文字幕2019国语完整视频大全-S91AV | 国产精品熟女乱伦| 天天操夜夜操狠很操| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 亚洲精品 欧美精品| 久操网在线| 欧美 熟女 日韩| 18一区二区三区| 台湾佬激情综合| 91在线页| 日韩av熟女一区二区三区成人| 夜夜操2028| 九九热九九热| 久久免费精彩视频| 亚洲人人操| 丝袜熟女一区二区三区| 激情九月婷婷| 九九综合色| 性站 | 五月天婷婷在线看| 国产精品久久久久久高清无码免费看 | 日韩精品一二三四| 黄色大片一区二区密桃丝袜| 区日韩亚洲乱码av电影| 国产女上位好爽在线| 国产女上位好爽在线| 蜜桃在线观看一区二区三区| 日日橹狠狠爱欧美超碰| 日欧美色| 中日韩久久人妻一区二区| 91性高| 96国产精品| 欧美天天| 久久久亚洲高清不打码| 国产av美女被艹的乱叫| 99久久综合网| 蜜桃中文字日产乱幕4区| 国产精品。| 美女爽到高潮91| 青青草玖玖爱| 伊人国产AV| 久久久国产av美女私房| 老熟女乱子伦中文字幕一区二区| 色综合久久久久| 色一射色一射|