久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

t3code重構(gòu)實(shí)錄:用漸進(jìn)式改造救活80萬行遺留系統(tǒng)

t3code重構(gòu)實(shí)錄:用漸進(jìn)式改造救活80萬行遺留系統(tǒng) 接手一個代號叫 t3code 的舊項(xiàng)目是我這幾年做過最耗時也最有收獲的一件事。項(xiàng)目名里的 t3其實(shí)是當(dāng)初團(tuán)隊(duì)里一位老前輩隨手起的內(nèi)部代號——取的是 Third Try 的意思也就是第三次推倒重來的版本??芍S刺的是等我真正開始梳理這套代碼的時候它已經(jīng)歷了至少四次局部重寫代碼庫里同時躺著三套風(fēng)格完全不同的命名規(guī)范核心業(yè)務(wù)鏈路里還有一份寫了五年卻沒人敢動的祖?zhèn)髋渲媚K。這篇文章不是什么理論教學(xué)而是把 t3code 從病入膏肓到恢復(fù)正常迭代速度的完整過程記錄下來的里面包含了我踩過的坑、用過的工具、以及最終沉淀下來的判斷標(biāo)準(zhǔn)。如果你手頭也有一坨不敢碰的老代碼或者正準(zhǔn)備對現(xiàn)有系統(tǒng)做一次大規(guī)模重構(gòu)這篇文章值得你花點(diǎn)時間讀完。先說結(jié)論t3code 這個項(xiàng)目最終沒有選擇推到重寫而是走了一條漸進(jìn)式重構(gòu) 局部重寫的混合路線。整個過程耗時大約四個月核心模塊的接口響應(yīng)時間從平均 1200ms 降到了 380ms線上故障率降低了大約 70%更重要的是團(tuán)隊(duì)里新來的兩個同事可以在兩周內(nèi)獨(dú)立完成從前需要老員工帶著看一個月才能搞定的需求改動。下面我會按照實(shí)際操作順序把從代碼體檢、風(fēng)險判斷、分階段重構(gòu)到最終沉淀檢查清單的完整鏈路逐步拆開來講。1. t3code 項(xiàng)目起因攢了三四年的技術(shù)債到了不得不還的時候1.1 為什么這個代號叫 t3——它到底經(jīng)歷了什么t3code 最早是一個企業(yè)內(nèi)部的數(shù)據(jù)統(tǒng)計系統(tǒng)最初是一個工程師用一周時間寫出來的臨時腳本集合用來每天跑幾張報表。后來業(yè)務(wù)擴(kuò)張腳本變成了 Web 服務(wù)服務(wù)拆出了微服務(wù)微服務(wù)又引入了消息隊(duì)列。等到我接手的時候這個系統(tǒng)的代碼量已經(jīng)膨脹到將近 80 萬行其中有大約 30% 的代碼邏輯屬于看著有用但沒人說得清是否還有調(diào)用方。說病入膏肓一點(diǎn)不過分。那段時間系統(tǒng)幾乎每周都會出一次線上事故要么是某個定時任務(wù)突然卡死要么是某個接口偶發(fā)超時。每次排查到最后問題都指向同一批代碼——那些由不同時期不同人寫下的、相互交織的模塊。最折磨人的不是代碼本身的復(fù)雜度而是那份薛定諤的文檔文檔上寫了某個模塊負(fù)責(zé) A 功能但實(shí)際代碼里它還悄悄改了 B 表的數(shù)據(jù)而這個副作用只有 2019 年某個深夜加班的同事知道那位同事在留言里寫了一句不要再動這段邏輯之后就離職了。促使我正式把 t3code 作為重構(gòu)項(xiàng)目立項(xiàng)的導(dǎo)火索是一次持續(xù)了六個小時的線上故障。凌晨兩點(diǎn)某個核心報表的數(shù)據(jù)出現(xiàn)大面積偏差我們花了四個小時定位到原因——一個看似人畜無害的配置項(xiàng)在六年前被某個已離職的同事寫死在了代碼里而前一周另一位同事順手給配置中心加了個默認(rèn)值于是新邏輯和舊邏輯同時生效數(shù)據(jù)被疊加計算了一遍。那一次之后領(lǐng)導(dǎo)和團(tuán)隊(duì)達(dá)成了一致這筆技術(shù)債不能再拖了。1.2 項(xiàng)目啟動前我先整理了這樣一份問題清單接到重構(gòu)任務(wù)之后我沒有立刻打開編輯器開始改代碼。相反我用三天時間做了一次系統(tǒng)性的問題盤點(diǎn)最后輸出了一份讓整個團(tuán)隊(duì)都沉默的清單。這份清單分成四類死代碼與不可達(dá)邏輯通過靜態(tài)分析和運(yùn)行時日志交叉比對確認(rèn)大約有 12% 的代碼在過去一年里從未被執(zhí)行過。這些代碼不算致命但它們在每次全局搜索和代碼審查中都會消耗注意力。共享可變狀態(tài)有多個模塊通過同一個全局緩存實(shí)例讀寫數(shù)據(jù)而且沒有統(tǒng)一的版本控制任何一邊改了數(shù)據(jù)結(jié)構(gòu)另一邊都會在毫無提示的情況下拿到損壞的數(shù)據(jù)。隱式耦合一個最典型的例子是 A 模塊的日志里會順帶打印 B 模塊的錯誤信息導(dǎo)致日志監(jiān)控系統(tǒng)把 B 的故障歸因到 A 上每次排查都會走彎路。不可測試的上帝函數(shù)某個核心計算函數(shù)有六百多行內(nèi)部直接操作數(shù)據(jù)庫連接、緩存、消息隊(duì)列和外部 HTTP 調(diào)用參數(shù)有十一個其中五個是布爾標(biāo)記位。這個函數(shù)是整個系統(tǒng)最脆弱的部分因?yàn)闆]人敢給它寫單元測試。這份清單的價值不在于發(fā)現(xiàn)了多少問題而在于讓我們明確了重構(gòu)的邊界。不可能一次解決所有問題但如果不知道問題在哪任何所謂的技術(shù)方案都是在賭運(yùn)氣。后來團(tuán)隊(duì)內(nèi)部形成了一個共識任何重構(gòu)項(xiàng)目的前兩周只做診斷和盤點(diǎn)不允許動業(yè)務(wù)代碼。誰動了誰請全組喝咖啡。2. 代碼體檢先看清全局再動手開刀2.1 繪制模塊依賴圖找到真正的核心鏈路正式動手之前我給團(tuán)隊(duì)立了一個規(guī)矩沒有依賴圖的項(xiàng)目重構(gòu)就是閉著眼在雷區(qū)里跳舞。t3code 的模塊關(guān)系已經(jīng)亂到無法靠人腦梳理所以我們借助工具先給系統(tǒng)畫了一張完整的依賴拓?fù)鋱D。我用的工具組合是jdepend配合Structure101前者負(fù)責(zé)做包級別的依賴分析輸出每個模塊之間的依賴關(guān)系后者負(fù)責(zé)把依賴關(guān)系可視化成圖并且標(biāo)出環(huán)的存在——多個模塊相互依賴形成的循環(huán)引用。這一步做完之后整個系統(tǒng)的病灶就像 X 光片一樣清晰了。依賴圖讓我看清了三件用眼睛看代碼根本發(fā)現(xiàn)不了的事有一個審計日志模塊順著依賴箭頭查下來居然間接依賴了幾乎所有的業(yè)務(wù)模塊。也就是說每一次寫審計日志的操作都可能觸發(fā)一長串初始化邏輯這就是為什么某些寫操作莫名其妙地慢。名義上的三層架構(gòu)表現(xiàn)層、服務(wù)層、數(shù)據(jù)層早就名存實(shí)亡服務(wù)層里有大量直接操作數(shù)據(jù)庫表的代碼數(shù)據(jù)層里反而藏著業(yè)務(wù)判斷邏輯。核心鏈路其實(shí)只有一條但為了照顧十幾種邊緣場景代碼里塞了二十多個 if 分支其中有六個分支從未被任何已知請求觸發(fā)過。依賴圖不光幫我們找到了問題更重要的是幫我們定下了重構(gòu)的順序。規(guī)則很簡單從依賴關(guān)系圖的底層開始改先改那些被依賴最多、但自身不依賴別人的模塊。這樣做的好處是每次改動的影響半徑是可控的不會出現(xiàn)改了一個底層工具類結(jié)果三天后才發(fā)現(xiàn)遠(yuǎn)端的某個服務(wù)被牽連的情況。這里我想多提一句很多人覺得畫依賴圖是浪費(fèi)時間有這個功夫不如直接開改。但我的親身體會是依賴圖上花掉的一周時間在后期至少省出了三周以上的聯(lián)調(diào)時間。尤其是當(dāng)你需要向老板或者甲方解釋為什么重構(gòu)需要四個月的時候一張清晰的依賴圖比任何 PPT 都有說服力。2.2 用靜態(tài)分析工具量化壞味道讓問題變得可以討論畫完依賴圖之后下一步是對每個模塊的代碼質(zhì)量做量化評估。這個階段我用的是SonarQube加eslint針對項(xiàng)目里的 JavaScript 部分和pylint針對 Python 部分。t3code 是典型的多語言混雜項(xiàng)目核心服務(wù)用 Java有個輔助腳本模塊用 Python前端管理后臺混著老舊的 jQuery 和新版的 React。量化指標(biāo)我只關(guān)注四個圈復(fù)雜度函數(shù)的圈復(fù)雜度超過 15 的一律列入重構(gòu)觀察名單。圈復(fù)雜度超過 30 的直接標(biāo)紅列為最高優(yōu)先級。這個指標(biāo)能在一定程度上代表代碼的可理解成本——復(fù)雜度越高越?jīng)]人敢動。重復(fù)代碼率用 SonarQube 自帶的重復(fù)代碼檢測跑了一遍結(jié)果觸目驚心有將近 18% 的代碼屬于重復(fù)片段。最離譜的是同一個日期區(qū)間校驗(yàn)的邏輯在項(xiàng)目里被復(fù)制粘貼了十一份其中三份有 Bug三份又是修過的版本還有五份完全一致。這種重復(fù)帶來的問題不只是維護(hù)代價高而是你壓根不知道哪個副本是對的。注釋與代碼的匹配度這個需要人工抽查。我隨機(jī)抽了 50 個函數(shù)發(fā)現(xiàn)有 12 個函數(shù)的注釋描述的內(nèi)容和實(shí)際邏輯是矛盾的。這種會撒謊的注釋比沒有注釋更危險因?yàn)楹笕藭嘈抛⑨屓缓笥缅e誤的理解去改正確的代碼。測試覆蓋率整個項(xiàng)目的核心模塊測試覆蓋率不到 25%而且很多測試是光跑不斷言的空殼測試。這種情況下的覆蓋率數(shù)字完全沒有參考價值它只代表了代碼被執(zhí)行過不代表代碼被驗(yàn)證過。我把這些量化結(jié)果整理成了一份報告并且按模塊給出了紅黃綠三個等級的評分。這份報告在項(xiàng)目組里引起了不少討論——有些同事一開始覺得評分不公平但當(dāng)他們看到自己的模塊被標(biāo)紅的具體原因時大多還是認(rèn)賬的。量化的意義在于把我覺得這里寫得差變成了這里有 37 處重復(fù)代碼段和 14 處圈復(fù)雜度超標(biāo)的函數(shù)后者才是能推動決策的語言。2.3 確定邊界哪些該重構(gòu)哪些該重寫哪些該原地凍結(jié)代碼體檢做完之后團(tuán)隊(duì)內(nèi)部開了一次整整一天的評審會主題只有一個對每一塊代碼分類決定是重構(gòu)、重寫、還是凍結(jié)。當(dāng)時我們定的分類標(biāo)準(zhǔn)是這樣的分類判斷標(biāo)準(zhǔn)t3code 里的實(shí)際占比保留并重構(gòu)邏輯仍在活躍使用結(jié)構(gòu)問題可控約 45%整體重寫邏輯復(fù)雜、使用頻率高、且被判定為不可維護(hù)約 20%原地凍結(jié)仍有調(diào)用方但極少變更風(fēng)險高約 18%刪除已無調(diào)用方確認(rèn)死亡代碼約 12%待進(jìn)一步確認(rèn)調(diào)用方不明確需要運(yùn)行時追蹤約 5%這個分類最大的作用是讓團(tuán)隊(duì)停止在垃圾堆里蓋新房的無意義努力。之前總有人試圖在某個亂成一團(tuán)的函數(shù)內(nèi)部繼續(xù)加功能現(xiàn)在分類明確后那些代碼要么等重寫要么被凍結(jié)誰都不許再往里加邏輯。新增需求一律走新的替代模塊這就是后來我們常說的新舊隔離策略。3. 重構(gòu)執(zhí)行的三個關(guān)鍵階段安全網(wǎng)、主干替換、數(shù)據(jù)遷移3.1 第一階段先織一張不會讓人摔死的安全網(wǎng)重構(gòu)任何遺留代碼之前最忌諱的事情就是直接動手改代碼。你根本不知道現(xiàn)有邏輯里哪些行為是特性還是Bug——很多業(yè)務(wù)依賴的恰恰是那套錯誤的行為。比如 t3code 里有一個對賬模塊邏輯上要求金額精確到分但舊代碼里有個浮點(diǎn)數(shù)直接比較的 Bug導(dǎo)致有些小數(shù)位后四位的偏差被正確地吞掉了。如果重構(gòu)時把這個 Bug 修掉反而會打破下游對賬系統(tǒng)的預(yù)期。所以第一階段的任務(wù)是給核心鏈路建立特征測試Characterization Test。這個想法來自 Michael Feathers 的那本《修改代碼的藝術(shù)》核心做法很樸素用代碼把當(dāng)前系統(tǒng)的行為原原本本地固定下來不管它是對的還是錯的。我們選了一個數(shù)據(jù)流最復(fù)雜的核心模塊——訂單匯總計算鏈針對它的外部輸入輸出寫了幾百個特征用例。每一個用例的做法是從生產(chǎn)環(huán)境的流量錄制工具我們用的GoReplay抓取真實(shí)的請求和響應(yīng)。把請求-響應(yīng)對作為一條測試用例固化到自動化測試?yán)铩_@些用例的意義不是驗(yàn)證功能正確而是確保重構(gòu)過程中任何行為偏差都能立刻被發(fā)現(xiàn)。也就是說重構(gòu)前和重構(gòu)后同一個請求必須得到完全相同的響應(yīng)哪怕這個響應(yīng)在你看來是不合理的。如果有差異測試就會紅我們就得停下來分析為什么。這套安全網(wǎng)在一開始跑的時候每天都會紅一片因?yàn)楹芏嘁蕾嚨某跏蓟樞蚴请[性的稍微調(diào)整一下模塊加載順序某些數(shù)據(jù)的計算結(jié)果就變了。但正是這些紅讓我們知道哪些改動是有副作用的。我強(qiáng)烈建議所有做重構(gòu)項(xiàng)目的朋友把特征測試放在第一步。哪怕你手頭的時間再緊這個步驟不能省。它就像高空作業(yè)時系在身上的那根安全繩——你會希望它永遠(yuǎn)用不上但沒有它你根本不敢往下跳。3.2 第二階段按照依賴圖優(yōu)先級逐層替換主干模塊安全網(wǎng)鋪好之后我們開始按依賴圖的優(yōu)先級從底層往上層逐層替換。這個階段的順序非常關(guān)鍵。我們的原則是每一輪替換都只動一個模塊替換完成后跑全量特征測試同時灰度發(fā)布給一部分真實(shí)流量觀察對比新舊邏輯的輸出差異確認(rèn)一致后再進(jìn)行下一輪。拿最典型的訂單匯總模塊來說替換過程分為四步第一步在新代碼目錄里建立同名模塊框架先把舊的輸入輸出接口原樣拷貝過來保持簽名完全一致。這一步的目的不是為了實(shí)現(xiàn)新邏輯而是為了讓新模塊能插拔到舊系統(tǒng)里而不破壞編譯和啟動。第二步把舊模塊里那六百多行的上帝函數(shù)按職責(zé)拆成五個邏輯片段參數(shù)解析、數(shù)據(jù)查詢、業(yè)務(wù)計算、組裝結(jié)果、記錄日志。每一段都用獨(dú)立的函數(shù)封裝并且在此期間不改變?nèi)魏斡嬎氵壿嬛蛔鼋Y(jié)構(gòu)拆分。第三步把拆分后的新模塊接入主干跑特征測試。這一步通常會暴露很多問題比如舊代碼里有些副作用發(fā)生在函數(shù)中間而拆分后這些副作用的位置變了導(dǎo)致后續(xù)邏輯讀數(shù)異常。遇到這種情況要回到舊代碼里精確定位副作用的觸發(fā)時機(jī)然后在新的拆分結(jié)構(gòu)里用顯式調(diào)用來模擬而不是靠巧合。第四步灰度對比。我們在生產(chǎn)環(huán)境把 5% 的流量切到新模塊同時把新舊模塊處理同一批請求的結(jié)果做字段級對比持續(xù)觀察三天。直到對比結(jié)果零差異才把流量逐步提升到 50%、100%。這個階段最需要耐心。平均下來我們每替換一個核心模塊需要一到兩周的時間。中間也會遇到讓人抓狂的問題比如新舊模塊的并發(fā)行為不一致——舊模塊是單線程按順序處理新模塊用線程池并發(fā)處理結(jié)果某些共享數(shù)據(jù)被重復(fù)初始化導(dǎo)致偶發(fā)錯亂。這類問題只有灰度流量放大到足夠大時才能暴露出來所以每一輪的灰度觀察期都不能壓縮。3.3 第三階段數(shù)據(jù)層遷移與雙寫校驗(yàn)這是最容易翻車的一步前端模塊替換得七七八八之后最硬核的部分來了數(shù)據(jù)層遷移。t3code 的舊庫用了大量存儲過程完成業(yè)務(wù)邏輯有些表的結(jié)構(gòu)設(shè)計根本不符合當(dāng)下業(yè)務(wù)的需求比如把標(biāo)簽直接拼在人名字段里用逗號分隔。這種設(shè)計在查詢特定標(biāo)簽的用戶時只能靠LIKE %tag%去掃全表。數(shù)據(jù)遷移我們采用了比較保守的雙寫方案新表結(jié)構(gòu)設(shè)計完成后在遷移窗口開啟前建立新舊兩張表之間的同步管道。業(yè)務(wù)寫入操作同時寫舊表和新表讀取操作暫時仍全部走舊表。同步管道跑一周確保新表的數(shù)據(jù)和舊表完全一致。這一周我們每天跑對賬任務(wù)對比關(guān)鍵字段的數(shù)量和校驗(yàn)和有差異就立即暫停雙寫并排查原因。確認(rèn)數(shù)據(jù)一致后把讀取操作切換到新表觀察一周。此時舊表仍然在寫入但沒人再讀了。最后將寫入操作切到新表舊表徹底降級為只讀備份再保留兩個月后下線。雙寫階段看起來簡單實(shí)際上處處是坑。我印象最深的是兩張表的字段映射關(guān)系里有一個枚舉值含義發(fā)生了變化——舊表里status2表示已取消但在新表里status2表示已退款。這個映射錯誤在數(shù)據(jù)一致性對賬中被抓住了但如果不是提前設(shè)計了字段級校驗(yàn)而不是全表行數(shù)校驗(yàn)這個問題會在切換讀操作之后才暴露那時候排查成本會翻好幾倍。數(shù)據(jù)遷移給我的教訓(xùn)是永遠(yuǎn)不要相信人眼比對數(shù)據(jù)。哪怕你覺得自己看得很仔細(xì)幾百條數(shù)據(jù)或許還能看出來到了幾十萬條量級必須依靠腳本做自動化逐字段對比。我們用 Python 寫了一個簡單的對賬腳本跑一次只需要幾分鐘但它成了整個遷移過程中最讓人安心的工具。4. 重構(gòu)過程中真實(shí)踩過的坑以及對應(yīng)的規(guī)避方案4.1 坑一過度抽象導(dǎo)致的第二次泥潭重構(gòu)進(jìn)行了大約六周之后我們犯了一個當(dāng)時覺得挺合理、事后追悔莫及的錯誤。有一位同事提出既然這么多模塊都要做類似的日志記錄和權(quán)限校驗(yàn)不如抽一個通用基礎(chǔ)組件出來統(tǒng)一管理這些橫切邏輯。聽起來很對對吧我同意了。結(jié)果這個通用基礎(chǔ)組件在兩個星期之內(nèi)收到了來自七個不同模塊的定制化需求每個模塊都要求它支持自己特有的配置項(xiàng)。為了兼容這些需求組件內(nèi)部塞滿了 if-else 和可配置開關(guān)接口參數(shù)從一開始的三個膨脹到九個。到了第三周這個組件的復(fù)雜度已經(jīng)超過了它想取代的那些分散代碼的總和。后來我們痛定思痛把這個組件直接拆掉退回每個模塊自帶輕量實(shí)現(xiàn)。拆掉之后系統(tǒng)反而更清爽了。這個教訓(xùn)我記到今天重構(gòu)中的抽象必須源于至少三個以上的真實(shí)調(diào)用場景而不是基于將來可能有需要的預(yù)判。在代碼里預(yù)防未來大多數(shù)時候只是在制造現(xiàn)在的復(fù)雜度。與其用一個過度設(shè)計的通用組件不如允許暫時的重復(fù)等真正看到重復(fù)的規(guī)律時再做抽象。4.2 坑二并行發(fā)布時新舊邏輯的偶發(fā)錯亂第二坑發(fā)生在數(shù)據(jù)遷移接近尾聲的時候。由于新舊兩套邏輯在線上并行運(yùn)行我們需要在代碼里通過配置開關(guān)來控制流量切換。有一天晚上配置中心推送了一個新配置同一個服務(wù)實(shí)例里新舊兩個模塊同時收到了配置更新事件結(jié)果其中一個模塊按照新配置走了新邏輯另一個模塊還沒來得及更新仍在跑舊邏輯——兩套邏輯同時對同一批數(shù)據(jù)動了手險些造成線上數(shù)據(jù)污染。排查原因后發(fā)現(xiàn)這不是配置中心的問題而是我們自己的代碼在切換邏輯時沒有做原子化處理。正確的做法應(yīng)該是在每次請求進(jìn)來的時候根據(jù)請求的唯一 ID 計算一個 hash確定它走舊邏輯還是新邏輯并且在整個請求生命周期內(nèi)保持一致。我們最初用的是全局開關(guān)配額的切換無法保證同一請求的前半段和后半段讀到一致的開關(guān)狀態(tài)。這個問題的規(guī)避方案其實(shí)不復(fù)雜任何灰度切換都必須做到請求級一致性而不是配置級一致性。一個請求一旦被標(biāo)記為走新邏輯那么它內(nèi)部涉及的所有子調(diào)用、數(shù)據(jù)庫讀寫、消息投遞都必須遵循新邏輯的規(guī)則不允許在中間某個環(huán)節(jié)因?yàn)榕渲酶露脚f邏輯去。4.3 坑三人員交接期知識斷層如何彌補(bǔ)重構(gòu)進(jìn)行到一半的時候團(tuán)隊(duì)里最熟悉舊系統(tǒng)的兩位老同事之一提出了離職。這件事一度讓項(xiàng)目陷入停滯因?yàn)楹芏嗯f邏輯的知識只存在他的腦子里而文檔和代碼都沒有完整記錄。這件事讓我意識到重構(gòu)項(xiàng)目里最脆弱的資產(chǎn)不是代碼而是活的知識。從那之后我們強(qiáng)制推行了兩條制度第一任何模塊的重構(gòu)都必須由兩個人共同負(fù)責(zé)一個熟悉舊邏輯一個擅長新代碼。兩個人的組合不能是一個純新手配一個純專家必須有交叉。這樣即使走了一個人另一個人也能在兩周內(nèi)把關(guān)鍵知識傳給接手者。第二每周必須開一次行為差異評審會在評審會上負(fù)責(zé)每個模塊的人要用大白話講解這個模塊重構(gòu)前和重構(gòu)后的行為差異包括那些沒有在代碼里體現(xiàn)的隱性規(guī)則。這些講解被錄音并整理成筆記存到了項(xiàng)目知識庫里。這套機(jī)制沒辦法讓知識 100% 傳承但它把依賴某個人的記憶變成了依賴團(tuán)隊(duì)的過程。后來項(xiàng)目過了危機(jī)期我們回頭看這可能是比技術(shù)重構(gòu)本身更有價值的制度建設(shè)。5. 從 t3code 沉淀出的可復(fù)用清單留給以后的自己5.1 重構(gòu)成本評估表什么時候該重構(gòu)什么時候該重寫經(jīng)歷 t3code 之后我最大的收獲是不是所有爛代碼都值得重構(gòu)。有些代碼爛到了骨頭里重構(gòu)的成本比推倒重寫還要高。為了快速做這個判斷我整理出了下面這張評估表后續(xù)每遇到類似項(xiàng)目都會先過一遍評估維度傾向重構(gòu)傾向重寫代碼調(diào)用范圍核心鏈路的一部分被使用幾乎所有模塊都在依賴它行為確定性有明確的輸入輸出規(guī)格行為模糊沒人說清所有副作用測試基礎(chǔ)已有部分可用測試或能快速補(bǔ)充幾乎沒有測試且代碼不可測試數(shù)據(jù)結(jié)構(gòu)復(fù)雜度數(shù)據(jù)結(jié)構(gòu)穩(wěn)定字段少有變化表結(jié)構(gòu)疾病纏身字段語義混亂業(yè)務(wù)價值業(yè)務(wù)邏輯仍然清晰且活躍業(yè)務(wù)已被邊緣化邏輯無人理解如果評估結(jié)果是重寫那就不要猶豫不要嘗試在舊代碼上面修修補(bǔ)補(bǔ)。如果評估結(jié)果是重構(gòu)那就嚴(yán)格按照安全網(wǎng)、依賴圖、分層替換的節(jié)奏來推進(jìn)。最怕的就是既不重構(gòu)也不重寫只靠打補(bǔ)丁度日——那是真正的慢性死亡。5.2 團(tuán)隊(duì)協(xié)作層面的節(jié)奏控制重構(gòu)項(xiàng)目的失敗很多時候不是因?yàn)榧夹g(shù)難而是因?yàn)楣?jié)奏失控。t3code 項(xiàng)目里我們定了幾條紀(jì)律每條都來源于一次或多次真實(shí)的教訓(xùn)每兩周必須有一個可演示的成果。不管這個小成果是拆分了一個函數(shù)、減少了一個隱式耦合還是新建了一個能跑的模塊??裳菔镜某晒茏寛F(tuán)隊(duì)保持信心也能讓管理層看到進(jìn)展。每一次代碼評審重構(gòu)項(xiàng)目必須使用比平時更嚴(yán)格的審查標(biāo)準(zhǔn)。不是只是能跑就行而是要求每個新函數(shù)不超過 40 行、每個模塊不允許出現(xiàn)循環(huán)依賴、每個公共接口必須有真實(shí)調(diào)用方。允許犯錯的預(yù)算要提前劃定。我們當(dāng)時規(guī)定重構(gòu)期間允許出現(xiàn)最多兩次需要回滾的嚴(yán)重事故超過這個次數(shù)就必須暫停重新評估進(jìn)度和方案。給意外留出預(yù)期意外真的來了才不會把團(tuán)隊(duì)心理防線擊穿。5.3 重構(gòu)完成之后觀測體系才算真正的驗(yàn)收很多人以為重構(gòu)上線就算完了其實(shí)恰恰相反重構(gòu)上線的那一刻監(jiān)控和觀測才真正變得重要。t3code 重構(gòu)完成后的前兩個月我們搭建了一套完整的觀測體系用來持續(xù)驗(yàn)證重構(gòu)的成果。核心指標(biāo)有三類穩(wěn)定性指標(biāo)接口錯誤率、超時率、熔斷次數(shù)。重構(gòu)后的系統(tǒng)如果穩(wěn)定性不升反降說明還有隱藏問題。性能指標(biāo)TP50、TP95、TP99 響應(yīng)時間。重構(gòu)不能只是代碼好看了必須體現(xiàn)在關(guān)鍵業(yè)務(wù)鏈路的響應(yīng)速度上。交付效率指標(biāo)從需求到上線平均耗時、線上缺陷數(shù)。這個指標(biāo)最能反映開發(fā)體驗(yàn)的真實(shí)改善——如果重構(gòu)只是代碼結(jié)構(gòu)變好但團(tuán)隊(duì)交付速度沒變那這個重構(gòu)的商業(yè)價值就需要重新審視。我們還專門搭了一個重構(gòu)前后對比看板把上述指標(biāo)按時間軸放在一起展示。在重構(gòu)完第一個月的時候TP99 還有一些抖動因?yàn)槟承┡f的定時任務(wù)仍然在跑和新的數(shù)據(jù)管道產(chǎn)生了資源競爭。我們順著看板上的異常點(diǎn)往下排查最終清掉了幾條已經(jīng)不再需要的定時任務(wù)系統(tǒng)才真正穩(wěn)定下來。這個看板直到項(xiàng)目結(jié)束后的半年都還在持續(xù)運(yùn)行因?yàn)樗呀?jīng)變成了團(tuán)隊(duì)日常巡檢的默認(rèn)工具。關(guān)于 t3code 這個項(xiàng)目我能寫出來的經(jīng)驗(yàn)大概就是這些。最后再補(bǔ)充一句事后復(fù)盤的時候團(tuán)隊(duì)里很多人都在感慨如果當(dāng)時沒有堅持先做診斷、再定邊界、然后織安全網(wǎng)這三步而是直接拿著 IDE 沖進(jìn)代碼里開改結(jié)局很可能是把一套還能勉強(qiáng)運(yùn)轉(zhuǎn)的系統(tǒng)攪成一鍋更稠的粥。重構(gòu)這門手藝慢就是快、穩(wěn)就是快這是我在這四個月里最深的體會。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久久亚洲| 亚洲男人的天堂AV| 国内亚洲高清无码| 六月丁丁香| 狠狠久久亚洲欧美专区| 日韩久久.一级黄色片| 78精品| 久偷拍| 日韩一级片| 美女天天干| 中文一区二区| 日韩钢筋无码高清啾啾啾| 亚洲高清无码AAA久久久精品| 酒色综合网| 免费亚洲国产精品久久一区| 国产欧美日韩臀| 婷婷色网| 久久女婷| 九九热精品| 无码乱人伦中文视频| 美女天天干| 美女91网| 欧美激情激情xxxx欧美专区| 亚洲欧美另类小说| 99re99在线视频| 欧美午夜视频| 欧美激情片一区二区| www.婷婷| 超91综合网| 97人人草| 99热久| 久久婷婷五月综合| 九九黄色网| 色色五月婷婷| 极品白嫩福利在线| 日本一级不卡一二区| 超碰97资源大奶| 日韩欧美女优电影| 久久婷婷一区二| 亚洲精品一区中文字幕乱码| 丁香六月激情| 日韩丝袜人妻AV| 国产亚洲 中文欧美久久| 国产乱不卡| 欧美亚洲宗合色性图| 丝袜视频一区二区在线播放国产中文| 无码久| 91网站18+| 性交一区二区在线播放| 国产精品69久久久久久久 | 中文字幕制服欧美久久一区| 九X超碰| 大香蕉青青9| 一区,二区,三区视频| 欧亚第一综合网| 91欧美长吊| 国厂麻豆77q4| 久久久一二三四区| 370p日韩欧美亚洲精品| 免费啪啪啪网站18岁| 亚洲午夜免费狠狠干| 天天色综合图片| 69精品少妇一区二区三区蜜桃| 亚洲激情网一二三四区| 欧美久久毛片基地| 97欧美色综合| 蜜臀在线视频| 国产精品久久久三级无码| 丁香六月综合激情| 亚洲自拍一区夜夜操| 吊色| 91中文字幕| 国产精品一区二区三区,亚洲综合| 国产精品蜜乳AV| 99熟女| 2019AV天堂| 中文字幕精品亚洲熟女| 国产精品嫩草影院午夜两性| 青娱乐日韩无码| 精品人人| 欧美性少妇| 亚洲中文字幕在线视频一区二区| 国产AV无码AV| 一区麻豆 高清中文字幕| 美日韩一二三区| 91丝袜美女视频| a v网站在线播放| 大香蕉色十月| 91色伦| 夜夜草天天| 中文字幕 码 自拍 视频 区| 少妇高潮九九九九九九九| 国产亚洲精品精AV.| 美女国产一区二区久久 | 大香蕉草草| 高潮毛片无遮挡高清免费| 国产亚洲禁久一区二区 | 日韩91网| 日韩av在线免费网站| 野狼激情网| 99草精| 人人射人人操人人摸| 午夜精品久久久99| 亚洲天天更新| 亚洲欧洲国产综合av| 日本大香蕉| 凹凸视频在线一区二区| 色九九九| 国产女s强制榨精视频| 人妻熟女字幕一区二区| 日韩精品-原创伙伴| 欧美性爱1080p| 欧洲无码一区二区| 国产精品视频内谢女人| 玖玖综合色| 秋霞 色色| 综合色图亚洲欧美| 在线视频 亚洲精品| 亚洲综合小说另类图欧美视频激情小说色五月天 | 日本精品中文字幕视频| 久久鲁干| 偷偷人人精品女女久久| 婷婷激情五月| 试看日韩黄片| 蜜桃久久久久久久久久久久| 丝袜熟女一区二区三区| 久久久久久裸体| 精品高清一区二区三区三州| 俞拍自拍| 国产尹人在线视频免费| 爱丝福利| 99精品久久| 性欧美91| AV色天香在线| 26uuu偷拍亚洲欧洲综合| 自拍丝袜美腿人妻| 亚洲中文字幕久久人妻| 青操影院| 色色色欧美| 国产极品馒头逼| 青青草在线视频人人想人人上| 婷婷伊人五月| 9长久久精品| 亚洲高清无码在线桃色| 密臀国产在线| 国产精品一区二区三区在线密挑| 国产夜夜艹| 边做饭边操逼逼| 10000部十八禁看电影| 九九精品99| 亚洲网污污污污| 粉嫩绯色AV一区二区在线| 无套后入双马尾| 六九九九| 亚洲最大的综合性av| 天美传媒麻豆一区二区三区国产精| 亚洲综合九九| 中文字幕一区二区三四五区日日骚| 欧美日韩国产高清在线一二三区 | 国产97色在线| 91国内外在线| 男人亚洲91首页在线| 国产美女在线精品免费看| 情色五月天久久久| 激情五月天视频| 在线视频97| 伊人嫩草| 亚洲 欧美 小说| 日本三级大片| 中文字幕交换人妻| 国产激情视频一区区三区| 亚洲国成人情色好看电影| 亚洲成熟国产精品美女| AV 少妇 人妻 偷拍| 国产丝袜欧美在线视频| 欧美色91| 精品一国2| 天天看少妇| 视频国产精品未满十八禁止在线观看| 人人妻人人澡人人爽人人精品浪潮| oumeisetupian| 婷婷伊人綜合中文字幕| 国产女人与拘做受视频免费| 一级AV性爱| 女人香蕉久久毛毛片精品| 狠狠躁天天躁日日躁| 天天干天天插| 九九热精品在线| 国产理论视频在线播放| 狠狠色噜噜狠狠狠狠2018| 猛猛干| 日韩 女同 综合| 欧美精品第四五页中文字幕在线观看| 殴美,日韩国产伦精品| 黄色高清无码无码破解免费暗网 | 亚洲精品成人| 无码伊人久久大杳蕉中文无码| 亚洲在线网站| 男人天堂网站| 2017av无码免费无线播| 波多野42部激情无码喷潮| 风月影院十八禁| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 老司机福利社视频在线观看| 丁香五月婷婷基地| 性久久| 亚洲精品一区二区精品| 五月天我淫我色av| 白丝被操91| 国产黄色剧情影片麻豆免费播放| 久伊人网78| 国产蜜臀在线| 精品少妇高潮久久| 97人人夜| 91亚洲欧美| 久九九九| 1000部熟女视频在线观看| 乱欲视频| 性影在线视频| 中文字幕性感少妇av| 人成午夜免费大片| 九色 人妻 大香蕉| 一区二区三区日韩欧美 | 亚洲欧美日韩国产丝袜自拍中文| 亚洲一二三| 97欧美色综合| 欧美色图 色综合图| 欧美色999| 色哟哟 日韩精品| 国产精品成人AV片免费看网站| 我要去看2个日本美女.com曹逼| 91天美| 亚洲一区二区在线观看91| 青青草日本无码| 九九久久九九久久| 综合网欧| 日韩在线观看AV| 午夜高清成人在线视频| 99热亚洲天堂| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 打av高清| 久久久天堂| 日本精品一区二区三区四区的功能| 久久一二三四| 国产精品婬乱一级毛片彝族| 色婷婷电影| 色呦呦、国产精品| 欧洲亚洲人妻无码久久三区四区| 97色伦97色伦国产欧美| 91操人| 婷婷色一区| 婷婷精品国产一区二区三区日韩| 日韩性色| 精品一区二区人妖| 久久亚洲天天做| 欧美色91| 啪啪资源网| 久久久爆乳翘臀一线天伦理视频| 91天射| 青青在线视频免费| 亚欧高清v| 久久久久性熟视频| 国产精品色约约| 日韩肏逼视频| av大香蕉| 精品在线78| 欧美亚洲丝袜人妻制服99| 天天天天操| 91精品婷婷国产综合久久竹菊| 日韩综合97p| 色黄色美女大长腿午夜视频| 春色综合网| 丁香五月av| 欧美综合网1| 东北少妇高潮zzzz| 亚洲无套久久嗯嗯| 99热婷婷一区二区三| 免费农村成人少妇人妻Aa一区二区视频| 性色国产东北露脸精品视频| 日韩欧无码一区二区三区免费不卡| 免费一级毛片在线视频观看| 道久久五香丁月婷婷激情综合| 日韩免费中文字幕视频| 天美传媒国产原创中文字幕亚洲欧美另类 | 91人妻视频| 一本久道久久综合狠狠爱一密臀精 | 色婷婷av在线观看| 欧美少妇高潮视频| 精品久久久久av影院| 久久免费中文字幕在线观看| 日韩一卡二卡三卡| 中文字幕在线高清男人的天堂| 精久久久91| 亚洲夜色在线| 精国久久一区二区三区98| 秋霞网无码| 久久天天摸| 特污精品女优骚货黄色视频在线免费观看| 午夜福利成人免费视频| 插B在线观看| 国产亚洲色婷婷久久99精品91葵花宝典 | av东京热男人的天堂| 天天干天天舔| 国产十八禁视频| 欧美aa一级片| 人澡逼| 深田咏美亚洲精品福利社 | 92午夜免费福利视频| 四虎精品一区| 亚洲欧美精品福利在线| 国产精品对白自产拍| 黄片在线免费在线观看| 啊啊啊啊好疼| 欧美第38页| 亚洲最大成人a毛毛片| 偷拍五区| 97超碰欧美中文字幕| 九九亚洲| 欧美黄色手机在线观看| 搞中出视频在线观看| 欧美一级黄片视频在线| 操老熟女AV| 乱伦熟女区| 久草午夜| 久久久神马影院| 99操碰| 淫荡网址| 亚洲精品蜜桃久久久久久久| 亚洲无线码一区国产欧美国| 九九AV| 999 久久久| 免费一级欧美片片线观看| 99999久久精| 日韩伦理视频| 99热只有这里有精品| 青娱乐黄色录像| 欧美一区二区在线资源| www.av在线观看| 老熟女网站| 中文字幕AV片| 久久久久久久 九九九九九九九| 高清孕妇孕交 交| 人人看人人摸人人色| juliaann欧美丝袜办公室| 综合干干干av久久久综合网| www成人啪啪18秘 免费| 午夜福利 成人 91| 人人看黄色视频| 狠狠躁天天躁日日躁| 2020天天色综合| 成人贴图日韩欧美| 亚洲综合中文字幕有码| 国产真乱mangent| 99超碰网| 免费超碰97久久| 欧美性猛交美女自慰91| 岛园激情| 秋霞久久亚洲精品成人| 大香蕉一级黄色片久久| 中文字幕一区二区三区四五区| 欧美中文字幕男人天堂久久精品| 欧美久久伊人| 午夜福利视频在线一区| AA特级绝黄| 国产无码精品久久久久久| 青青草一本道福利视频| 性九九九九九九| 亚洲综合小视频小说在线观看| 国产玖玖| 日本三级久| 一个人免费HD91视频| 亚洲日韩视频二区| 国产多人在线观看视频| 中文色综合| 97无码视频在线播放| 九九九九热只有精品| 青青伊人这里只有精品| 污污污8888| 亚洲在线综合| 韩国女主播青草在线| 国产又操| 天天做日日爱夜夜爽| 被男人吃奶很爽的毛片| 老妇女91| 精品福利| 精品国产少妇高潮视频| 91精品大奶人妻| 偷拍自拍在线视频观看| 黄色AAAAAAAAAAA大片| 秋霞成人做爱| 操逼国产免费| 国产精品蜜乳AV| 99国产精品视频尤物| 欧美黄片免费在线观看视频| 国产精品呦一区二区三区| 精品国产一区二区三区四区在线看 | 国产少妇内射| 99草精| 97人人夜| 极品销魂美女一区二区| 精品高清一区二区三区三州| 图片区小说区| 久久色人体| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 性爱乱伦网址| 丁香六月激情| 白丝jkav| 亚洲综合在线91| 日本综合色图| 操逼逼一区视频| 八戒无码国产午夜福利| 色综合av男人天堂| 亚洲五月天激情| 日韩欧美亚洲国产日韩| 大香蕉琪琪日本女优不卡| 十八禁电影伊人网| 少妇久久久久久| 一级毛片久久久久久久女人18| 黑人操一区二区| 超碰久热| 污污污8888| 3级毛片一二| 囯产精品久久久久久久久久梁医生| 免费福利视频中文字幕| 日韩av乱伦| 成人色女网| 青青草五月份天| A级国产欧美激情在线| 老鸭窝黄色视频网站| 快播久久人人aV| 资源新线在线天堂| 日韩A优精品在线观看| 99热免费| 大香蕉92| 蜜乳Av成人片网站| 97人妻色| 欧美性高潮| 日韩图区 偷拍| 三级三级三级日本99| 久久国产精品熟女人妻| 久艹日日日| 久草视频在线视频在线视频在线观看| 看看小穴| 91欧美综合| 国产美女高潮叫床视频| 亚洲色悠悠久久88| 黄色大片视频在线免费看| 人妻中文字幕日韩电影| 青青草在线视频欧美| 99re视频在线播放青草| 99热这里只有精品地址| 一直超碰| 亚洲 欧美 制服 另类 自拍| 99re6国产精品99re在线| 国产黑白丝在线| 老熟女乱子伦中文字幕一区二区 | 青青草原成人| 强奸乱伦大香蕉| 天天影视综合网欧美精品| 欧洲色综合| 操比国产| 久久久久人| 久久亚洲欧美中文字幕国语| 97久久精品亚洲中六字幕| 男人天堂资源| 丁香六月婷婷久久综合| 抽插亚洲无码| 九月丁香| 老熟女91视频| 草草草草视频| 97综合在线| 精品少妇高潮久久| 五月丁香久久| 亚洲丝袜综合| 美腿色图| 久久成人国产精品| 亚州中文字幕超碰97| 蜜臀AV秘一区翔田千里| 国产乱人妻精品入口| 午夜操逼不卡| 内射黑丝袜| 精品性爱一二三区| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 91在线色| 99久久精品无码一区二区| 久久人妻无码毛片A片麻豆| 国产av波波国产精品| 夜夜骑天天燥| 婷婷六月色开| 欧美99999| 超碰午夜在线| 在线国产福利网址导航| 天天综合~91| 久久免费精彩视频| 日本国产欧美一区三区二区| 无码视频一区二区| 日本高清一区二区在线| 91福利网在线观看| www.男人天堂| 狠狠狠狠狠干| 国产亚洲精品激情| 桑老女人九区| 91丝袜美女| 天天视频综合在线观看视频| 久午视频| 婷婷五月天无码 | 日本 情色 1区2区3区| 色色五月婷| av影片在线观看不卡| 97自拍一区| 日本黄 R色 成 人网站| 蜜乳视频网站| 久久亚洲日韩熟女精品| 久超超碰| 精品久热| 欧美日韩性爱无码| 欧美成人一级麻豆| 亚洲成人AB| 国产夜夜操| 91性高潮久久久久久久久| 日本操逼视频免费| 变态另类专区| 欧美日韩国产电影| 香蕉在线一区二区三区| 国产成人bd在线观看| 欧亚日韩中文在线| 97视频在线视频| 精品无码一区二区| 国产高清无码一区二区三区四区皇冠| 国产精品久久| 女生看匆91网站| 日本新免费二区三区| 97WW精品| 婷婷色综合| 性色av蜜臀av色欲aV| 色噜噜国产精品视频一区二区| 91激情网| 成人A片男人的天堂| 无码又爽又硬又激情免费视频| 久草视频在线视频在线视频在线观看| 日韩欧无码一区二区三区免费不卡| 欧美日韩国产精品久久色婷婷| 男人天堂日日夜夜| 久久伊人在线五区| 丰满翘臀美女影院视频| 蜜臀网址在线| 物业黑人 AV一区| 绑缚麻绳人妻寝取完整版| 婷婷色综合| 免费毛片在线播放| 中文字幕123| 91精品国产日韩欧美综合| 亚洲色婷婷久久91| 人妻丝袜美腿中文字幕| 天天综合亚洲综合| 天天cao在线| 综合亚洲欧美| 搡老女人老91二区| 欧在线一二区| 欧美色图亚洲色| 久9精品| 青草成人免费视频一COm| 91操熟妇| 少妇天堂| 中文字幕在线观看网址| 日本影视久久免费| 日本成人免费一区二区三区| 一级做a爰片性色毛片久久| 亚洲中文字幕精品一区| 国产毛片片精品天天看视频| 日韩性爱长视频免费| 91处女在线观看| 日本操逼无码| 欧美日韩国产三级黄色| 国产精品自拍xxxx| 日韩在线观看中文字幕视频| 啪啪啪大香蕉| 九九九午夜| 97超碰逼| 亚洲人精品午夜不卡| 蜜臀va69| 亚洲天天综合| 色网在线视频观看免费| 国产呦精品一区二区三区下载| 国产99 中文字幕日韩小视频| 五月激情影院| 加勒比综合九九99视频在线播放| 夜夜 中文视频rt| 久久精品六区| 亚洲欧洲成人在线电影| 91午夜无码| www.久久久久| 国产女s强制榨精视频| 免费观看性欧美一级| 亚洲成人美女无吗| 日韩精品99999| 日本97久久久精品| 国产精品一区二区麻豆| 蜜桃狠狠色伊人亚洲综合网站| 欧洲欧美视频一区二区| 狠狠爱综合| 91女神在线视频| 日本三级韩国三级美三级91| 加勒比伊人| 激情综合五月| 欧美精品二区视频在线| 中文字幕成人理论在线| 99热超碰| 精品无人区麻豆乱码1区2区图片| 国产亚洲深夜激情| 久久丁香| 久操视频免费观看| dy888午夜老子影视达达兔| 国产A v无码专区| 女同在线视频一区| 国产不卡的视频| 少妇被c 黄 免费观看| 九九无码视频| 91网站视频在线观看| 一区二区影视| 操逼日韩无码 | 屁股久久久久久久久久| AV免费在线播放一区| 中文字幕精品人妻丝袜| 少妇九九九九| 自拍偷拍 日韩无码| 亚州色图狠狠干| 99精品人妻| 黄色av一区二区在线| 日本五十路在线| 欧洲在线性爱视频| 2010男人的天堂| 日本熟妇自慰性高潮一区二区三区| 麻豆综合一区av| 校园春色综合| 亚洲一区二区AV| 日韩中文字幕视频在线观看| 中文一区在线日| 成人AV超碰免费在线| 91精品电影18| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 国产精品伦理| 日本精品第一视频在'| 男人精品天堂一区| 无码天天操| 97精品综合久久网| 超碰人人操97碰| av午夜玫瑰| 午夜男女爽爽爽影院视频| 国产av白丝| 欧美精品宗合| 91视频观看网站| 久久性爱视频免费看| 一二三啪啪专区| 国产成人在线观看网址| 韩国女主播青草福利视频| 夜夜爽夜夜爽| 涩爱AV在线| 成人av性爱电影在线观看| 色九月综合| 天堂а√在线最新版在线 | 久久亚洲中文字幕视频| 天天综合有色网| 亚洲 欧美 制服 另类 自拍| 亚精品无码毛片一区二区三区| 国产极品美女高潮无套在线观看 | 婷婷影院入口| 性高潮久久久久久久久久久| 67914亚洲精品| 精品人妻中文字幕高清| 亚洲情色图片区| 久久黄色视频一区二区三区| 97欧美色| 精品国产乱码久久久久久影片| 美国日韩黄片| 久久久一区二区| 97色碰| www久久国产精品| 午夜后入| 色九九综合| 99久久国产精品免费高潮| 啊啊啊啊操死我了| 99re久久| 少妇高潮流水av免费| 日本最新1区2区3区| 日产狠狠干| 性色av大全| 一本一道久久综合久久| 久久这里精品国产99丫e6| 奇米四色影视777久久久| 操逼国产免费| 91美女小视频| 熟妇高潮精品一区二区三区下载| 97av在线视频| 日本一区二区三区免费观看| 人妻少妇无码 | 日本布卡一区二三区| 99re95| 热九九精品| 最新av网站在线观看| 极品美女嘿咻| 中文字幕AV片| 久久手机视直播| 亚洲第一在线视频| 99这里只有精品国产| 伊人欧美大香蕉视频| 超碰在线人妻不卡| 99热这里都是精品| 国产成人精品无码久久| aa片毛片| 97亚洲中文| 九草九九九| 99精品伊人| 超碰亚洲97| 国产精品老师| 伊人久久大香线蕉无码| 91在线免费精品视频| 亚洲成人在线乱码色午夜| 精品人妻一区二区乱码一区二区| 人妻少妇一区二区| 国产男女无套视频免费观看| 岛国毛片手机在线观看| 国产精品成久久久久午夜午夜| 久热这里只有精品9| 青草园大香蕉| 日日日骚女人精品| 国产极品久久久| 97综合在线观看| 久久久九97| 狠狠操狠狠| 成人午夜无码视频| 亚洲欧美激情在线视频| 最新中文字幕在线亚洲| 国产日逼视频| 18禁免费视频| 久久黄色性爱视频| 欧美日韩大黄片| 另类图片欧美激情综合| 日产操逼| 午夜国产综合视频在线观看| 啊a一区在线| 激情综合五月天| 丰满人妻一区二区三区| 色999亚洲人成色| 婷婷综合网站| 97色婷婷| 狠狠欧美| 久久久久久性爱视频| 亚洲精品一二三四区| 亚洲欧美天堂在线| 操b网站亚洲无码| 妇人噜噜| 校园春色家庭伦理欧美激情| 密臀成人视频久久久| 日韩无码服务区| 欧美性爱超碰97| 91伊人| 欧美日韩国产成人高清| 美女视频尤物网在线看| 伦伦成年午夜免费视频| 蜜桃无码AV一区二区| 婷婷综合久久| 亚洲精品一区二区三区新线路| 密臀在线免费观看| 国产人妻一区二区三区欧美毛片| 经典丝袜一区| 91熟女网| 黑人精品XXX一区一二区| 国产一区二区三三视频| 粉嫩在线一区二区懂色| 日韩人妻大香蕉| 亚洲 se图 欧美电影| 亚洲日韩欧美一区二区| 五月天人妻综合| 久久神马| 欧美顶级黄色大片免费| 色五月婷婷五月天| 欧美午夜色妇色鬼| 综合情欲网| 久久久久久九九九九| 久久首页| 天天爽天天爽| 日韩精品三级片长长久久| 天美av在线| 岛国免费视频在线| 人人操人人摸人| 啊啊啊 在线观看| 屁股久久久久久久久| 日韩精品-原创伙伴| 欧美日韩另类在线播放| 99热自拍| 精品人妻一区二区三区夜夜| 亚洲高清综合网| 日本免费中文字幕在线| 91啪啪| 超碰午夜| 欧美传媒| 综合网,亚洲,欧美| AV免费在线播放一区| 夜夜爽77777| 五月天欧美色图| 人人操人人插 - 百度 - 百度| 亚洲超碰在线| 97伪v| 人人么人人操| 激情久久久| 长久操视频| 亚洲欧洲中文日韩女优乱码| 色婷婷小说| 国产AB视频| 天天操天天射天天日| 亚州宗合另类| 久久97视频| 久久精品高清AV| 久久不卡一区二区 | 啪一啪免费视频| 欧美老妇综合网| 超碰97中文| 依人大香蕉| 90后后入| 国产成人bd在线观看| 欧美大香蕉97| 波多野结衣之双飞调教在线播放 | 久久这里只精品| 人妻系列无码专区中文有码| 97干天天| 8x福利精品第一福利视频导航| 高凊专区人人操| 国产精品一区二区三区四区五区| 日本在线激情一区二区三区| 少妇色综合| 亚洲免费成人在线高清无码视频| yirendaxiangjiashipin| 97av在线观看| 亚码激情| 97超碰人妻| 日韩亚洲美州欧洲综三区一品在线| 日韩91网| 人人摸人人干| 屁股久久久久久久久久| 久久乐| 久久夜夜| 大香蕉十区| 黄片免费视频2019| 操美女人妻| 伊人久久综合精品欧美| 东北女人操比视频| 免费伦费视频在线观看| 一区二三区四区视频大全套| 另类 日韩 熟女| 亚洲日本大香蕉1| 成人av免费观看| 久久免费9| 五月天色图| 在线有码中文字幕| 国产一区二区久久| 人人操人人大香蕉| 蜜臀中文无码午夜| av中文字幕在线熟女| 日韩综合无码一区久久92| 九九热超碰97亚洲最新香蕉 | 久久久中文版| 久久久无码av精| 国内一级精品| 精品.99999| 日韩操逼HD| 91中出在线| 黑操B| 亚洲另类小说卡通动漫| 久久精品男人的天堂| 九九亚洲| 天天爽夜夜爽夜夜爽精| 欧美色图自拍| 国产丝袜视频| 小日子操bb在线看| 91蜜桃传媒精品久久久一区二区| 超碰亚洲97| 亚洲系列第一页| 狠狠入| 亚洲欧美setu| 免费一级视频特黄色大片| 国产农村妇女精品| 天天躁狠狠躁av| 丁香五月激情综合| 宅男影院久久久,99| 97在线视频观看免费| 欧美三级免费伊人| 男女真人网18| 搡老熟女免费视频| 欧美肥臀在线| 成人天天看站长推荐| 久久香蕉国产线看观看猫咪av| 2017天天拍大香蕉| 91n免费处女| 大香蕉伊人亚洲| 欧美顶级黄片AAAAA在线免费看| 人人爱人人乐人人操| 国产精品一二三| 欧美色图片91| 婷婷在线视频| 欧美性巨大╳╳╳╳╳高跟鞋| 97视频在线播放| 青青草华人在线欧美在线| 国产suv精品一区二区四区999| 欧美久久伊人| 国产乱色国产精品免费视| 大鸡巴久久| 97久久国产亚洲精品超碰热| 久久熟妇五十路一区| 无套内射性感少妇视频| 久久久久久电影| 国产农村妇女精品| 天美av在线| 中文欧丝袜诱惑| 啊啊啊好湿久久| 欧美极品女人的天堂| www.色操逼| 欧美日韩性爱操大逼| 性饥渴少妇av无码毛片| 国产真实子伦对白| 国产日韩怡红院| 大白逼三四级| 美熟女逼导航AV操逼| 超碰 av 女人天堂| 激情图片伦理国产一区二区日韩| 五月丁香久久| 99精品久久| 最近的最新的中文字幕视频| 嫩草影院在线观看精品 | 五月婷婷激情综合| 抽插无码高清一区| 国内毛片国产专区二| 久久99久久99久久99人受| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 九月伊人中文字幕| 91四海无码日韩欧美| 精品大全99999| 蜜臀久久精品久久久久视频| 风骚少妇视频中文字幕| 欧美乱妇狂野欧美在线视频| 最新精品久久蜜桃| 区二区亚洲婷| 试看福利| 免费亚洲国产精品久久一区| 亚洲熟久久| 爱妻综合网| 亚洲丰满很很操| 91网站18+| 91中文字幕在线观看| 天天综合,91入口| 久久日韩肥臀| 欧美人妻制服| 国产精品自拍视频 | 欧美最婬乱婬爆婬性视频 | 六月丁丁香| 天美传媒一二三区永久网站| 97人肏| 精品人妻视频一区二区三区蜜桃视频| 国产精品欧美激在线| 天天综合网~91入口| 97视频免费在线| 人人操人人肉久久精品| 2017大香蕉| 亚洲图片色图欧美另类| 影音先锋乱| 五月丁香综合| 欧美激情欧美精品| 久操影视| 一本久道久久综合狠狠爱一密臀精| 亚洲色欧美| 思思热久久成人| 六月婷婷综合| 亚洲蜜臀懂色| 熟妇女伦乱视频视频| 九九久久玖玖| 2019久久久久久久久福利| 中文字幕日本久久| 午夜情侣自拍网站| 亚洲综合九| 999热这里只有精品| 亚洲黄色视频在线观看视频| 日人妻视频91| 国产久久一区二区午夜| 精品无码人妻一区二区免费蜜桃| 91精品在线播放| 视频一区二区免费在线| 一区二区三区四区免费视频| 色蜜AV| 加勒比伊人影院| 亚洲国产成人综合碰碰三级经典| 91精品久久久久五月天精品| 超碰99在线观看| 久久大线蕉一区| 免费视频一二三区| 黄片色区软件| 一区=区三区视频| chaopen97久久| 久久黄片国产一区二区| 国产这里只有精品| AV色图| 亚洲天堂在线怕怕视频| 综合一区中亚洲国产成人综合精品| 九九九久千久久激情蜜桃在线看| 天堂av最新电影网| 大香蕉一区二区在线观看.| 免费观看的av| 果冻传媒A片一二三区 | 欧洲乱码视频| 啊啊啊啊操死我| 自慰白浆在线观看| 女生自91网站| a级免费在线观看| 大香蕉九九| 伊人午夜福利视频| 久综合国内精品自在自线| 一色网男人的天堂| 校园春色美腿丝袜 | 日本久操视频| 久久精品国产97欧美精品亚洲| 天天操夜夜操狠很操| 天天弄欧美| 中文久久| 泰国AV在线观看| 骚女天天综合网| 开心激情婷婷| 99超碰碰| 女人高潮抽搐喷水视频网站| 九一国产精品| 日本操逼二区| 国产成人精品午夜福利| 亚洲色图尤物视频| 91性生活久久久| 国产亚洲福利第一页丝袜| 欧美不卡在线美女| 日韩欧美传媒一区国产| 防屏蔽在线视频| 亚州综| 欧美有码激情视频一区二区三区| 易易A毛视频| 婷婷五月天AV| 91亚洲综合在线| 小少妇| dy888午夜老子影视达达兔| 亚洲色天堂日韩中| 白嫩少妇| 成人老鸭窝人人在线视频| 日韩欧美亚欧在线视频| 国内黄色精品| 俄罗斯一区二区视频在线观看| 97视频620| 日韩一性一交一A片俄罗斯| 亚洲天堂美臀在线| 国精精品无码一二三区水多多| 亚洲麻豆18发?| 无码视频黄色网战| 欧美性爱超碰97| 91欧美高清| 欧美性爱精品七区| 欧美韩国你懂得在线| 日本欧美一区二区三区免费| 9999久久久久| 午夜男女爽爽爽在线视频| 亚洲激情在线| 日夜啪电影| 九九精品无码专区免费| 男人的亚洲天堂| 91一起操| 最新日本中文字幕| 九九成人精品| 久久久久九九九| 久久精品区| 日韩AV色图| 天堂中文日本在线观看| 亚洲人妻爽爽爽| 冬京热男人的天堂| 亚洲乱码国产乱码精网站| www欧美91| 天天综合网久久ww| 无码WWW免费视频网站| 97碰碰色| 欧美91在线+|+欧美| 抽插无码高清一区| 国产精品人妻无码久久久老鸭窝| 97伪v| 色五月综合| 日韩综合无码色欲vv| 97色欧洲| 久久久性爱视频| 久久丁香五月天| 以及麻豆国产入口在线观看免费| 超碰97资源网亚洲| 男人下部插入女人下部 | 91网站18在线| 国产 码在线成人网站| 夜夜操美女| 清纯唯美第一页| 97精品国产手机| 五月婷婷激情综合| 欧美少妇性爱网站| 夫妻天天操岛国视频| 啊啊啊久久久视频| 人妻天天爽夜夜爽爽| 成年人一级黄色毛片大全在线观看| 玖玖爱影院| 少妇熟女视频一区二区三区| 少妇被玩视频二三区| 在线性黄高清免费视频| 91大神精品长腿在线观看网站| 九九九九九九精品| 婷婷香网站| 青青操97| 啊啊啊好爽快点啊啊啊嗯嗯| 国产91乱伦| 亚洲欧洲无码bt精品合集| 大香蕉人妻久久| 天天爱综合网| 九九九影院| 亚洲精品蜜桃久久久一区二区三区| 澳门特级毛片免费观看| 6080YYY午夜理论片在线观看| 干超碰碰熟女| 台湾佬大香蕉| 国产九九九九九九| 99无码狠狠久久| 在线国产探花| 人人操人人摸人人看人人插| 中文字幕一二三| 日本一二三免费久久| 狠狠操狠狠燥| 色男人色天堂东京热| 黑人中出21连凳花野真衣| 精品妇女一区二区三区| 91久热| 国产又色又爽又舒服的三级视频| 国产亚洲精品av一区| 日韩高清黄片| 综合伊人激情| jizz啪啪| 欧美人人操人人插| 精品久久久av无码免费| 男人久久天堂| 亚州综合在线| 大香蕉久久| 日韩少妇无码| 天天综合网日韩| 日本天天干天天操一区| 啊啊啊久久| 欧美亚洲情色| 狠狠爱综合网| 性夜影院爽黄A爽免费动漫| 欧美91精品国产自产| 97精品| 中文字幕人妻资源在线| 国产91亚洲精品一区二区三区| AAAA级日本片免费视频| 精品久久久av无码免费| 五月丁香六月综合缴清无码| 少妇无码av专区线| 高潮的A片激情扒开一区| 狠狠操夜夜|