久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

軟件版本管理規(guī)范:版本號(hào)、分支、制品與發(fā)布臺(tái)賬

軟件版本管理規(guī)范:版本號(hào)、分支、制品與發(fā)布臺(tái)賬 剛接手一個(gè)中型項(xiàng)目的研發(fā)流程那會(huì)兒我做的第一件事不是翻代碼而是把近半年的發(fā)布記錄全導(dǎo)出來對(duì)了一遍。結(jié)果非常典型同一個(gè)功能在測(cè)試環(huán)境叫 v2.3.1到預(yù)發(fā)變成 v2.3線上又成了 release-20230417三個(gè)名字指向的是同一份代碼反過來更嚇人的是兩個(gè)完全不同的構(gòu)建產(chǎn)物都叫 v1.0.0線上跑的到底是哪一個(gè)誰也說不清。這就是軟件版本管理沒有統(tǒng)一規(guī)定的直接后果——不是沒人管而是每個(gè)人按自己的習(xí)慣管最后誰也拼不出完整的一張圖。軟件版本管理規(guī)定這件事聽起來像是寫文檔的活實(shí)際上它決定了你出事之后能不能在十分鐘內(nèi)定位問題、能不能安全回滾、能不能回答線上到底是什么。這篇內(nèi)容我打算按自己踩過的坑和后來落地的規(guī)則來講適合剛接手發(fā)布流程的研發(fā)、測(cè)試負(fù)責(zé)人也適合團(tuán)隊(duì)里那個(gè)被默認(rèn)管版本的人不管你現(xiàn)在用的是 Git 還是別的工具規(guī)則層面的東西是通用的。1. 版本號(hào)到底該怎么編從語義化版本到團(tuán)隊(duì)內(nèi)規(guī)1.1 三個(gè)數(shù)字各自承諾了什么很多人以為版本號(hào)就是給發(fā)布排個(gè)序漲上去就行其實(shí)版本號(hào)真正的作用是對(duì)外承諾兼容性。語義化版本那套 MAJOR.MINOR.PATCH 的約定之所以被廣泛采用是因?yàn)樗堰@次升級(jí)會(huì)不會(huì)弄壞我的代碼這個(gè)問題變成了可以提前判斷的事主版本號(hào)漲了意味著有不兼容的改動(dòng)調(diào)用方必須改代碼次版本號(hào)漲了意味著新增了功能但保持向后兼容修訂號(hào)漲了意味著只有修復(fù)接口沒動(dòng)。這個(gè)承諾一旦定下來就不能隨便破例。我見過最常見的破例方式是順手改一下。發(fā)布前發(fā)現(xiàn)一個(gè)小接口的參數(shù)名寫錯(cuò)了覺得反正沒人用直接改掉版本號(hào)只在修訂位上加一。結(jié)果下游某個(gè)服務(wù)正好用了這個(gè)參數(shù)上線當(dāng)晚就報(bào)錯(cuò)。所以團(tuán)隊(duì)內(nèi)規(guī)里必須寫清楚只要接口簽名、數(shù)據(jù)格式、配置項(xiàng)名稱發(fā)生了變化無論改動(dòng)多小都要往次版本號(hào)漲必要時(shí)甚至要往主版本號(hào)漲。判斷標(biāo)準(zhǔn)不看代碼行數(shù)看的是外部能不能感知到差異。還有一點(diǎn)容易被忽略版本號(hào)的數(shù)字段是有排序語義的不要塞入前導(dǎo)零也不要用字母去替代數(shù)字。像 v1.10 和 v1.9 這種字符串排序會(huì)得出錯(cuò)誤結(jié)論必須按數(shù)字段比較。如果團(tuán)隊(duì)里有人寫腳本去解析版本號(hào)這一點(diǎn)會(huì)直接導(dǎo)致灰度分批的邏輯出錯(cuò)。1.2 企業(yè)里通常要多加幾位純粹的語義化版本在內(nèi)部研發(fā)場(chǎng)景下經(jīng)常不夠用因?yàn)槲覀冃枰獏^(qū)分同一份代碼在不同環(huán)境下構(gòu)建出來的不同產(chǎn)物。所以大多數(shù)團(tuán)隊(duì)會(huì)在三段式后面追加構(gòu)建號(hào)或者日期流水號(hào)形成類似2.3.1.20240517.812或者2.3.1build.812這樣的形式。這里的關(guān)鍵是區(qū)分業(yè)務(wù)版本和構(gòu)建版本前三段是業(yè)務(wù)版本由人決定代表這一版包含什么后面的構(gòu)建信息由流水線自動(dòng)生成只用來唯一標(biāo)識(shí)一份產(chǎn)物。字段誰來決定含義是否重復(fù)出現(xiàn)主版本號(hào)研發(fā)負(fù)責(zé)人評(píng)審不兼容變更否次版本號(hào)研發(fā)負(fù)責(zé)人評(píng)審兼容性新增否修訂號(hào)開發(fā)自定兼容性修復(fù)否構(gòu)建流水號(hào)流水線自動(dòng)唯一標(biāo)識(shí)產(chǎn)物是每次構(gòu)建遞增預(yù)發(fā)布標(biāo)識(shí)發(fā)布同學(xué)標(biāo)記rc / beta 等階段同版本可多次預(yù)發(fā)布標(biāo)識(shí)也要有明確規(guī)定。rc 代表候選發(fā)布beta 代表公開測(cè)試alpha 代表內(nèi)部驗(yàn)證這些標(biāo)識(shí)只能出現(xiàn)在正式發(fā)布之前且同一個(gè) rc 編號(hào)只能對(duì)應(yīng)一份產(chǎn)物。如果 rc1 修復(fù)了問題重新構(gòu)建那就必須是 rc2不能覆蓋 rc1 的制品。這一點(diǎn)后面講制品管理的時(shí)候還會(huì)展開因?yàn)樗苯記Q定了回溯的可靠性。1.3 用日期做版本號(hào)這件事要謹(jǐn)慎不少團(tuán)隊(duì)喜歡用2024.05.17這種日期版本看著直觀實(shí)際用起來有兩類麻煩。第一是排序問題如果跨年月份和日期不足兩位就會(huì)亂序必須嚴(yán)格補(bǔ)零第二是并發(fā)問題同一天出兩個(gè)版本就沒法區(qū)分了得再掛一個(gè)流水號(hào)于是變成2024.05.17.2這時(shí)候它已經(jīng)不再是純?nèi)掌谡Z義而是日期序號(hào)那就干脆說明白別讓新同學(xué)誤以為它就是日期。我的建議是面向外部用戶的版本用語義化三段式面向內(nèi)部構(gòu)建的標(biāo)識(shí)用日期或構(gòu)建號(hào)。兩套并存但職責(zé)邊界必須在規(guī)定里寫死。最怕的是混著用一會(huì)兒 v2.3.1 一會(huì)兒 20240517臺(tái)賬里兩列數(shù)字沒法對(duì)賬。如果確實(shí)要給用戶展示一個(gè)更容易理解的版本比如手機(jī)應(yīng)用里的3.5 版那它和內(nèi)部版本號(hào)之間要有明確的映射關(guān)系表且這張表要跟代碼一起維護(hù)不能只存在某個(gè)人的腦子里。2. 分支模型與版本號(hào)的綁定關(guān)系2.1 主干開發(fā)和發(fā)布分支選哪個(gè)先想清楚分支模型和版本號(hào)是一體的光規(guī)定版本號(hào)卻不規(guī)定分支怎么切規(guī)定就是空轉(zhuǎn)。目前主流是兩條路線一種是主干開發(fā)、發(fā)布分支拉出后凍結(jié)另一種是長(zhǎng)期維護(hù)多個(gè)版本分支。前者適合迭代快、只有一兩個(gè)在線版本的團(tuán)隊(duì)后者適合有客戶還在用老版本的場(chǎng)景比如企業(yè)軟件、交付類項(xiàng)目。主干開發(fā)模式下版本號(hào)的推進(jìn)點(diǎn)很清晰功能合并進(jìn)主干時(shí)次版本號(hào)已經(jīng)在規(guī)劃里鎖定了從主干切出release/2.4分支的那一刻2.4 這個(gè)版本號(hào)就凍結(jié)后續(xù)在這個(gè)分支上只允許修訂位遞增也就是 2.4.1、2.4.2 這樣往上走。凍結(jié)的含義是不再往這個(gè)分支合入新功能只能合修復(fù)。我見過發(fā)布分支被當(dāng)成第二個(gè)開發(fā)分支用的團(tuán)隊(duì)結(jié)果就是每次上線都要重新跑一遍全量回歸因?yàn)榉种系拇a跟測(cè)試過的不是同一份。多版本并行維護(hù)的情況下規(guī)則要再收緊一層每個(gè)維護(hù)分支對(duì)應(yīng)一個(gè)大版本線比如release/2.x、release/3.x兩條線上同一個(gè)修復(fù)要打兩次補(bǔ)丁版本號(hào)分別遞增且要在臺(tái)賬里注明同源修復(fù)。這里最容易出的問題是漏合修了 3.x 忘了 2.x客戶投訴之后才發(fā)現(xiàn)。規(guī)定里可以要求補(bǔ)丁類修復(fù)必須列出所有受影響的大版本線逐個(gè)確認(rèn)是否合入。2.2 熱修復(fù)的版本號(hào)怎么漲線上出問題從發(fā)布分支切一個(gè)hotfix/2.4.3分支修完合回發(fā)布分支同時(shí)必須合回主干否則下一次從主干切發(fā)布分支的時(shí)候這個(gè)修復(fù)會(huì)丟失問題會(huì)復(fù)發(fā)。這是我在實(shí)際項(xiàng)目里反復(fù)見到的坑因?yàn)闊嵝迯?fù)分支往往是在深夜臨時(shí)拉的人一累就只想著趕緊上線忘了往回合。版本號(hào)方面熱修復(fù)只動(dòng)修訂位從 2.4.2 變成 2.4.3。如果這次修復(fù)其實(shí)改了對(duì)外接口或者數(shù)據(jù)結(jié)構(gòu)那就不能只漲修訂位要按前面說的兼容性規(guī)則來處理必要時(shí)直接發(fā)一個(gè)次版本。判斷動(dòng)作只有一個(gè)改完之后調(diào)用方在不改代碼的情況下能不能正常工作。能就是修訂位不能就得往上漲。標(biāo)簽Tag的規(guī)則也要一起寫。每個(gè)正式發(fā)布的版本必須在對(duì)應(yīng)的提交上打一個(gè)不可變的 TagTag 名與版本號(hào)嚴(yán)格一致禁止移動(dòng)或覆蓋已存在的 Tag。我在早期項(xiàng)目里遇到過有人為了省事把 Tag 刪了重新打結(jié)果 CI 里緩存了舊的制品兩邊對(duì)不上排查了兩個(gè)小時(shí)才找到原因。Tag 一移動(dòng)所有基于它的溯源都失效了這個(gè)代價(jià)遠(yuǎn)比重新發(fā)一個(gè)版本號(hào)高。2.3 環(huán)境和版本的映射必須成表規(guī)定里必須有一張環(huán)境與版本的對(duì)應(yīng)表明確哪個(gè)環(huán)境允許出現(xiàn)什么形態(tài)的版本號(hào)。環(huán)境允許的版本形態(tài)是否允許重新構(gòu)建覆蓋版本號(hào)確定時(shí)機(jī)開發(fā)聯(lián)調(diào)快照版本如 2.5.0-SNAPSHOT允許不入臺(tái)賬功能測(cè)試rc 版本如 2.5.0-rc1不允許重建換編號(hào)提測(cè)時(shí)鎖定預(yù)發(fā)布rc 或正式版候選不允許上線前一日鎖定生產(chǎn)正式版如 2.5.0絕對(duì)不允許上線評(píng)審?fù)ㄟ^后這張表看著簡(jiǎn)單執(zhí)行起來最難的是快照版本往外漏。開發(fā)階段圖方便用 SNAPSHOT提測(cè)時(shí)忘了換成正式編號(hào)測(cè)試環(huán)境跑著跑著代碼被覆蓋了測(cè)試結(jié)論直接作廢。規(guī)定里要明確寫一句快照版本只允許存在于開發(fā)聯(lián)調(diào)環(huán)境任何進(jìn)入測(cè)試環(huán)節(jié)的制品都必須有不可變的版本號(hào)。3. 提測(cè)、灰度、上線版本流轉(zhuǎn)的門檻3.1 什么樣的版本才允許提測(cè)版本管理規(guī)定里提測(cè)門檻是最容易寫虛的一條。我后來總結(jié)成幾個(gè)可檢查的硬條件版本號(hào)已確定且制品已歸檔到制品庫冒煙用例全部通過并留有記錄本次變更清單已經(jīng)填寫完整包含涉及的服務(wù)、配置、數(shù)據(jù)庫腳本發(fā)布說明的初稿已提交。這幾條只要有一條不滿足測(cè)試就不接。為什么要卡這么死因?yàn)榘姹净靵y的源頭大多在提測(cè)這一步。測(cè)試拿到的包和開發(fā)本地跑的不是同一個(gè)這種事一旦發(fā)生測(cè)試出一個(gè)問題開發(fā)說我這邊沒問題來回扯皮的時(shí)間比修問題還長(zhǎng)。版本號(hào)加制品哈希值是唯一能終結(jié)這種扯皮的東西。提測(cè)單上除了版本號(hào)還要寫上制品的校驗(yàn)值測(cè)試下載后核對(duì)一下不一致就直接打回不需要討論。另外提測(cè)的版本號(hào)和最終發(fā)上線的版本號(hào)最好保持一致。中間如果需要修改就只能往上遞增新版本號(hào)重新提測(cè)不能就地修改。有些團(tuán)隊(duì)會(huì)想省事降級(jí)處理成這次改動(dòng)很小就不用重新走流程了但改動(dòng)小不小不由改動(dòng)者說了算得由影響面評(píng)估說了算。規(guī)定里可以留一個(gè)快速通道僅修改文案、配置且不涉及邏輯的允許走簡(jiǎn)化評(píng)估但仍然要換版本號(hào)重新歸檔制品。3.2 灰度階段的版本怎么標(biāo)識(shí)灰度本質(zhì)上是同一版本在小范圍先跑所以灰度和全量應(yīng)該是同一個(gè)版本號(hào)而不是兩個(gè)。這一點(diǎn)常被搞混有人把灰度包和全量包當(dāng)成兩個(gè)版本結(jié)果臺(tái)賬里多出一條記錄對(duì)賬的時(shí)候找不到對(duì)應(yīng)關(guān)系。正確的做法是版本號(hào)保持一致用發(fā)布批次或者流量比例來區(qū)分階段臺(tái)賬里記錄的是2.5.0 在灰度批次 A、B 各發(fā)布一次?;叶绕陂g如果發(fā)現(xiàn)問題需要修復(fù)那就不能就地改灰度包而是從發(fā)布分支拉修復(fù)、漲修訂位、重新走提測(cè)和歸檔形成 2.5.1然后決定是繼續(xù)灰度還是全量。這個(gè)過程雖然麻煩但它保證了線上跑的每一份代碼都能在制品庫里找到對(duì)應(yīng)的不可變產(chǎn)物。我見過就地改包的做法改完之后線上版本號(hào)沒變出問題時(shí)按版本號(hào)去查制品查到的還是修改前的那份排查方向直接跑偏?;叶冗€會(huì)帶來一個(gè)隱蔽問題不同實(shí)例上跑的版本號(hào)不一致。發(fā)布過程中一部分機(jī)器先更新另一部分還沒更新這個(gè)時(shí)候如果去查線上版本答案是不唯一的。所以版本查詢接口要能返回實(shí)例粒度的版本分布而不是一個(gè)全局值。這個(gè)能力在排查灰度期問題時(shí)幾乎是剛需。3.3 回滾不是版本號(hào)減一回滾這件事我在規(guī)定里單獨(dú)寫了一節(jié)因?yàn)榻^大多數(shù)翻車都發(fā)生在這里?;貪L到上一個(gè)版本絕不等于把版本號(hào)從 2.5.0 退成 2.4.3 那么簡(jiǎn)單它至少要考慮三件事數(shù)據(jù)結(jié)構(gòu)的兼容性、配置的回退、以及回滾動(dòng)作本身要不要記錄為一個(gè)版本。數(shù)據(jù)結(jié)構(gòu)這塊最要命。如果 2.5.0 上線時(shí)加了字段、改了表結(jié)構(gòu)回滾到 2.4.3 之后老代碼可能讀不懂新數(shù)據(jù)或者寫入了新代碼無法識(shí)別的內(nèi)容。所以規(guī)定里要有一條涉及數(shù)據(jù)庫結(jié)構(gòu)變更的版本必須同時(shí)提交回滾腳本和兼容性說明明確標(biāo)注該版本是否可回滾。不可回滾的版本要在發(fā)布評(píng)審時(shí)被單獨(dú)標(biāo)記出來上線決策也會(huì)因此不同。配置回退同樣容易被漏掉。代碼回退了配置中心里的參數(shù)還停留在新版本的狀態(tài)導(dǎo)致行為不一致。所以回滾清單里要包含配置項(xiàng)的回退動(dòng)作最好由配置中心支持按版本回退而不是人工改。至于回滾這個(gè)動(dòng)作本身我的做法是把回滾也當(dāng)作一次正式發(fā)布來記錄臺(tái)賬里新增一條記錄注明回滾至 2.4.3原因、操作人、時(shí)間而不是把原來那條 2.5.0 的記錄刪掉。歷史不能擦除只能追加這樣事后復(fù)盤才有據(jù)可查。4. 制品管理讓版本號(hào)真正對(duì)得上東西4.1 不可變制品是整條規(guī)定的地基如果說版本管理規(guī)定只有一條是必須執(zhí)行的我會(huì)選制品不可變。具體含義是一個(gè)版本號(hào)一旦歸檔對(duì)應(yīng)的制品就再也不能被覆蓋或刪除需要改動(dòng)就換新版本號(hào)重新構(gòu)建。這條規(guī)則看起來嚴(yán)苛但它是所有溯源能力的前提。如果制品可以被覆蓋那么版本號(hào)就失去了標(biāo)識(shí)意義等于一個(gè)隨時(shí)會(huì)變的別名。為了支撐這條規(guī)則制品庫里要禁止覆蓋推送重復(fù)推送同一個(gè)版本號(hào)時(shí)直接報(bào)錯(cuò)而不是靜默覆蓋。這個(gè)特性在多數(shù)制品倉(cāng)庫里都能配置值得花時(shí)間打開。我見過因?yàn)闆]開這個(gè)開關(guān)流水線重跑一次就把已歸檔的包覆蓋了兩個(gè)月后排查線上問題時(shí)本地復(fù)現(xiàn)不出來因?yàn)橹破芬呀?jīng)變了。構(gòu)建信息要寫進(jìn)制品。至少在制品里包含一個(gè)描述文件記錄源碼提交哈希、構(gòu)建時(shí)間、構(gòu)建人、流水線編號(hào)、依賴清單的哈希值。這樣從版本號(hào)出發(fā)可以一路查到具體代碼而不是只能查到大概是那幾天的主干。這一步做起來不復(fù)雜但帶來的排查效率提升是數(shù)量級(jí)的出問題時(shí)先拿版本號(hào)查出提交哈希再用哈希去看變更兩分鐘就能圈定范圍。4.2 依賴鎖定不能靠自覺內(nèi)部服務(wù)之間的依賴如果用范圍版本比如[2.0,3.0)那構(gòu)建結(jié)果就不可復(fù)現(xiàn)。今天構(gòu)建和明天構(gòu)建可能拉到不同的依賴同一個(gè)版本號(hào)產(chǎn)出的東西不一樣這直接違背制品不可變的原則。所以規(guī)定里要寫明內(nèi)部依賴一律使用固定版本禁止在正式發(fā)布的制品中使用范圍版本或最新版本標(biāo)識(shí)。外部三方依賴同理鎖定文件必須提交到代碼庫不能放在忽略列表里。這個(gè)問題我在兩個(gè)項(xiàng)目里都遇到過表現(xiàn)是一樣的本地能跑CI 上跑不起來因?yàn)?CI 重新解析依賴時(shí)拉到了新版本。鎖定文件提交之后構(gòu)建結(jié)果才真正穩(wěn)定下來。還有一個(gè)細(xì)節(jié)依賴升級(jí)本身也要走版本號(hào)。比如某個(gè)公共庫從 1.2 升到 1.3使用方要做的是在自己的版本號(hào)上體現(xiàn)這次依賴變更而不是悄無聲息地跟著升。依賴變更屬于變更內(nèi)容必須寫進(jìn)發(fā)布說明否則出問題時(shí)沒人會(huì)想到是依賴引起的。4.3 制品保留策略要有明確規(guī)則制品庫不可能無限增長(zhǎng)所以要規(guī)定保留策略。我的做法是按版本類型區(qū)分正式發(fā)布版本永久保留至少保留到該大版本線終止維護(hù)候選版本保留最近若干個(gè)超過數(shù)量的可以清理快照版本保留最近若干天。規(guī)則要寫進(jìn)制度而不是讓運(yùn)維憑感覺刪。清理動(dòng)作本身也要謹(jǐn)慎。清理前必須確認(rèn)該版本沒有被任何環(huán)境的臺(tái)賬引用尤其是那些還在灰度或者還有客戶在用的老版本。我經(jīng)歷過一次清理把某個(gè)老版本的制品刪了結(jié)果出了一次需要在這個(gè)老版本上打補(bǔ)丁的情況只能重新構(gòu)建而重新構(gòu)建出來的東西和當(dāng)年發(fā)布的并不完全一致依賴已經(jīng)更新最后只能如實(shí)向客戶說明差異。這個(gè)麻煩完全可以避免。5. 發(fā)布說明與版本臺(tái)賬出事后三分鐘定位5.1 發(fā)布說明寫什么、不寫什么發(fā)布說明不是營(yíng)銷文案不需要把每個(gè)改動(dòng)都包裝得漂亮。它要回答的是運(yùn)維和排查人員關(guān)心的問題這次改了什么、影響哪些模塊、有沒有配置變更、有沒有數(shù)據(jù)庫變更、回滾怎么做。我建議用固定結(jié)構(gòu)寫不出來的地方填無而不是省略因?yàn)槭÷詴?huì)讓人無法判斷是沒有還是忘了寫。欄目?jī)?nèi)容要求常見缺失變更清單按需求單號(hào)列出標(biāo)明類型只寫優(yōu)化若干問題影響范圍涉及的服務(wù)、接口、頁面漏寫下游依賴配置變更新增、修改、刪除的鍵及默認(rèn)值完全沒提數(shù)據(jù)變更腳本、是否可回滾只給腳本不說兼容性回滾方案步驟、預(yù)估耗時(shí)、決策人寫直接回滾優(yōu)化若干問題這種寫法我見一次打回一次。它的問題不在于不詳細(xì)而在于無法和代碼變更對(duì)應(yīng)出了問題想反查是哪次改動(dòng)引起的根本無從下手。變更清單里的每一項(xiàng)都要能對(duì)應(yīng)到具體的提交或者合并請(qǐng)求這是發(fā)布說明和版本臺(tái)賬能打通的關(guān)鍵。5.2 臺(tái)賬要記錄的是事實(shí)不是計(jì)劃版本臺(tái)賬和發(fā)布計(jì)劃是兩回事。計(jì)劃寫的是打算發(fā)什么臺(tái)賬寫的是實(shí)際發(fā)了什么。臺(tái)賬里每一條記錄至少包含版本號(hào)、制品哈希、發(fā)布環(huán)境、發(fā)布時(shí)間、操作人、對(duì)應(yīng)的發(fā)布說明編號(hào)、灰度批次或者流量比例、當(dāng)前狀態(tài)。狀態(tài)包括已發(fā)布、已回滾、已下線狀態(tài)是追加變更的不能直接改歷史記錄。為什么強(qiáng)調(diào)記錄事實(shí)因?yàn)槭潞髲?fù)盤時(shí)人們回憶的內(nèi)容往往和實(shí)際情況有偏差。我記得那次只發(fā)了后端結(jié)果臺(tái)賬一查前端也發(fā)了。有了臺(tái)賬爭(zhēng)論就變成了查表。我在項(xiàng)目里推行臺(tái)賬之后最直觀的變化是事故復(fù)盤會(huì)的時(shí)間縮短了一半因?yàn)椴辉傩枰〞r(shí)間確認(rèn)當(dāng)時(shí)發(fā)了什么直接看記錄。臺(tái)賬最好和發(fā)布系統(tǒng)聯(lián)動(dòng)能自動(dòng)寫入的就別讓人手填。手填的數(shù)據(jù)必然會(huì)漏、會(huì)錯(cuò)而且填的人覺得這是額外負(fù)擔(dān)。自動(dòng)采集加上人工補(bǔ)充關(guān)鍵字段比如回滾原因、影響范圍是可持續(xù)的做法。5.3 版本一致性要能自動(dòng)校驗(yàn)前面所有的規(guī)則最終都要落到三個(gè)地方對(duì)得上線上實(shí)際運(yùn)行的版本、制品庫里的制品、臺(tái)賬里的記錄。這三個(gè)地方任意兩個(gè)對(duì)不上就意味著有一環(huán)失控了。所以規(guī)定里要包含定期校驗(yàn)的要求最好做成自動(dòng)化任務(wù)。校驗(yàn)邏輯并不復(fù)雜從線上采集實(shí)例版本去制品庫查詢?cè)摪姹臼欠翊嬖谌ヅ_(tái)賬查詢是否有對(duì)應(yīng)記錄且狀態(tài)一致。不一致就告警。這條告警的價(jià)值在于它能在問題爆發(fā)之前發(fā)現(xiàn)流程漏洞。比如某次有人繞過流水線手工發(fā)包線上版本和臺(tái)賬就對(duì)不上校驗(yàn)任務(wù)當(dāng)晚就會(huì)報(bào)出來。我在一個(gè)項(xiàng)目里加上這個(gè)校驗(yàn)之后第一次運(yùn)行就發(fā)現(xiàn)了三個(gè)歷史遺留的不一致其中一個(gè)已經(jīng)存在了半年多誰也不知道那份代碼是怎么上去的。校驗(yàn)結(jié)果的處置也要有規(guī)定發(fā)現(xiàn)不一致必須在規(guī)定時(shí)間內(nèi)處理處理方式只有兩種要么補(bǔ)齊記錄要么把線上版本糾正到與記錄一致。不允許先放一放因?yàn)榉乓环潘蜁?huì)變成一個(gè)沒人敢碰的歷史遺留。6. 制度怎么推下去模板、流水線和例外登記6.1 從最小可行的模板開始制度推不動(dòng)十有八九是因?yàn)橐婚_始就寫得太全。我見過幾十頁的版本管理規(guī)定發(fā)下去沒人看因?yàn)槔锩嬉话氲膬?nèi)容和當(dāng)前團(tuán)隊(duì)的實(shí)際流程無關(guān)。更可行的做法是先做最小版本規(guī)定版本號(hào)格式、規(guī)定 Tag 不可變、規(guī)定制品不可覆蓋、規(guī)定發(fā)布必須有發(fā)布說明。就這四條覆蓋了最常見的混亂來源而且執(zhí)行成本低。模板比文字規(guī)定更能約束行為。把版本號(hào)格式做成提單模板的必填字段并帶格式校驗(yàn)把發(fā)布說明做成固定表單把回滾方案做成必填項(xiàng)這些東西比寫十頁應(yīng)當(dāng)如何如何有用得多。人在填表的時(shí)候被動(dòng)遵守規(guī)則比讀完文檔再主動(dòng)遵守的成功率高得多。起步階段允許有例外但要登記。規(guī)定里寫清楚例外的申請(qǐng)方式、審批人、以及事后要在多少天內(nèi)補(bǔ)齊。例外不是違規(guī)而是有意識(shí)的偏離登記了就能追蹤不登記就成了失控。6.2 把規(guī)則嵌進(jìn)流水線而不是寫在文檔里這是我踩過最大的一個(gè)認(rèn)知坑。早期我以為只要文檔寫得清楚大家就會(huì)照做。實(shí)際情況是人在趕進(jìn)度的時(shí)候文檔永遠(yuǎn)排在最后。后來我把能自動(dòng)化的規(guī)則全部嵌進(jìn)流水線分支名不符合規(guī)范流水線直接失敗版本號(hào)格式不對(duì)構(gòu)建階段就攔下來嘗試往制品庫推送已存在的版本直接報(bào)錯(cuò)單獨(dú)構(gòu)建正式版本而不關(guān)聯(lián)發(fā)布說明編號(hào)不允許歸檔。規(guī)則一旦變成流水線的失敗條件它就有了強(qiáng)制力。文檔負(fù)責(zé)解釋為什么流水線負(fù)責(zé)保證必須做兩者分工明確。這樣做還有一個(gè)好處新同學(xué)不需要通讀文檔就能上手因?yàn)樗峤坏拿恳徊蕉紩?huì)被系統(tǒng)校驗(yàn)出錯(cuò)時(shí)的提示就是最好的培訓(xùn)材料。當(dāng)然攔截規(guī)則要一次加一條加完觀察一段時(shí)間。一次性加太多正常發(fā)布全被攔住大家就會(huì)想辦法繞過反而破壞了制度的權(quán)威性。我一般是在某類問題連續(xù)出現(xiàn)兩次以上之后再把它變成自動(dòng)攔截這樣每次攔截都有現(xiàn)實(shí)依據(jù)團(tuán)隊(duì)也更容易接受。6.3 例外和復(fù)盤要形成閉環(huán)再完善的制度也會(huì)遇到例外比如緊急故障需要立刻修復(fù)。規(guī)定里要留一條快速通道但這個(gè)通道的代價(jià)是必須在限定時(shí)間內(nèi)補(bǔ)齊全部記錄包括發(fā)布說明、臺(tái)賬和回滾方案。緊急不是豁免記錄的理由緊急只是允許你先做后補(bǔ)。每隔一段時(shí)間要復(fù)盤一次版本相關(guān)的問題看看是規(guī)則缺失還是執(zhí)行不到位。如果是規(guī)則缺失就補(bǔ)規(guī)則如果是執(zhí)行不到位就看看能不能自動(dòng)化攔截。這個(gè)循環(huán)跑起來之后制度才會(huì)慢慢貼合團(tuán)隊(duì)的實(shí)際而不是一份寫完就沒人碰的文件。我個(gè)人的體會(huì)是版本管理規(guī)定最忌諱一次成型、長(zhǎng)期不變它應(yīng)該像代碼一樣被維護(hù)和迭代每次出事都是它進(jìn)化的機(jī)會(huì)。最后分享一個(gè)我一直在用的小技巧把當(dāng)前各環(huán)境的版本號(hào)做成一頁隨時(shí)可查的面板放在團(tuán)隊(duì)最常打開的地方。這一頁不需要復(fù)雜的權(quán)限所有環(huán)境、所有實(shí)例的版本一目了然。很多關(guān)于版本的爭(zhēng)論本質(zhì)上是因?yàn)樾畔⒉煌该饕坏┐蠹铱吹亩际峭环輸?shù)據(jù)討論就會(huì)從你說是多少變成數(shù)據(jù)上是多少溝通成本一下子就降下來了。這件事我做了之后最明顯的變化是再也沒人問我線上現(xiàn)在是什么版本了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲风情在线观看| 亚洲drav色图| 国产精品成人蜜臀AV在线| 亚洲天堂少妇| 狠狠亚洲| 欧美极品女人的天堂| 2021久久国产综合精品青草| 国内精品a| 亚洲丝袜少妇在线| 九久久九九久视频| 麻豆视频一区二区| 國產尤物AV尤物在線觀看| av资源在线播放天堂| 亚洲视频一二区| 天天综合网在线观看| 日语五十路和六十路亚洲国产精品| 黄色网址在线免费观看| 超碰日韩美妻| 99色在线| 国产强奸无码乱伦| 秋霞鲁丝午夜无码一区二区三| 夜夜爽夜夜爽| 60秒免费小视频| 岛国色情视频在线观看| 欧美大色交| 午夜乱轮操逼视频免费看| 在线观看十八禁| 国产精品久久久久久久久久久久久久吹 | 一区二三区四区视频大全套| www.99在线| 人妻激情在线视频| 综合 青草 伊久久 影院 综合 | 大香蕉手机视频| 久久久久久人体| 激情综合五月婷婷| 中文字幕黄片在线| 激情文学亚洲| 毛片中心9视频99| 岛国黄片网站| 97日韩欧美亚洲| 五月天色图影视| 国产主播福利| 俞拍久久国应视频| 国内外毛片在线观看| 成人AV在线电影| 爱妃国产亚洲视频中文字幕| 校园春色第一页| 日韩 欧美 国产 麻豆| 亚洲性爱高潮影院| 极品色www影院| 97超碰超碰| 色综合20p| 视频在线观看一二三区| 伦理片秋霞免费影院| 色妇综合网| 欧美综合传媒| 动漫av中文| 九九九九九九九精品视频| 起碰97| 国产传媒日韩| 青娱乐999| 蜜臀99久久精品久久久懂爱| 蜜臀久久99精品久久久久| 97久操| 狠狠躁久久躁| 日韩图色| 日韩熟女操逼| 欧美日韩一区二区三区四区蜜桃| 欧美黑人精品一区二区| 婷婷五月天网| 9999亚洲电影| 欧美色图99| 高潮9999外国| 男人天堂网站| 日本黄大片在线观看视频| 大香蕉人妻久久| 精品国产乱码久久久久久久久久毛片| 999综合网| 岛国在线免费视频| 色噜噜狠狠色综无码久久合欧美| 夜夜操老骚逼视频网站| 亚洲好色人妻| 狼人狠干| 强奸a片网| 中文字幕成人| 亚洲日韩欧美一区二区| 亚洲全色网| 淫荡熟女乱伦网| 9999久久久久| 欧美久久久15P| 呻吟 欧美 日本 中出| 欧美夜色| 涩涩涩综合| 校园春色欧美色图| 日本福利二区视频| 国产成人主播| 少妇熟女1区2区3区| 熟女乱伦二区| 欧洲精品欧洲精品| 久久久麻豆精品| 97 视频在线| 青青久久艹| 欧美专区日本专区| 欧美色图欧美| 国产精品色| 超碰97在线色男人??| 91影库| 97超碰逼| 激情干在线| 亚洲色图伊人网| 久热香蕉精品在线视频| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 亚洲天堂性爱| 欧美一级A一级a爱片久久| 中文久久爆乳| 干少妇视频| 91久久精品国产| 国产午夜精品在线观看| 一及黄久一点| 国产成人www免费人成看片| 天天爽夜夜欢视| 啊啊啊啊啊啊好多水| 德国一二三不卡| 国产三级资源在线观看| 人妻无码久久一区二区三区免费| 色官网在线| 91欧美www| 亚洲色天堂日韩中| 久99热| 四虎免费在线观看| 97碰碰日本乱偷人妻中文的| 看日韩操逼| 少妇色综合| 91啪啪视频| 亚洲资源吧| 久久99手机免费视频| 3p国产色噜噜一区| 做爱A级亚欧| 看全色黄大色大片免费视频| 久久青娱乐| 欧美A√综合网| 九九在线视频| 亚洲综合五月天婷婷丁香| 天天躁日日躁成人字幕aⅴ| 色 亚洲 91| 97硬碰| 亚洲av淫乱| 亚洲成人免费中文字幕| 深夜福利黄片| 国产午夜精品理论片一二三区区| 伊人影院日本| 国产精品盗摄 偷窥盗摄| 中文字幕一区二区视频在线观看 | 久久精品操| AV色五月天| 熟妇激情| 中日韓欧美高清| 97超碰大| 蜜臀在线视频| 91人妻最真实刺激绿帽| 两女互慰AV高潮喷水在线观看| 99精品国产户外露出| 野狼福利社区| 69XX一中文字幕人妻91| 日本国产欧美高清在线| 五月婷婷爱六月丁香色| 九九无码| 久久精品电影| 中文 人妻 制服| 97精品免费| 伊人久久综合影院| 久久久久免费少妇| 超碰色中文| 国产日韩中文字幕欧美| 欧美一级黄色免费专区| 天堂中文资源在线bt| 日韩国产中文字幕| 日本不卡卡一区| 成人日韩3| 国产乱婷婷精品二区三区| 嗯嗯啊啊视频一区二区三区| 欧美日韩亚洲国产中文永久天天看| 九九九九九九免费视频| 亚洲AV麻豆Aⅴ无码电影一| 无码操逼网| 国产人妻精品久久久一区二区三区 | 色爱三区| 久久久噜噜噜久久久| 欧美女同在线| 蜜乳av一区二区| 国产精品一二三免费网站| 久久久久久久久九九久孕交| 91精品人妻一区二区三区蜜臀| 肏逼视频日本| 日本三级韩三级99久久| 蜜臀一二三区| av无码精品久久久久| 日韩精品操少妇| 亚洲一二三四区| 国模无码一区二区三区在线| 国产精品乱码久久久久久久| 人人妻人人爽一区二区三区| 内射老妇BBWX0C0CK| 亚洲春色一区二区三区| 天堂综合| 精品人妻一区春色| 国产视频小说| 神马久久69| 日韩精品第3页| 亚洲揄拍网| 啊啊啊啊在线观看网址| 操人妻逼91| 中文字幕91综合| 激情丁香五月| 欧插网站| 黄呦呦在线| 熟女一区二区三区| 舔人妻中文免费视频| 加勒比性爱成人在线| 亚洲十八禁止| 天天综合欧美黑人| 国语精品av| 亚洲一区二区中文字幕| 视频一区二区免费在线| 久久久久久亚洲Av无码| av在线不卡一区二区三区| 操逼国产免费| 人妻中文字幕日韩电影| 99久久99久久综合| 国产视频一区二区在线| 97色97好| 青青操视频在线| 超碰一区二区| 国内偷拍精品一区二区| 一起草日韩| 免费黄色片子| 超碰97网址| 人妻天天爽| 国产精品一二三| 国产精品农村妇女| 强奸乱伦AV一天堂网| 岛国激情视频在线观看| 九月丁香| 国产精品欧美激在线| 欧美在线55555| 日本欧美不卡| 综合 欧美 亚洲 日本| 国产激情av女片自拍| 久久性视频| 亚洲最大黄网| 国产熟女精品一区二区| A片 AV一级在线播放观看免费| 99天堂网| 嗯,啊。舔我逼| 肥佬影院91| 综合影院永久入口国产| 日本中文字幕在线视频| 中文欧丝袜诱惑| 亚洲无码一区成人免费午夜 | 一区二区视频在线播放| 刺激性视频黄页| 日本天堂在线播放| 国产精品免费1区2区视频| 青青操狠狠撩| 亚洲情色图片区| 97亚洲在线| 国产操逼逼网| 国产性刺激| 国内一级精品| 留下AⅤ黄色片| 97超碰天天爱天天爱| 乱色老一区二区三区的观看方式 | 久久久久9久久久久| 91精品操美女| 园内精品自拍视频在线播放| 日本啊啊啊啊啊视频| 99久久久| 亚洲天堂热| 欧美性五月| 亚洲免费成人在线高清无码视频| 天天色香欲综合网| 我要色综合网| 久久综合九九| 日欧毛片久久| 成全在线观看免费观看| 99啪| 日本不卡在线二区三区| 国产成人综合网| 日韩干B| 久久亚洲欧美中文字幕国语| 中文字幕亚洲欧美在线不卡| 婷婷五月天激情四射| 亚洲乱码国产乱码精网站| 一区二区视频你懂的| 国产无码精品久久久久久| 国产一级αv免费看片| 熟女高潮合集-永久久久-成人AV| 一个国产在线综合网站| 亚洲成人妻日韩在线| 五月婷亚洲精品天堂| www九九热| 九九九九九九免费视频| 久草网站免费在线观看| 国产久久日| 一级片视频啪啪| 人妻熟女字幕一区二区| 国产AV线| 久综合网| 男人天堂网站| 精品一区二区三区四区女| 日韩熟女无码| www.男人天堂| 成片免费播放| 东京太热男人的天堂久久久| 亚洲.欧美.丝袜.中文.综合| 深喉吞精| 91在线限制级| 久热在线精品免费观看| 亚洲极品| 99操碰| 酒色综合网| 精品四五区| 热思思免费视频| 青青草在线视频人人想人人上| 欧美色涩| 国产不卡的视频| 久久 国产精品 一区| 骚鸭AV| 亚洲18禁| 狠日操| 5252色欧美在线男人的天堂| 国产少妇肉丝在线观看| 国产午夜在线观看| 九一国产精品| 国产精品视频精品一二| 尤物av网站免费在线播放| 久久久久久大| 国产99精品一区二区三区免费| 91AV天美在线视频| 精品99999久久久久久| 欧美成人A√在线一区二区| 欧美韩日精品资源| 久久综合日韩亚洲欧美| 少妇3P性爱自拍| 麻豆AV一区二区天美传媒| 色一射色一射| 成人看片网站| 国产亚洲精品美女久久久久久2021| 熟妇无码视频三区| 麻豆区99999| 国产亚州高清国产拍精| 美国日韩黄片| 青青草影视蜜久久| 亚洲Av噜噜一区二区三区妖精| 午夜寂寞欧美| 成人a v在线播放免费| 四虎影视 亚洲无码| 久久国产精品一级二级三级| 久久亚洲婷婷| 一区二区三区黄色片a| 日韩精品亚洲一二三| 肉丝网站91| 五月婷婷激情| 国产一区二区三区导航| 自怕偷自怕亚洲精品| 亚洲天堂资源在线| 综合少妇网| 天天草AV| 97色涩| 水野优香在线观看| 色综合久久久久| 亚洲av影音先锋| 国产深夜福利| 狠狠干91| av天堂加勒比| 夜夜骑夜夜操| 91丝袜美女视频| 东北操逼| 加勒比人妻综合| 久久久久精| 欧美图片偷拍| 亚洲熟妇自偷自拍另欧美| 亚洲一卡2卡3卡4卡乱码网站| 麻豆天美91| 97se亚洲综合自| 亚洲在线综合| 加勒比99999| 综合网亚洲1| 精品九九九九九九九九九| 操逼精品视频| 九九热超碰97亚洲最新香蕉| 天天做天天爱天天爽AV| 极品内射| www.男人天堂| 偷拍五区| 亚洲国产97在线精品一区| 中文在线视频| 精品人妻一区二区三区免费视频| 成人精品久久| 91日产桃蜜| 青青草原香蕉日本Ap| 屁股久久久久久久久| 91国产伊人大香蕉| 久热精品在线| 亚洲有码视频二区| 国产丝袜美女在线一区| 亚洲欧综合另类无码一区| 中文字幕久热视频在线| 顶级丝袜熟女一区二区三区| 久久久国产亚洲精品系列| 青草青草久热| 亚洲综合婷婷| 69精品少妇一区二区三区蜜桃| 九九热精品| 一区二区偷拍拍视频| 欧插网站| 先锋音影AV| 狠狠干妹子| 南澳成人一级片在线播放| 久九九九| 国产在线激情视频| 精品性爱无码在线播放| 狠狠干狠狠色| 激情亚洲天堂| 日本二区不卡| 少妇久久| 国产精品色片一区二区| 99久久综合网| 97超碰色屌| 亚洲成人色情五月天丁香花| 久久精品店| 精品亚洲成人免费在线| 欧美v亚洲v日韩v最新在线二区 | 97香蕉网| 操逼视频亚洲| 99久久无色码| 99在线精品观看视频中文| 性色A∨91| 美女网站91| 国产一级内射无挡观看| 欧亚免费视频| 精品十三区| 91熟女视频网| 3P乱轮视频| 国产伦精品一区二区三区视频女| 超碰98综合网| 久久只有精品| 欧美激情总合网| 成人欧美日超碰| 白丝一区| 抽插无码高清一区| 色爽——AV| 999综合网| 久久精品美女一区| 我中文字幕6区| 天天做天天爱| 激情四射五月天| 久久爽爽精品| 国产精品无码成人精品| 嗯啊不要啊在线 | 国产91专区| 亚洲第一页第二页激情| 精品国产嫩穴视频| 黑白配性爱AV成| 黄页视频网站野外| 精品一久久久| 最新亚洲黄色免费电影 | 91啪啪视频| 色天堂在线观看| 亚洲无码com| 91视频国品一二三区| 国产熟女自拍| 精品毛片久久久精品毛片| 97色伦欧美| 久久黄人人爽视频| 欧美很很操视频| 9999九九九久久久| av无线看| 亚洲熟女乱综合一区二区三区| 激情黄色片在线观看| 97色伦欧美| 东北女人高潮视频| 丁香六月啪啪| 97免费视频在线| 国产AV精久久| 福利在线视频一区二区| 唐山老熟妇露脸啪啪叫| 热热色国产一二区AV| 高清无码 国产精品| 粉嫩AV输入| 性爱视频啪啪啪啪| 中出在线视频| 色色激情五月天| 国内一级精品| 激情婷婷| 另类图片欧美激情综合| 农村妇女精品一区二区| 岛国AB视频| 亚洲 欧美 日韩另类 麻豆| 日本人妻A片成人免费看片| 男人的天堂va| 宅男91视频在线播放| 无码人妻精品一区二区三区99不卡| 精品久久久久黄少妇| 国内毛片无遮挡国产| 九九拍拍精品视频在线播放 | 啊好爽受不了无码| 永久免费av无码网站国产app| 成人老鸭窝人人在线视频| 青草草免费网站av| 97操97干| 69精品在线| 亚洲欧洲无码bt精品合集| 亚洲综合码| 嗯啊视频免费在线观看| 91日韩网站| 强奸a片网| 日韩熟女精一区二区三区不卡| 色 婷97| 伊人一区二区在线播放| 99色热| 精品美女在线视频| 狠狠色色| 狠狠色狠狠色狠狠五月| 国产sv美女内射| 久久伊人网视频一区二区三区 | 亚洲欧美综合色| 99在线无码精品秘 入口黑人| 青青草在线视频美女| 精品人妻二区三区| 一区三区啪啪| 东京热视频网| 亚洲少妇在线观看| 狠狠躁久久躁| 伊人一区二区三区| renqi久久久久久久久久久久| 制度丝袜99| 超碰九7| 日韩av情韩国爱禁区av一区二区 | 大JI巴好深好爽又大又粗视频| 91强在线播放| 国产一级久久久| 中文字幕在线观看视频www| 青青青国产手线观看视频2| 久久久久幕乱码| 国产天天看| 久青草影院| 玖玖爱免费观看视频| 26uuu成人影片| 欧美熟妇精品黑人巨大91| 精品成人女人久久| 国产一区麻豆免费观看| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 丰满欧美放荡少妇在线| 九九九久久久久| 78久久久| 中文字幕91综合| 日韩啪啪视频| 丁香五月成人| 色人久久| 色情五月丁香| 婷婷色影院| 人人透人人操| AV综合中文字幕干| www.色操逼| 性爱av在线免费观看| 午夜乱轮操逼视频免费看| 免费一二区| 亚洲在线欧美| 丁香五六月啪啪| 久96热在线观看视频| 久久内射| 蜜臀99久久精品久久久懂爱| 999999精品| 丝袜AV一区二区三区| 1024午夜激情男人的天堂| 精品人妻一区春色| 欧美精品三区| 中日992视频| 麻豆AV一区二区天美传媒| 日韩精品人妻中文字幕不卡乱码| 偷拍亚洲情色| 欧美色涩| 高潮的A片激情扒开一区| 7777奇米影视久久| 国产女大学生AV| 天天日天天干天天色| 国产亚洲性生活视频播放| 无码137片内射在线影院| 白天啪啪晚上啪啪视频| 中国探花熟女| 很很干很很操| 久久久禁| 欧美在线电影| 欧美岛国精品在线观看| 免费黄色片。| 丁香九月婷婷| 九九成人精品| 亚洲人精品久久久| 亚洲成人激情小说视频| www亚洲免费| 五月天黄色激情视频| 国产成人资源| 青青草啪啪网| 精品一区二区三区18| 国产精品久久天天干| 欧美成人性爱视频免费观看| 日韩人妻无码专区| 亚州成人a∨| 欧洲色综合| 夜夜草我| 日韩黄色成人性爱| 影音先锋一区二区在线资源| 亚洲精品 欧美97色色| 久久亚洲AV无码白度| 国产亚洲精品玖玖玖在线观看| 五月天社区| 91 国产丝袜在线放观看| 亚洲另类久操网| 内射卯月麻衣| 国产乱伦视频污| 亚洲精品日韩国产欧美| 色爱欲亚洲| 91M一社| 26uuu国产成人综合| 成年女人一区| 人人操人人精品影片| 91在线秘 男同| 97色色色| 国产精品3| 精品国产一区二区三区四区在线看 | 亚洲AV无码久久久国产精品| 狠狠干精品一二三四五六2022| 中出20p| 色欲蜜臀AV| 秋霞男人网| 色欲久久99国产精品久久久久久| 欧美综合区| 一区二区三区成人 | 天天天肏屄欧美| 四虎在线视频| 婷婷丁香六月| 色一区二区三区综合| 中文字幕五月婷婷免费| 日韩人妻资源在线看| 欧美淫乱视频| 福利在线观看一区二区| 午夜福利久久久噜久噜久久综合| 天天激清| heyZO天然素人无码AⅤ专区| 999在线电影香蕉| 在线日韩精品一区二区三区| 97精品在线| 久久国产视频性吧 | 九九九不卡| 中文字幕av久久爽Av| 国产亚洲99久久精品| 91丨豆花丨熟女| 青青草国产欧美非洲黑人| 9997se| 欧美九九九| 91久久久老司机| 一区二区三区日韩欧美| www99热| 亚洲天堂人妻熟妇视频| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 国产精品另类| 欧美色日| 久久偷拍人| 精品大久久| 色色国产| 婷婷丁香成人| 91干熟女| 一,爱啪啪,在线免费视频| 秋霞一集毛片观看| 老司机福利青青草| 黄页av| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 性爱欧美五月| 麻豆九九九| 亚洲狼狼干综合1| 黄页18禁| 无码免费一区二区三区啪啪| 五月婷婷六月丁香| 黄色av一区二区在线| 91成人久久| 中文字幕aⅴ在线视频| 日本不卡高清视频| 再深点灬舒服灬太大了添视频| 国产亚洲精品精AV.| 久久产精品一区二区三区电影| 日韩猛交| 九九综合九九综合| 天天影视色香欲综合网小说| 91在线欧美| 91无码西班牙视频在线| 国产精品高潮久久久无码| 亚洲欧美首页| 成年人网站在线免费观看| 亚洲乱码精品一区二区| 韩国一级做a久久久久| 欧美在线永久天堂| 亚洲成人性爱网站在线播放| 国产强奸乱伦xd| 美女尤物人人操| 五月天黄色激情视频| 在线观看黄色电话| 亚洲人成网www| 97在线观看| 美女被啪到深处抽搐视频| 91色人妻| 欧美日韩一区二区三区四区蜜桃| 黄色av片三级三级三级免费看| 俺去俺来也在线www| 99色色网| 亚洲综合色男人网| 日本人妻天堂网站在线播放| 91欧美丨精品丨入口| 情色五月天网| 亚欧美色图| 欧美天天综合在线| 2017人人操,人人摸| 欧美强奸乱能| 99这里只有精品| 四虎AV影视国产精品亚洲精品| 亚洲男人的天堂网| 蜜臀99久久国产| 女欧美一区二三区| 女人喷水视频在线观看| 操碰97| 中文字幕78| 97中文综合| 欧美国产精品久久九九| 久久社区一区二区三区| 91|九色|国产熟女| 97日视频| 亚洲精品电影| 午夜性刺激视频免费观看| 亚洲精品乱码线路中文字幕| 久久久国产三级黄色片| 亚洲熟妇丝袜在线观看| 美国三级日本三级久久99| 中文字幕综合人妻| 亚洲激情视频| 亚洲成?V人片在线观看福利| 任你草| 九热超碰| 国产免费黄色一级大片| 操人妻视频| 在线啊啊啊| 亚洲精品免费中文字幕| 95人妻爽爽人人做人人澡| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 人人九九精| 日韩熟女操逼| 大香蕉av在线| 国产高清不卡视频| 亚洲在线a| 中国一区二区亚洲人妻| 久操 高清| 欧美性色网| h无码动漫在线观看| 一区二区精品更新提醒| 伊香蕉综合久久久久久久噜噜噜| 人人操人人干网页| 天天综合欧美综合| 啪啪自拍九九综合| 国产网站在线播放| 久久综合女优| 99色网| 人妻天堂综合网| 舔人妻中文免费视频| 精品人妻中文字幕4399| 欧美性,亚州色| 亚洲AV无码乱码| 六月婷婷综合| 国产又粗又长的视频| 色婷婷激一区二区三区 | 2019久久久久久久久福利| 国产亚洲色婷婷久久99精品91| 欧美一品道| 亚洲国产尤物yw在线观看| 91成人国产综合久久精品蜜月| 黑人综合网| 色色亚洲| 啊啊啊想要| www.99热| 97久久国产| 校园春色 男人天堂 | 99热综合在线| 懂色Av| 清纯唯美激情四射| 亚洲影院无码在线| 嗯啊不要啊啊在线观看视频| 欲香欲色| 台湾佬中文娱乐自偷自拍| 91亚洲网| 欧美日韩成人在线| 老熟女网站| 中文字幕老熟妇黄色视频| 久久专区| 有码人妻系列| 乱伦色图网址是多少| 操死我了嗯嗯嗯| 99re公开精品免费视频| 国产九九九九九九| 91GD.COM| 国产精品播放| 97色欧州| 盗摄女人妻在线| 丝袜美腿91| 欧美操逼一二三区| 亚洲乱妇p22| 91l欧美在线| 九月丁香综合网| 九久久九九久视频| 精品妇女一区二区三区| 亚洲欧美高清无码| 欧美日韩人妻婷婷一区| 天天色播亚洲综合网站| 啊啊啊啊啊啊啊啊视频| 草b在线| 亚洲欧洲综合成人av一区| 免费99精品国产自在在线| 亚洲中文一区二区三区视频| 99AV| 久草视频制服诱惑| 草草影院最新网址| 夜夜夜爽www精品视频| 强奸少妇AV导航网| 五月天丁香婷婷综合网站| 国产尤物在线三区| 婷婷国产精品九区| 把腿张开老子CAO烂你| 欧美亚州综合网图片| 婷婷久草一区二区三区| www亚洲免费| 欧美丝袜亚洲| 粉嫩少妇自慰在线| 亚洲综合婷婷| 视频在线观看免费一区二区三区| 99超碰网| 国产少妇高潮| 97精品一二区| 粉嫩不卡一区二区性爱| 亚洲精品久久久久久久蜜桃臀| 后入 亚洲 美女 射| 欧美不卡五十路| 四虎影视永久在线观看精品免费网站 | 亚洲九九视频| 亚洲国产一级中文综合久久天堂在线免费观看 | 夫妻四区五区六区| 久操不卡视频| 国产高清视频无码在线| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 1024精品在线| 免费网色网站| 色欧美天天| 一级久久性爱视频| 日韩免费簧片| 丰满人妻一区二区三区免费| 蜜臀久久久国产| 99爱在线视频| 国产精品香蕉热久久新品| 韩国免费播放一级毛片| 久久久性爱| 欧亚揄拍偷拍精品视频| 久久一留热品黄| 国产成人+综合亚洲+天堂| av天堂天堂av日韩| 夜夜草天天| 91爱| 99999re| 超碰97久| 超碰久久草| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 啊啊啊啊免费视频| 欧美淫乱视频| 偷拍片久久| 加勒比海成人视频网| 肉丝网站91| 色婷婷影视| 亚洲成人免费电影| 日韩不卡毛片Av免费高清| 亚洲 欧美 制服 另类 自拍| 无码高清操逼| 男人的天堂2019| 男人的天堂va在线| 亚洲欧美综合网| 另类图片五月天| 91蜜桃传媒精品久久久一区二区| 丝袜亚洲91| 亚洲图片 激情小说| 麻豆精品A片免费观看| 亚洲中文字幕日产无码久久| 丰满少妇一区二区三区四区观看| 国产丝袜视频| 99精品丰满人妻无| 男人的天堂2018东京热啪啪啪| 97天天爽| 青青11操操操操操操操操| 超碰日本97美女人妻人人玩人人爱| 免费黄色片子| 日本精品第一视频在'| www.婷婷| 狠狠干狠狠干| 夜夜高潮夜夜爽| 粘花网06av视频| 牛牛久久国产精品视频一二三| 精品97精品97| 香一区二区三区| 你草精品在线视频| 精品一区二区三区四区外站| 亚洲AV色图一区| 久久精品男人的天堂| 熟女少妇视频| 欧美日本成人一区二区| 精品国产91内射久久| 国产91乱伦| 国产不良强奸视频免费看| 免费亚洲黄色视频在线观看 | 国产免费一区2区3区| 国产91福利小视频在线观看| 国产精品一区二区亚洲人成毛片 | 亚洲欧美97| 天天射天天操天天干天天吃2018 | 国产精品99999| 日本国产亚洲一区在线观看| 欧美岛国精品在线观看| 操逼视频亚洲| 久热伊人| 欧美一区二区传媒| 91日日夜夜| 91内射| 一级日本牲交大片好爽在线看| 成人性爱全视频观看| 婷婷五月成人| 97超碰免费人人性爱| 啊啊啊不要嗯嗯在线观看| 午夜无码熟妇丰满人妻| 精品国产乱码久久久久久蜜臀| 26uuu久久| 5278欧美一区二区三区| 婷婷在线视频| 亚洲一区二区 麻豆传媒| 蜜臀久久99精品久久久久电影| 老司机午夜精品视频| 超碰在线观看av不卡| 日本 欧美 亚中文字幕| 日韩精品操少妇| 精品十八在线观看| 国产三级资源在线观看| 日韩国产中文字幕| 青青草日本中文字幕| 日韩欧美麻豆 | 久夜操| av在线播放国产一区| 丰满人妻-区二区三区免费| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 99热超碰| 九X超碰| 狠狠躁伊人中文字幕| 日韩亚洲欧美中文字幕| 日韩欧美成人综合在线| 啊啊啊啊啊在线观看网址 | 久久久久成人蜜桃精品| 日韩欧美资源| 天天综合网亚洲综合网| 久久精品久久九九精品| 中文字幕黑人大片| 欧美一二级| 国产精品视频91久久| 亚洲欧美大香蕉| 精品欧美日韩在线观看| av强奸乱轮| 91青视频| 亚洲色图片区| 欧美色性爱| 九九九九九九九九九五码| 亚洲欧美不卡线| 久99热| 91 国产丝袜在线播放-百度| 青娱乐休闲视频在线观看| 亚洲日韩精品在线播放| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 美女91| 日韩精品 视频一区二区| 中国黑人三级片网站上区| 91操熟女| 日韩人妻操B| 青草精品视频一日本久久久久网站| 欧美成人四级在线播放| 97 国产一区| a片在线播放| 女同亚洲欧美一二三区久久电影| 九t超碰| 69精品久久久久中文字幕| 中 文字幕一区二区三四 五 区日 日 骚| 91少妇人妻| 成人三级片无码| 日韩 欧美 国产 麻豆| 欧美不卡二区| 九九久久首页| 手机午夜电影神马久久| 九九久久首页| 97在线观看免费视频| 嗯啊不要啊在线| 国产精品午夜精品| 国产中文字幕曰本毛片| 男人把坤坤插入女人的下体| 一级人妻性爱视频| 好吊色一区| 精品欧美А∨无码黑人大荫蒂| 亚洲天堂自拍| 水多多映视AV| 哈哈操电影AV| 久久黄色视频一区二区三区| 日日干夜夜操视频h| 欧美综合娱乐久久| 91麻豆一二三区| 国语国产操逼伊人AV网| 久久久久久久久久久久九| wwwcaobibi| 熟妇女伦乱视频视频| 日本熟妇一区二区三区| 亚洲欧美电影| 99热精品在线| 91老熟女视频| 九九九久久久久| 午夜成人爽爽爽爽A片李冰冰| 操我啊啊啊啊啊| 黄色大片免费在线| 91精品操美女| 麻豆久久久一区二区| 性久久久| 麻豆天美在线喷水AV| 日韩av在线免费网站| 午夜福利 成人 91| 久久手机好看网站| 中文字幕一区二区三区字幕| 久艹99| 嗯啊不要在线| 一区二区三区美女超清| 97精品第3页| 狠狠爱综合网| 人人操人人色网| 学生妹天天看| 五月婷视频| 欧洲亚洲少妇| 久久久久密臀一区二区| 亚洲一本色道中文无码aV天美| 啊啊啊久久久视频| 伊人91| 欧美精品三级黄片| 少妇被玩视频二三区| 艹精品| 欧美日韩精品久久久久东北老熟妇| 综合久草| 亚洲最新中文字幕免费| 国产sv美女内射| 人妻黑丝袜电影| 久久草大香蕉| 中文字幕中文字幕一区二区| 97视频播放| 国产精品。| 激情五月丁香五月| 秋霞无码av鲁丝片一区| 欧美 亚洲| 夜夜 中文视频rt| 在线国产探花| 家庭乱伦性爱av| 婷婷激情四射| 狠狠躁日日躁夜夜躁A| 日本九九久久99播| 日韩亚洲精品一区二区| yw尤物av无码点击进入麻豆| 涩亚洲欧洲| 好看的久久不射无码影视影院| 91精品综合久久久久久五月丁香| 99热99在线播放激情| 亚州一区二区| yazhouzaixian| 玖色AV| 欧美性爱五月天| 亚洲激情综合另类男同| 欧美性91| 久久久亚洲熟妇资源| 很很很很操| 欧美最婬乱婬爆婬性视频 | 夜夜高潮夜夜爽国产伦精品| 欧美 亚洲 另类 综合| 久久人人爽人人爽人人片Ⅴ| 岛国视频一二三区| 色综合加勒比| JuliaAnn丝袜熟女系列| av天堂加勒比| 91精品人妻啪啪间| 香蕉免费一区二区三区不读 | 久久精品熟女亚洲AV麻豆软件| 少好三P| 在线视频一区二区传媒| 欧美色棕合| 日本在线视频导航| 玖玖爱免费观看视频| 搞中出久久| 蜜乳视频网站| 中文字幕五月婷婷免费| 中文一区二区三区影院| 国产9l 大屁股| 人妻夜爽夜夜爽| 日韩91网| 亚洲视频二区| 97超碰久久色| 91艹| 亚洲精品一区二区免费在线观看| 在线 制服丝袜中出 人妻| 国产操逼视频在线观看| 在线日韩日本亚洲国产| 天美传媒精品久久视频| 国产精品久久久久999| 激情五月天网站| 日韩无码成人电影| 亚洲少妇喷视频看| renqi久久久久久久久久久久| **一级毛片国产| 综合自拍| 亚洲熟妇自偷自拍另欧美| 亚洲影视综合网| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 人妻激情偷乱视频一区二区三区 | 国产99精品一区二区三区免费| 96麻豆精品一区二区三区| 欧美精品人妻视频| 色汉综合| 四虎AV在线播放| 久久久91| 九九热九九| 日韩免费a级毛片无码a∨| 日产欧美电影一区二区三区| 大香久久| 日本操逼无码| 爱爱动态60秒| 欧美性爱日韩高清| 操逼片中文| 亚洲欧美精品91| 欧美综合自拍成人自拍第二十页| 丰满少妇一区二区三区四区观看| 粘花网06av视频| 北野未奈加勒比av| 丰满熟妇大乳做爰| 欧美天堂在线| 日本精品网站在线中文| 秋霞无码av鲁丝片一区| 爽 好舒服 无码刺激久久| 一区三区啪啪| 婷婷三区| 91艹| 啊啊啊好大好深| 最新岛国大片| 中国亚洲呦女专区|