久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

MySQL元數(shù)據(jù)鎖阻塞DDL?一次線(xiàn)上訂單表加索引卡頓排查實(shí)錄

MySQL元數(shù)據(jù)鎖阻塞DDL?一次線(xiàn)上訂單表加索引卡頓排查實(shí)錄 上周給線(xiàn)上訂單表加索引一條ALTER TABLE orders ADD INDEX idx_status_created(status, created_at);跑出去之后就一直卡著SHOW PROCESSLIST里狀態(tài)是Waiting for table metadata lock。我一開(kāi)始覺(jué)得奇怪這個(gè)表才幾百萬(wàn)行加個(gè)索引按說(shuō)幾十秒就該完成怎么會(huì)卡到業(yè)務(wù)告警最后排查了兩個(gè)小時(shí)才明白真正要處理的不是 DDL 本身而是一筆來(lái)自應(yīng)用連接池的“早就應(yīng)該結(jié)束但沒(méi)結(jié)束”的事務(wù)。這類(lèi)問(wèn)題平時(shí)不容易出現(xiàn)但一出現(xiàn)往往就是連接池被打滿(mǎn)、接口超時(shí)一片告警。這篇文章把我這次親測(cè)排查的過(guò)程和背后的原理一次講清楚也把能直接用的命令和方法整理出來(lái)。不管你是 DBA、后端開(kāi)發(fā)還是剛接觸 MySQL 的運(yùn)維照著這個(gè)思路走一遍基本都能在十幾分鐘內(nèi)定位到元兇。1. 元數(shù)據(jù)鎖到底鎖的是什么先搞清楚等待的本質(zhì)1.1 Metadata Lock 到底是什么MySQL 在 5.5 版本引入了 Metadata Lock簡(jiǎn)稱(chēng) MDL也就是元數(shù)據(jù)鎖。它和 InnoDB 的行鎖、表鎖不太一樣InnoDB 鎖管的是“表中具體的數(shù)據(jù)行”而 MDL 管的是“表結(jié)構(gòu)本身”。你可以把 MDL 理解成圖書(shū)館門(mén)口的圖書(shū)登記員任何人對(duì)一本書(shū)做操作都得先跟登記員說(shuō)一聲登記員記錄完才能進(jìn)去有人要改書(shū)的分類(lèi)編號(hào)時(shí)其他人就必須等在門(mén)口等當(dāng)前正在看書(shū)的人全部出來(lái)。具體來(lái)說(shuō)執(zhí)行 SELECT、INSERT、UPDATE、DELETE 這些 DML 語(yǔ)句時(shí)MySQL 會(huì)獲取對(duì)應(yīng)表的 MDL 共享鎖SHARED多個(gè)會(huì)話(huà)可以同時(shí)持有多把共享鎖互不阻塞。而執(zhí)行 ALTER TABLE、DROP TABLE、TRUNCATE TABLE 這類(lèi) DDL 語(yǔ)句時(shí)需要獲取 MDL 排他鎖EXCLUSIVE排他鎖和任何其他鎖都不能共存。一旦排他鎖申請(qǐng)不到DDL 就會(huì)一直處于Waiting for table metadata lock。這個(gè)設(shè)計(jì)的本意是防止 DML 在執(zhí)行過(guò)程中表結(jié)構(gòu)突然變了導(dǎo)致記錄格式錯(cuò)亂。但問(wèn)題也出在這里如果某個(gè)會(huì)話(huà)的一個(gè)事務(wù)始終不提交即使它現(xiàn)在已經(jīng)“不干活了”它之前訪(fǎng)問(wèn)過(guò)的那張表的 MDL 共享鎖也會(huì)一直攥在手里。這時(shí)候任何 DDL 想拿排他鎖都只能干等。1.2 哪些場(chǎng)景最容易觸發(fā)這個(gè)坑根據(jù)我自己的經(jīng)歷和幫別人排查過(guò)的案例下面幾類(lèi)情況占了絕大多數(shù)場(chǎng)景常見(jiàn)原因典型現(xiàn)象應(yīng)用代碼開(kāi)啟事務(wù)后未提交autocommit0 或者BEGIN之后忘記COMMIT連接狀態(tài)是 Sleep但innodb_trx里有舊事務(wù)事務(wù)里執(zhí)行了長(zhǎng)查詢(xún)或外部調(diào)用事務(wù)內(nèi)發(fā) HTTP 請(qǐng)求、等待第三方響應(yīng)事務(wù)長(zhǎng)時(shí)間不結(jié)束鎖一直持有只讀事務(wù)也開(kāi)了事務(wù)Transactional(readOnlytrue)等框架行為一條 SELECT 也能持有 MDL 共享鎖DDL 排隊(duì)后引發(fā)連鎖反應(yīng)DDL 獲取排他鎖排隊(duì)后續(xù) DML 全被擋住Processlist 中多個(gè)連接同時(shí)顯示 Waiting for table metadata lock這里有個(gè)很容易忽略的點(diǎn)SHOW PROCESSLIST里看到的 State 是Waiting for table metadata lock的會(huì)話(huà)未必是“持鎖的人”很多時(shí)候它是“被鎖連累的人”。真正持有鎖的會(huì)話(huà)可能正老老實(shí)實(shí)顯示成Sleep甚至Command一欄是空的。所以排查一定不能只看第一眼要順著事務(wù)列表往下挖。注意MDL 的持有范圍是整個(gè)事務(wù)而不是單條語(yǔ)句。也就是說(shuō)哪怕某個(gè)事務(wù)里只有一條普通查詢(xún)只要這個(gè)事務(wù)還沒(méi)提交相關(guān)表的 MDL 共享鎖就一直不會(huì)釋放。這個(gè)特性是很多“查不出原因”的根子。2. 親測(cè)第一步一套穩(wěn)定的排查流程快速找出是誰(shuí)在占鎖我很反感遇到問(wèn)題就到處亂殺連接那樣很容易把無(wú)辜請(qǐng)求也一起干掉。下面這套流程是我實(shí)際用了很多次的每一步都有明確的檢查目的。2.1 先看 Processlist區(qū)分“被鎖的人”和“持鎖的人”第一件事就是執(zhí)行SHOW FULL PROCESSLIST;也可以直接從information_schema.processlist查SELECT id, user, host, db, command, time, state, info FROM information_schema.processlist ORDER BY time DESC;重點(diǎn)看三樣?xùn)|西State、Time、Info。如果發(fā)現(xiàn)一個(gè) ALTER 語(yǔ)句的 State 是Waiting for table metadata lock而且已經(jīng)跑了幾十分鐘基本可以確定它是在等鎖。同時(shí)你往往還會(huì)看到一批 SELECT 或 UPDATE 語(yǔ)句也掛著同樣的 State這通常是“排隊(duì)效應(yīng)”排他鎖請(qǐng)求在 MDL 隊(duì)列里排在最前面它后面的共享鎖請(qǐng)求全部被堵住結(jié)果就是一片假象。這時(shí)候不要急著殺 ALTER。先把我下面第二步做完搞清楚誰(shuí)拿著鎖再動(dòng)手。2.2 用 information_schema.innodb_trx 挖出隱藏事務(wù)SHOW PROCESSLIST只能看到當(dāng)前正在執(zhí)行的語(yǔ)句看不到那些事務(wù)還活著、但當(dāng)前沒(méi)有在執(zhí)行語(yǔ)句的連接。這時(shí)候要用innodb_trxSELECT trx_id, trx_mysql_thread_id, trx_started, trx_state, trx_query, TIMESTAMPDIFF(SECOND, trx_started, NOW()) AS trx_duration FROM information_schema.innodb_trx ORDER BY trx_started ASC;trx_mysql_thread_id就是對(duì)應(yīng)的 MySQL 連接 ID用它可以和processlist.id關(guān)聯(lián)上。trx_started是事務(wù)開(kāi)始時(shí)間trx_duration算出來(lái)就能快速知道哪些事務(wù)已經(jīng)跑了很久。我那次排查時(shí)就是通過(guò)這個(gè)表發(fā)現(xiàn)某個(gè)連接 ID 的事務(wù)已經(jīng)存在 2 小時(shí) 20 分trx_query字段里寫(xiě)的是一個(gè)很久以前的 INSERT 語(yǔ)句但當(dāng)前processlist里這個(gè)連接的 Command 已經(jīng)是 Sleep狀態(tài)看著很正常。如果不是專(zhuān)門(mén)查事務(wù)表根本不會(huì)想到它才是占鎖的元兇。如果看到的都是短暫事務(wù)還可以進(jìn)一步加條件只看超過(guò)某個(gè)時(shí)長(zhǎng)的SELECT trx_mysql_thread_id, trx_started, TIMESTAMPDIFF(SECOND, trx_started, NOW()) AS trx_duration, trx_query FROM information_schema.innodb_trx WHERE TIMESTAMPDIFF(SECOND, trx_started, NOW()) 60 ORDER BY trx_duration DESC;2.3 用 performance_schema.metadata_locks 做精準(zhǔn)定位MySQL 5.7 開(kāi)始performance_schema提供了metadata_locks表可以直接看到當(dāng)前所有 MDL 鎖的情況。這是最精確的定位方式不需要靠猜。先確認(rèn)performance_schema開(kāi)啟SHOW VARIABLES LIKE performance_schema;然后可以這樣查目標(biāo)表上的 MDL 鎖SELECT mls.OBJECT_SCHEMA, mls.OBJECT_NAME, mls.LOCK_TYPE, mls.LOCK_STATUS, th.ID AS PROCESSLIST_ID, th.PROCESSLIST_COMMAND, th.PROCESSLIST_TIME, th.PROCESSLIST_INFO FROM performance_schema.metadata_locks mls JOIN performance_schema.threads th ON mls.OWNER_THREAD_ID th.THREAD_ID WHERE mls.OBJECT_SCHEMA your_db AND mls.OBJECT_NAME orders ORDER BY th.PROCESSLIST_TIME DESC;如果OWNER_THREAD_ID對(duì)應(yīng)線(xiàn)程查不到就需要再結(jié)合REQUESTING_THREAD_ID看等待鎖的線(xiàn)程。實(shí)際操作中我一般先看metadata_locks里OBJECT_NAME等于目標(biāo)表的記錄再用threads表把THREAD_ID映射回PROCESSLIST_ID因?yàn)閜rocesslist里直接展示的連接 ID 和線(xiàn)程內(nèi)部 ID 不是同一個(gè)東西。實(shí)操心得如果你不想寫(xiě)這么長(zhǎng)的 SQL可以先跑SHOW PROCESSLIST加innodb_trx九成問(wèn)題已經(jīng)能定位。只有遇到特別復(fù)雜的多連接互相等待場(chǎng)景才需要把performance_schema.metadata_locks拿出來(lái)精確定位。我平時(shí)兩種方式結(jié)合速度快也都驗(yàn)證過(guò)。3. 親測(cè)有效的解決方法和適用場(chǎng)景3.1 等待并觀察什么情況下可以等最簡(jiǎn)單粗暴的“解決方式”就是等。如果innodb_trx里查到持鎖事務(wù)已經(jīng)接近提交或者應(yīng)用那邊明確知道某個(gè)批處理任務(wù)馬上完成等一兩分鐘也未嘗不可。但我個(gè)人不建議在業(yè)務(wù)高峰期抱著僥幸心理去等。MDL 一旦堆積影響會(huì)像雪崩一樣擴(kuò)散一個(gè) DDL 掛起后面所有訪(fǎng)問(wèn)這張表的請(qǐng)求全部排隊(duì)連接數(shù)急速上漲最終連接池耗盡整個(gè)應(yīng)用不可用。我在一次模擬壓測(cè)中見(jiàn)過(guò)一個(gè)小表上誤加索引兩個(gè)小時(shí)內(nèi)幾乎把整庫(kù)的連接池拖垮。如果要等最好同時(shí)盯著兩個(gè)指標(biāo)一是innodb_trx里事務(wù)是否消失二是processlist里 Waiting 數(shù)量是否下降。超過(guò) 1 分鐘仍然沒(méi)有任何變化就別等了。3.2 精準(zhǔn) Kill 持鎖會(huì)話(huà)我最終用的方案這是最直接有效的手段也是我當(dāng)時(shí)結(jié)束問(wèn)題的方案。定位到innodb_trx里最老的那個(gè)事務(wù)對(duì)應(yīng)的trx_mysql_thread_id后執(zhí)行KILL connection_id;比如查詢(xún)結(jié)果顯示最老事務(wù)的trx_mysql_thread_id是 123456就執(zhí)行KILL 123456;KILL 掉持鎖會(huì)話(huà)后原來(lái)排隊(duì)的 ALTER 會(huì)在很短時(shí)間內(nèi)獲取到 MDL 排他鎖繼續(xù)執(zhí)行。實(shí)際操作中我 kill 完之后幾乎立刻看到 DDL 的狀態(tài)從Waiting for table metadata lock變成了altering table再過(guò)了幾十秒就完成了。但這件事有兩個(gè)重要前提必須先確認(rèn)這個(gè)會(huì)話(huà)對(duì)應(yīng)的業(yè)務(wù)是否真的可以中斷。KILL 會(huì)導(dǎo)致這個(gè)事務(wù)回滾如果它正在寫(xiě)重要數(shù)據(jù)可能帶來(lái)部分?jǐn)?shù)據(jù)不一致。不過(guò) MDL 卡住的時(shí)候這個(gè)事務(wù)往往已經(jīng)是空閑狀態(tài)很久了回滾影響通??煽?。不要一看到多個(gè)等待的 SELECT 就批量 KILL。這些只是排隊(duì)者殺掉它們并不能釋放排他鎖反而會(huì)造成應(yīng)用層一堆異常報(bào)錯(cuò)。真正的動(dòng)作應(yīng)該指向持鎖者。3.3 快速失敗的應(yīng)急參數(shù)MySQL 里有一個(gè)參數(shù)叫l(wèi)ock_wait_timeout它控制語(yǔ)句等待元數(shù)據(jù)鎖的最長(zhǎng)時(shí)間。默認(rèn)值是 31536000 秒也就是整整一年。雖然生產(chǎn)上不太可能一年都沒(méi)人管但一旦發(fā)生 MDL 堆積這個(gè)默認(rèn)值等于沒(méi)有上限所有請(qǐng)求都會(huì)傻等著。你可以動(dòng)態(tài)調(diào)整SET GLOBAL lock_wait_timeout 5; SET SESSION lock_wait_timeout 5;這樣超過(guò) 5 秒拿不到元數(shù)據(jù)鎖的語(yǔ)句會(huì)直接報(bào)錯(cuò)ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction注意這個(gè)辦法的本質(zhì)是“快速失敗”不是“解決阻塞”。它可以讓排隊(duì)請(qǐng)求盡快失敗保護(hù)連接池和應(yīng)用線(xiàn)程但 DDL 本身也會(huì)失敗必須等持鎖事務(wù)釋放后再重試。我一般只把它當(dāng)應(yīng)急開(kāi)關(guān)用調(diào)完盡快恢復(fù)默認(rèn)值并且繼續(xù)清理持鎖事務(wù)。MySQL 8.0 還支持在 DDL 語(yǔ)法上加WAIT n或NOWAITALTER TABLE orders ADD INDEX idx_status_created(status, created_at), WAIT 5;如果 5 秒拿不到鎖就立即失敗。這個(gè)特性適合把“長(zhǎng)期阻塞”變成“快速失敗”避免拖垮業(yè)務(wù)。3.4 不要指望 Online DDL 能完全繞過(guò)元數(shù)據(jù)鎖MySQL 5.6 起支持 Online DDL很多人以為有了它ALTER TABLE 就不會(huì)堵業(yè)務(wù)了這是誤區(qū)。Online DDL 確實(shí)能減少部分操作的鎖持有時(shí)間但它的執(zhí)行過(guò)程分為準(zhǔn)備、執(zhí)行、提交幾個(gè)階段。準(zhǔn)備和提交階段依然需要獲取 MDL 排他鎖哪怕只是一瞬間。如果有一個(gè)未提交事務(wù)一直攥著目標(biāo)表的共享鎖DDL 連準(zhǔn)備階段都進(jìn)不去照樣卡在Waiting for table metadata lock上。也就是說(shuō)Online DDL 可以解決“執(zhí)行過(guò)程中能不能繼續(xù)讀寫(xiě)”的問(wèn)題但解決不了“有沒(méi)有長(zhǎng)事務(wù)占著元數(shù)據(jù)鎖”的問(wèn)題。不管用ALGORITHMINPLACE還是默認(rèn)的 online 方式只要持鎖事務(wù)不結(jié)束DDL 就永遠(yuǎn)別想開(kāi)工。這也是為什么我在做任何 DDL 之前都會(huì)先查一遍長(zhǎng)事務(wù)。4. 一次真實(shí)排查實(shí)錄從現(xiàn)象到恢復(fù)的完整記錄4.1 現(xiàn)象與第一反應(yīng)晚上 20 點(diǎn)左右我接到告警通知某訂單庫(kù)活躍連接數(shù)突然從 50 漲到 300應(yīng)用側(cè)大量接口響應(yīng)超時(shí)。登錄數(shù)據(jù)庫(kù)執(zhí)行SHOW FULL PROCESSLIST看到非常典型的一幕----------------------------------------------------------------------------------------------------------------------- | Id | User | db | State | Time | Info | Command | 備注 | ----------------------------------------------------------------------------------------------------------------------- | 10001 | appuser | testdb | Query | 1234 | NULL | Waiting for table metadata lock | ALTER TABLE orders ADD INDEX ... | | 10002 | appuser | testdb | Query | 1234 | NULL | Waiting for table metadata lock | SELECT * FROM orders WHERE ... | | 10003 | appuser | testdb | Query | 1234 | NULL | Waiting for table metadata lock | UPDATE orders SET ... | | 10005 | appuser | testdb | Sleep | 8310 | NULL | NULL | 看不出異常但嫌疑很大 | -----------------------------------------------------------------------------------------------------------------------大量語(yǔ)句都掛在orders表上狀態(tài)統(tǒng)一是Waiting for table metadata lock。第一反應(yīng)自然認(rèn)為是那條 ALTER 引起的但我也知道不能只殺 ALTER因?yàn)檎嬲龑?dǎo)致它拿不到鎖的人還在暗中。4.2 第一次失誤kill 錯(cuò)了對(duì)象我當(dāng)時(shí)第一輪操作其實(shí)犯了個(gè)典型錯(cuò)誤??吹?ALTER TABLE 卡了這么久直接執(zhí)行了KILL 10001;這個(gè)連接是 DDL 持有者嗎不是它是“等待者”。殺完之后連接池里的請(qǐng)求倒是短暫恢復(fù)了一部分但新的問(wèn)題是那條 ALTER 再跑一次依然卡住而且新的排隊(duì)又出現(xiàn)了。原因是持鎖事務(wù)還活著KILL 一個(gè)等鎖的會(huì)話(huà)既沒(méi)有釋放 MDL 共享鎖也沒(méi)有解決排他鎖的需求。后來(lái)我才把目光轉(zhuǎn)向information_schema.innodb_trx一下就看到了真相SELECT trx_id, trx_mysql_thread_id, trx_started, trx_state, trx_query FROM information_schema.innodb_trx ORDER BY trx_started ASC;結(jié)果里第一條事務(wù)讓我很意外trx_id: 1234567 trx_mysql_thread_id: 10005 trx_started: 2025-01-15 17:40:23 trx_state: RUNNING trx_query: NULL這個(gè) ID 10005 的會(huì)話(huà)看SHOW PROCESSLIST只是 Sleep怎么看都不像有事。但trx_started顯示事務(wù)從 17:40 就開(kāi)始了到 20:03 已經(jīng)持續(xù)了 2 小時(shí) 23 分鐘。即便它現(xiàn)在沒(méi)有執(zhí)行任何語(yǔ)句這個(gè)事務(wù)在開(kāi)啟后一定訪(fǎng)問(wèn)過(guò)orders表所以一直握著orders表的 MDL 共享鎖。4.3 正確的處理步驟和恢復(fù)過(guò)程確認(rèn)就是這個(gè)連接后我先和業(yè)務(wù)負(fù)責(zé)人確認(rèn)了 ID 10005 對(duì)應(yīng)的應(yīng)用會(huì)話(huà)可以中斷隨后執(zhí)行KILL 10005;執(zhí)行完的瞬間我再看SHOW PROCESSLIST之前那批Waiting for table metadata lock的連接已經(jīng)在陸續(xù)恢復(fù)執(zhí)行原本要加索引的 ALTER 也從等鎖狀態(tài)變成了真正的執(zhí)行中。這里有一個(gè)細(xì)節(jié)MDL 等待隊(duì)列是公平的排在最前面的 ALTER 在持鎖事務(wù)釋放后會(huì)優(yōu)先拿到鎖并不需要把它 kill 掉再重新執(zhí)行。我這次沒(méi)有重新跑 ALTER等了大概幾十秒觀察它的狀態(tài)變?yōu)閍ltering table然后正常完成。親測(cè)后的經(jīng)驗(yàn)遇到這種問(wèn)題正確的恢復(fù)順序是先定位持鎖者再 KILL 持鎖者最后觀察等鎖隊(duì)列自動(dòng)消化。順序反了只會(huì)越搞越亂。5. 事后復(fù)盤(pán)與預(yù)防清單讓這種問(wèn)題不再重復(fù)5.1 應(yīng)用層的長(zhǎng)事務(wù)是最大根源這次持鎖 2 小時(shí)的會(huì)話(huà)追到應(yīng)用代碼后發(fā)現(xiàn)是因?yàn)橐粋€(gè)批處理任務(wù)里開(kāi)啟了事務(wù)在事務(wù)里調(diào)用了外部接口外部接口超時(shí)時(shí)間設(shè)得又很長(zhǎng)導(dǎo)致事務(wù)一直掛著。事務(wù)掛著不關(guān)MySQL 層面的鎖就不會(huì)釋放。類(lèi)似的代碼配置我也在很多項(xiàng)目里見(jiàn)過(guò)使用Transactional注解但方法里存在遠(yuǎn)程調(diào)用、消息發(fā)送、文件上傳手動(dòng)BEGIN之后忘記COMMIT連接池的autocommit被設(shè)置成了false且代碼里沒(méi)有每次請(qǐng)求都提交事務(wù)監(jiān)控腳本用某些客戶(hù)端工具開(kāi)會(huì)話(huà)時(shí)默認(rèn)開(kāi)啟了事務(wù)。這些都是隱藏長(zhǎng)事務(wù)的溫床。實(shí)際推行落地的做法是事務(wù)內(nèi)不放任何非數(shù)據(jù)庫(kù)操作遠(yuǎn)程調(diào)用必須放在事務(wù)提交之后連接池保持autocommittrue框架層面盡量讓只讀查詢(xún)不開(kāi)啟事務(wù)。5.2 變更前的三查檢查現(xiàn)在我在執(zhí)行任何涉及表結(jié)構(gòu)的 DDL 之前都會(huì)強(qiáng)制跑一遍三項(xiàng)檢查-- 1. 查當(dāng)前所有連接狀態(tài) SELECT id, user, host, db, command, time, state, info FROM information_schema.processlist WHERE time 30; -- 2. 查超過(guò) 60 秒的未提交事務(wù) SELECT trx_mysql_thread_id, trx_started, TIMESTAMPDIFF(SECOND, trx_started, NOW()) AS trx_duration, trx_query FROM information_schema.innodb_trx WHERE TIMESTAMPDIFF(SECOND, trx_started, NOW()) 60; -- 3. 查目標(biāo)表上的 MDL 鎖情況 SELECT mls.OBJECT_NAME, mls.LOCK_TYPE, mls.LOCK_STATUS, th.ID AS PROCESSLIST_ID, th.PROCESSLIST_COMMAND FROM performance_schema.metadata_locks mls LEFT JOIN performance_schema.threads th ON mls.OWNER_THREAD_ID th.THREAD_ID WHERE mls.OBJECT_SCHEMA your_db AND mls.OBJECT_NAME orders;如果有任何一條返回結(jié)果先處理干凈再動(dòng)手改表。這套檢查已經(jīng)幫我避免了好幾次線(xiàn)上變更事故比事后補(bǔ)救省心得多。5.3 變更工具的選擇和我后續(xù)的運(yùn)維策略大表 DDL 在低峰期執(zhí)行是底線(xiàn)除此之外我開(kāi)始考慮引入pt-online-schema-change這類(lèi)工具。它的思路是創(chuàng)建一個(gè)影子表在影子表上完成耗時(shí)的結(jié)構(gòu)變更再通過(guò)觸發(fā)器把增量數(shù)據(jù)同步過(guò)去最后用一次短時(shí)間鎖表完成切換。很多人以為用了它可以徹底免掉 MDL 問(wèn)題其實(shí)不是。它在最后切換表名的RENAME TABLE階段還是要獲取 MDL 排他鎖。如果這時(shí)候正好有一個(gè)長(zhǎng)事務(wù)還握著舊表的共享鎖這個(gè)切換同樣會(huì)卡住。只是它把最耗時(shí)的 ALTER 階段從原表剝離了最終持鎖的窗口短到秒級(jí)沖突概率大幅降低。所以就算用 pt-osc我仍然會(huì)先檢查長(zhǎng)事務(wù)。可以這樣理解任何 DDL 最終都要過(guò)“讀鎖釋放”這一關(guān)長(zhǎng)事務(wù)不結(jié)束神仙工具也得排隊(duì)。除了按需引入工具我還把長(zhǎng)事務(wù)監(jiān)控加到了數(shù)據(jù)庫(kù)告警里對(duì)運(yùn)行時(shí)間超過(guò) 5 分鐘的事務(wù)實(shí)時(shí)告警對(duì)超過(guò) 30 分鐘的事務(wù)直接通知到 DBA 群。線(xiàn)上運(yùn)行的連接池也會(huì)配合設(shè)置合理的事務(wù)超時(shí)降低單會(huì)話(huà)無(wú)限掛住的概率。最后再分享一個(gè)小習(xí)慣我現(xiàn)在查看類(lèi)似 MySQL 鎖問(wèn)題不會(huì)只看一條命令就下結(jié)論而是把processlist、innodb_trx、metadata_locks三個(gè)信息一起看。少了任何一個(gè)都可能被假象帶偏。這次親測(cè)的教訓(xùn)說(shuō)到底就是一句話(huà)等鎖的人往往只是表象持鎖的人才是一切的根源。先把源頭找出來(lái)再動(dòng)手就不會(huì)白忙。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产 日韩 欧美 人妻 熟女 中文 69人妻精品一区二区绯色 | 在线性黄高清免费视频| 偷窥自拍亚洲色图| 久久少妇| 97干日韩| 国产在线观看一区二区三区| www鬼畜国产男人的天堂| 五月天激情综合网| 蜜臀久久久99久久久久| 亚洲91极品| 亚洲人久久久久日| 天天爽爽爽爽| 国产在线综合网| 国产久久视频| 欧美性生活男人的天堂| 亚洲日韩熟女人妻高清在线| 伦伦成年午夜免费视频| 97国产精品在线观看| 黄页视频网站野外| 久操视频在线| 97人人操人人干| 久久老熟女| 久热伊人| 丰满熟女一区二区三区在线播放| 日韩在线视频1234| 岛国免费黄色网址| 黄色十八禁| 无码WWW免费视频网站| 亚洲精品 欧美精品| 亚一综合久久久久久久久久| 天躁夜夜躁2021| 婷婷爱五月| 青春草莓视频在线观看网址| 狠狠热这里都是精品| 一个国产在线综合网站| 加勒比AV天堂| 五月婷婷性爱| 看日韩操逼| 九九九国产精品| 五月婷在线| 69精品| 久草精品热视| 亚洲1区2区三区高清中文字幕| 色眯眯av| 色性欧美| 国产熟女完整版中字| 女上位精品在线| 夜夜草网站| 97亚洲欧美| 国产精品视频电影| 国产强奸超碰AV| 久久久久久久| 久草精品国产蜜臀| 伊人久久大香大香线蕉中文| 屁股久久久久久| 久久久久久久久久久久久久久乱码| 日韩中文字幕国产| 91插B网站| 东京日日夜夜| 不卡一区二区日本视频| 亚洲图片另类| 曰韩香蕉97| 夜夜高潮夜夜爽高清视频一 | 自拍欧美| 婷婷五月天成人| 少妇3P性爱自拍| 老司机香蕉久久久久| 日本伦理一区二区| 欧美v亚洲v日韩v最新在线二区| 91综合色| 欧美日韩1234| 精品无码少妇| 偷拍综合亚洲| 求求你操操我| 色嘟嘟人妻天堂网| 伊欧美综合视频| 3PAV乱伦视频| 91美女视频。| 日韩视频小说在线观看| 极品五月天噜噜| AV网站高清无码在线观看| 欧美第一页| www久久精品| 天天综合欧美综合| 夜夜爽77777| 美女操逼福利视频| 亚洲 自拍偷拍 欧美| 96久久久| 亚洲不雅视频1区二区| 日本高清加勒比| 亚洲天堂性爱| 女优免费一区二区永久| 婷婷AV一区二区三区| 操婢日韩| 久久国产在线一区二区| 亚洲欲色| 91性感在线| 蜜臀网址在线| 亚洲欧美综合网站| 夜夜爽爽夜夜精品视频| 自拍丝袜美腿人妻| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 国产福利夜| 久久久久人妻| 久久国产99精品72福利| 色性综合| 国产久久视频| 激情亚洲天堂| 亚洲 se图 欧美电影| 激情一区二区三区在线观看| 天天色综合天天操| 欧美视频一区二区在线| 在线国产探花| 国产人妻精品久久久一区二区三区| 成人午夜无码视频| 欧美日韩99精品麻豆传媒| 日本超碰在线国产一区| 国产四虎在线| 亚州色图片在线色| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 97天堂| 日韩卡一卡二卡三在线| 91精品久久久| 曰韩操B| 色色色欧美| 午夜一级免费毛片| 无码最新| 久久高清欧美国产| 亚欧高清v| 18禁超污无遮挡无码免费网| 性爱乱伦网址| 亚洲第一在线视频| 久久久久久欧美精品se一二三四| 色优久久| 丝袜熟女2P| 九久9热| 精品国产一区二区三区久久久蜜臀| 尤物av网站| 日日骚 av| 亚洲天堂电影网| 精品女同一区| 亚洲精品99999| 超碰在线人人射| 综合伊人激情| 青娱乐久久艹| 激情丁香五月婷婷| 97内射偷拍| 久久色一区二区| 日本天天干天天日一区| 久久精品国产亚洲AV先锋| 欧美日韩性爱电影在线| 国产真实野战在线视频| 久久久999日本大片| 欧美婷婷久久| 久久系列| 精品人妻av在线播放| 日本在线视频导航| 97视频在线观看播放与子乱对白在线……| 超碰97精品在线| 欧美性爱一内片一区二区三区| 中文字幕97色| 成人精品久久| 尤物黄色在线观看网站| 日韩操人| 大香蕉综合久久| 999熟女精品| 亚洲男人电影天堂| 亚洲1区2区三区高清中文字幕| 午夜免费福利视频一区| 色一射色一射| 中文字幕第二页| 国产精品点击进入在线影院高清| 操逼视频免费日韩无码| 97se综合网| 亚洲综合色在线| 日韩欧美日韩| 操屄不卡视频| 伊人丝袜美腿高跟在线观看高清| 9Ⅰ超碰| 欧美日日操| 国产 日韩 欧美 人妻 熟女 中文| 欧美亚综合色图| 高清不卡 中文 人妻| 91强在线播放| 9 1果冻精品视频| 蜜臀AV成人精品蜜臀| 97综合国产精品高潮久久| AVE乱伦| 亚洲欧美激情在线视频| 国产色精品午夜大片| WWW.操逼.COM| 先锋影音av先锋一区| 久久丝袜| 欧美色97| 夜夜夜爽www精品视频| 国产乱码精品久久久久久| 91中文字幕制服丝袜免费视频| 另类av天堂| 精精夜夜| 天美国产精品| 欧美精品成人亚洲| 午夜呻吟欧美| 97国产天堂岛| 绑缚麻绳人妻寝取完整版| 亚洲欧美一区二区三区在钱蜜桃| 亚洲另类在线观看| 毛片视频白嫩| 久久久久久久 九九九九九九九| 久热9| 中国国国产一级特黄毛片| 飘花国产午夜精品不卡| 亚洲激情综合另类男同| 亚洲精品成人激情在线| 亚洲国产欧美中文永久| 日本午夜久久电影| 欧美在线视频99| 国产激情久久| 久久久久久中文字幕中文字幕最新| 色五月丁香五月| AV九九| AV九九| 亚洲欧美色图片| 91天天综合日韩欧美| 九九九九九精品视频| 91亚洲综合在线| 热热色中文无码| 少妇高潮九九九九| 黄人人操人人操| 精品人体无圣光凹凸| 99这里只有精品国产| 91在线超高颜值国产| 中文字幕精品一区二区精| 综合影视国产无码| 蜜臀国产AV中文字幕| 一区二区三区 丝袜 高跟 美腿| 91丝袜美腿网站| 97色涩| 乱码人妻一区二区三区| 国产精品一区二区三区在线| 久久亚洲AV无码白度| 日韩欧美成人午夜福利| 无码免费在线观看黄色片| 亚洲最大的综合性av| 婷婷五月色| 欧美色图亚洲特色| 久草色在线观看| 97超碰超碰| 日本不卡高清视频| 亚洲人成网www| 69久久久久久久久久久久久| 人妻丝袜一区二区三区在线| 亚洲欧美日韩免费电影| 大奶啊啊好爽 | 夜夜嗨AV蜜臀av| 精品性爱久久视频| 搡老女人老91妇女老熟女| 国产精品欧美日韩久久| 乱人伦 国语对白:视频直接看| 夜夜操中文字幕| 午夜性刺激视频免费观看| 日本高清视频xxxx| 神马久久中文字幕| 欧美天天性| 国产懂色精品国产av| 久久精精区一区二区一蜜桃一区二区| 999九九九九国产动| 极品综合| 中文一区二区婷婷视频| 亚洲欧美综合| 欧美激情综合| 果冻传媒A片一二三区 | 成人久久精品| 视频国产欧美在线播放| 亚洲成?V人片在线观看福利| 一区二区三区色综合| 九九久久玖玖| 1024人妻| 大香蕉狠狠爱| 99视频只有精品| 老色鬼成人精品视频下载大在线观看| 国产黄色在线播放观看| 久久超碰亚洲人| 欧美姓爱综合网| 中文字幕 国产区| 亚洲日韩黑丝| 欧美疯狂做爰xxxx| 一本大道青青| 99日精品欧美国产| 日日嗷| 久久亚洲AV无码专区首页| 人妻 制服 日韩 中文 在线| A级国产欧美激情在线| 久久麻豆一区二区| 亚洲色图一区二区三区| 天堂蜜桃无码视频一区二区| 呦呦一区| 熟女欧美日韩综合婷婷| 草草影院日本第一页| 91视频精品| 东京热一区二区三区四区五区六区| 欧州一区二区三区四区| 青青草视频导航官网| 亚洲无线码欧洲精品区别| 久久欧洲| 久精品无码av一区二免费国产在线观看| 色一情一乱一乱一区91Av| 国产嫩草精品A88AV| 桃花色涩综合影院| 中文字幕精品探花视频| 欧美大香蕉97| 精品亚洲国产成人AV制服丝袜 | 五月天玖玖资源站| 另类欧美色| 美女露胸露屁股| 五月婷婷丁香六月丁香| 久久激情视频| 日本人妻一区二区| 成人乱码一区二区三少妇| 人人妻天天做天天爽| 日韩不卡av一二三| 九九九九国产| 精品9区| 亚洲黄网在哪免费看| 亚洲欧美骚| 操人妻丝袜高跟| 操逼视频色| 久久久久久久综合,国产| 欧美视频中文字幕区| 中文字幕乱亚洲美女精品一区| 亚洲网自拍| 特级丰满少妇一级AAAA爱毛片| 国产91 丝袜在线播放 | 国产亚洲性生活视频播放| 久久人妻少妇| 自拍视频大全亚洲专媒视频/一区二区三区 | 爽 好舒服 无码刺激久久| 青青草这里只有精品| 日本一二区免费| 日本成人A片免费看| 精品97久久| 亚洲人在线成线成人| 日韩AV无码中文一区二区| 九九九精品美女| www.高清无码诱惑一区.com | 久久久久久久久9| 国产精品久久久久久夜夜夜| 大香蕉综合网| 艹比视频国产精品| 免费久久一级毛片大黄| 91性感在线| 加勒比色综合| 欧美日韩婷婷中文| 日本啊啊啊啊啊视频| 欧美一级色| 亚洲欧美日韩免费电影| 久久久久久久免费A片国产成a人亚洲精∨品无码 | 偷拍综合亚洲| 熟女中出视频| 久久精精区一区二区一蜜桃一区二区| 免费看A片毛毛片在线播| 一级片视频啪啪| 亚州欧美在线| 97操b| 亚洲精品黑丝| 97精品在线| 在线视频一区二区传媒| 偷拍伦理视频| 日本在线一二| 欧美亚洲综合色| 熟女六十路| 一区操逼日比视频| 可以在线观看AV的网站| 一类无码操逼视频| 天天天天天天天天天天干美女| 亚洲av综合伊人久久| 国产老太乱伦一区| 91福利网在线观看| 高清国产无码av| 97免费视频在线观看| 99热一区二区三区四区| 国产精品一区二区密臀| 加勒比综合88| 精品日韩人妻精品一二三区| 久久久久亚洲熟妇熟女| 日韩AV无码网站| 亚洲高清视频在线免费观看| 日韩三级伦理中文字幕| 欧美精品日韩久久久九| 草草网站影院白丝内射| 一区二区三区精品视频| 再深点灬舒服灬太大了好硬好爽| 又黄又硬又粗又长国产视频| 日韩无码服务区| 久久九九精品一区二区| 97se亚洲综合自| 欧美天天综合网版| 国产偷拍网站| 国产精品无码AV网站| A片 AV一级在线播放观看免费| 日逼国产| 97超级久久强资源| 久久偷拍人| 亚洲欲| 一区超碰一区| 综合欧美亚洲| 丰满人妻一区二区三区性色| 日韩性爱免费视频在线网站| 丁香五月天激情| 天天淫人人妻日日色| 亚洲日韩青青草色月| 99蜜桃臀久久久欧美精品网站| 青草园大香蕉| 天天日天天操天天射河南省| 日韩无码黄色片| 色五月av| 日韩精品人妻中文字幕久久久| 日日嗨AV一区二区夜夜| 天天射夜夜骑| av无码av无码专区| 国内精品999| 日本中文字幕一区| 91老司机在线| 无码操逼网| 久久,精品一二三| 久久伦理视频久久大香蕉视频| 亚洲精品97p| 操逼www.| 精品久久久久瑟瑟| 噜噜噜亚洲精| 欧美另类综合久久| 色女99一级片在线观看| 色淫网站优优视频| 性色av蜜臀av色欲aV| 精品区9| 日本中文字幕熟妇| 精品无码欧美三级| 欧洲天天在线| 精品久久97| 好看的91视频| 啊啊啊啊好疼| 亚洲av淫乱| 熟妇艹鸡八| 国产精品网址| 午夜精品一区二区三区三上悠亚| 97超级色碰碰| 国产一区在线观看无码AV| 六九九九| 91熟女视频| 美女被艹尤物视频| 亚洲人久久久网| 中国AAAAAA黄色片| 先锋精品av色鲁| 999久久芭蕾| 91九色蝌蚪在线观看| 美腿色图| 免费岛国一级片| 中亚av| 久久人妻熟女一区二区 | 麻豆色99999| 一本一道vs波多野结衣| 亚洲人码13| 精品无码不卡视频| 是还免费视频1727我| 少妇一区二区三区高速| 精品一久久久| 国产亚洲中文不卡二区| 嗯嗯嗯啊啊啊干死我吧| 国产成人亚洲精品无码古代早漏男| 日韩超碰精品综合| 国产性爱在线视频一区二区| 91欧美性| 九九伊人网| 五月天婷婷社区| 丁香激情网| 欧美劲爆第一页| 亚洲欧美一区二区三区在钱蜜桃 | 91色五月俺来也| 色综合av综合久久| 久草资源在线视频官方总站日韩丝袜美腿 | 丁香色狠狠色综合久久小说| 一区中文字幕二区日韩| 天天谢天天干| 亚洲影视第一页| 国产超碰人人操| 久久精品久| 欧美熟妇乱码在线一区| 九色精品视频导航1| 亚洲在钱| 黄污污污污| 欧美片第一页| 亚洲91大片| 色婷婷久久| 久久久96| 不卡六六在线91| 日韩三级一区| 国产综合网站在线播放 | 一区二区三区精品视频| 啪啪自拍九九综合| 中文字幕日韩精品一区二区三区| 免费作爱一级视频| 欧美性暴力猛交| 夫妻四区五区六区| 黑人精品成人一区二区三区| 91搡老女人老妇女老熟女歌词翻译| 德国一二三不卡| 亚洲高清无码在线桃色| 久久男人天堂| 91精品人妻啪啪间| 日韩女优在线| 操逼网免费无码视频| 2019天天干| 91精产一区二区三区| 色综合色| 日韩乱伦影音先锋| 亚洲国产成人精品999| 很狠操| 禁止观看美女黄| 亚洲国产成人高清在线| 国产无码精品成人| 9久久久久久| 人妻丝袜肏逼| 99re8超碰| 丁香婷婷久久 | 嗯嗯嗯嗯啊啊啊好紧好大| 国产精品色片一区二区| 欧美极品美女aaaaaa级黄片| 超碰超碰超碰超碰的大鸡吧操黑丝袜 | 91撸色网 玖玖网 欧美| 五月丁香综合激情| 人人插人人摸人人| 日韩极品无码B| 男人天堂网站| 久午视频| 亚洲 欧美 日韩另类 麻豆| 久久做97| 91丝袜美女| 四虎AV在线观看| 91精品国产高清久久久久久,亚洲成人| 超碰97综合在线| 综合色久欲| 99re在线视频| 后入福利视频| 夜夜免费视频| 97在线观视频免费观看| 99热在线不卡| 一区二区 电影 亚洲| 国产精品对白内射| 久久久啊啊| 日夜啪电影| 亚洲色图超碰在线| 久久精品人体| 爽爽歪在线视频| 99re视频在线观看这里只有精品| 丁香九月激情| 99这里有精品视频| 99在线免费观看| 骚逼高潮久久精品| 97亚洲综合电影| 啊啊啊com| 97亚洲国产影视| 人妻夜夜爽天天爽麻豆三区网站| 色一射色一射| 黄总AV色图| 丝袜视频一区二区在线播放国产中文| 超碰97最新人妻| 91五月天| 久久中久文96| 久久免费9| 超碰78| 中文字幕精品免费一区二区| 变态乱伦伪娘灌肠一区二区| 日本操逼二区| 五月天色图| 91在线美女| 超碰97玖玖爱| 茄子社区国产精品| 懂色Av一区二区三区| 少妇久久久| 欧美日韩黄片精品在线| 日本护士高潮| 亚洲天堂性爱| 蜜屁Av| 男人的天堂久久| yiqicaoav| 欧美亚洲尤物久久| 天天综合精品| 欧美少妇色综合| 国产尤物在线三区| 999久久久免费精品国产牛牛| 欧 美 自 拍 偷 拍| 黄aaaaaaaaaaaaaaaaaa色网站| 五月天激情小说| 曰本精品久久久| 日本国产二线女色| 久久大黄片| 日韩视频啪啪| 人妻夜夜爽天天爽麻豆三区网站| 999九九精品| 欧美综合第一页| 日韩色欲久久一二三四区| 五月丁香啪| 国产十八禁视频| 青草成人免费视频一COm| 秋霞一级A片黄色视频| 免费视频a级毛片免费视频| 欧美亚综合色图| 亚洲久久天堂| 在线A日本| 色97| 久久大香蕉97| 黄色一区二区秘书性感| 狠狠躁AV| 变态综合色| 欧美性爱视频免费一区一A | 亚洲第一免费视频| 精品久久久久,69国产成人精| 免费超碰97久久| 亚欧无码线免费观看视频| www.色操逼| 精品国产乱码久久久兰草影视| 啊啊啊免费| 一区在线观看中文字幕| 亚州男人的天堂| 岛国999| 高凊专区人人操| 久久久久96| 91夜色| 97久久视频| 久久偷偷色综合蜜桃| 青青青国产手线观看视频2| 丁香婷婷色五月| 久久精品日韩专区免费观看| 人人看人人爰人人操| 夜夜高潮夜夜爽高清视频一 | 日本成人电影资源网| 99热精品国产| 日韩熟女操逼| 亚洲A色| 污色区网站| 91亚洲青青草原精品1区| 另类欧美色| 欧美色五月| 国产午夜精品一区二区三区牛牛| 激情啪啪拍91| 另类老少妇| 精品区国产区一区二区三区| 97欧美色| 久久激情综合| 97国产精品一区二区传媒公司| 色婷五月| 久久啊啊| 欧美最婬乱婬爆婬性视频 | 熟女五十路一区二区三| 亚洲999综合| 久久久精品无码亚免费| 曰本特级特黄特色黄色A级网站高清在线免费看 | 99色热国产视频精品| 天天天天天天天天综合| 免费伦费视频在线观看| 国产AV线| 日韩一区二区精品视频| 女生91网站| 色鬼在线综合| 操逼啊啊啊91| 欧日韩一二三f区| 另类小说五月天| 视频国产欧美在线播放| 日本不卡二三区| 亚洲天堂7777| 日韩人妻无码不卡网站| 一区二区三区网站日日骚| 久久精品国内Av熟女高清| 免费成人在线熟妇网| 婷婷AV一区二区三区| 男同专区一区二区三区在线| 欧美日韩国第一区| 在线观看AV片| 亚洲久久久| 男人天堂久久日韩| 婷婷AV一区二区三区| 人人操人人肉久久精品| 日本精品性生活久久久| 久热大香蕉| 成年人黄色视频免费| 加勒比少妇AV婷婷六月天超碰超碰| 狠狠干狠狠色| 曰韩精品视频一区二区| 亚欧美综合网| 色色色色色色色色综合| 中文字幕精品一区二区精品| 丰满岳乱妇一区二区三区| 风间由美日韩欧美久久| 屌妞视频久久久久久久久久久久| 美女被艹尤物视频| 秋霞一集毛片观看| 夜夜黄| 综合网亚| 色欧美天天| 久久亚洲AV成人精品无码| 天天综合网网欲色| 欧美96交| 亚热日本熟女| 草b在线| 大香蕉五月天婷婷| 欧美αv.com| 国内外内射高清视频| 精品人妻视频一区二区在线播放 | 精品午夜福利| 999久久久久久久久| 欧美在线55555| 97视频网站在线观看| 99人人干| 亚洲日韩成人性爱视频| 在线欧美69V免费观看视频| 97爱爱爱| 久久久久久九| 国产免费小视频| 超碰是碰在线观看| 日日摸日日碰| 国产地址二三| 欧亚日韩三区| 伊人一区二区三区| 亚州精品丝袜-不卡成人免费| 一区二区激情国产熟女| 亚洲天堂热| 国产一区二区视频在线播放| 国产操操日韩三级黄| 天天射天天| 日韩熟女无码| 日韩免费簧片| 日韩激情电影中文字幕| 免费AV中文网在线观看| 久久69| 97欧美日韩| 国产精品96久久久久久| 欧美激情精品| 亚洲欧美不卡线| 2017大香蕉| 91久久久亚洲| 极品欧美一区二区三区| 亚欧毛片基地国产毛片基地| a男人的天堂久久一级A毛片| 久久草草亚洲蜜桃臀| 久久在线观看免费视频| 伊人操你| 国产Aα| 久久亚洲AV成人精品无码| 国产一级作爱毛片| 精品一区二区成人动漫| 乱色视频中文字幕| 亚洲国产精品久久久久久久久久| 一区二区偷拍拍视频| 欧美色三级片91| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 免费视频在线一区二区不卡| 97久久超碰| 思思热在线视频在线| 精品人妻1区| 乱伦AVxx| 人妻嗯啊啊在线播放| 超碰久久中文| 超碰97久久观看| 1204人成网站色www| 国产精品一区二区密臀| 黄片www视频免费| 国产日韩欧美中文在线播放| 日韩性爱免费视频在线网站| 久色网| 亚洲中文字幕有码视频一区二区三区| 白 大 人妻 区 在线| 后入式999| 婷婷丁香激情| 亚洲国产麻豆一区二区三区 | 啪啪啪综合| 天天做天天爱夜夜爽毛片试看| 欧美一级久久久久久久大片动画| 日本片日本片祼观看网站在线看中文版网页在线看 | 日本人妻丰满熟妇久久久久久| 2017人人操,人人摸| 亚洲天堂99| 久久曰曰| 巨乳特殊服务按摩| 高潮的A片激情扒开一区| 操屄不卡视频| 中文字幕55555| 丝袜美腿丝袜| 18啪啪手机免费性爱| 日本午夜久久电影| 一区二区三区蜜桃成人撸久久东京热| 少妇人妻在线| 亚洲精品白浆高清久久久久久| 亚洲国产成人高清在线| 欧美曰韩国产精品| 日本不卡一二区| 插穴性爱视频在线观看| 亚洲日韩肥臀视频在线观看| 超碰97在线色男人??| 精品91日日夜夜超清资源| AV污污污污| 干b在线性社区| 人爽不卡视频| 免費黃色視頻觀看一| 色五月第四色| 97视频网站| 久久久中文| 97亚洲国产| 天天操天天射天天日| 黄色大片一区二区密桃丝袜| 床戏久久久av一区二区麻豆| 搡老女人老妇女AAA一VU麻豆| 青青青国产| 九九九精品美女| 国产又色又爽又舒服的三级视频| 裸体1区| 老外又粗又长一晚做五次| 6080yy午夜理论三级一区二区三区无码| 动漫av中文| 亚洲图片激情综合另类| 香一区二区三区| 欧美97在线欧| 欧美亚洲综合色| 熟妇人妻精品一区二区| 国产亚洲精品自在线亚洲情侣| 久久九精品| 国产女人和拘做爰视频| 97超久碰| 小视频国产| 蜜臀99999| 婷婷在线视频在线观看| 欧美高潮在线| 人妻一区二区三区视频| 麻豆AV96熟妇人妻| 日韩熟女操逼| AV在线资源| 亚洲最大成人a毛毛片| 超碰天天操| 日韩欧美tv一区二区在线观看| 嗯嗯,好大,好爽,好骚| 999精品国产高清一区二区| 97天天综合网| 国产黄色影片在线观看| 和协影院中文字幕三区| AV不卡在线| 美女上床网站| 久久久网站| 久久久久久久9| 色一射色一射| 国产无码精品高清| 国产精彩女在线观看视频| 欧美性爱伊人| 91美女在线| 色 婷97| 亚洲精品无码成人久久久99| 国产亚热在线久久| 丁香五月激情综合| 精品三级在线专区| 亚洲性少妇| 亚洲中文字幕网| 翔田千里AV无码秘 三区| 日本 免费 一区二区三区 久久香蕉| 国产日韩精品无码去免费专区国产| 超碰这里只有精品| 天天插天天操| 肉动漫无遮挡h在线观看| 9久久美女首页| 手机看av网站在线看| 午夜爽爽爽| 91性高| 色色婷婷丁香| 成人精品久久久午夜福利| 国产精品3| 色97| 18禁网站在线播放| 综合色好色| av麻豆啪啪| 国产超碰人人操| 综合伊人网12色| julia ann久久| 精品国产网站| 国产麻豆一级精品视频| 午夜小电影在线插入淫高潮| 97超碰这里只有精品| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 97人人草| 热久久国产| 欧美97在线欧| 色777999综合| 嫩草伊人久久精品| 大香蕉AV在线| 久久毛卡| 很很操在线| 91情色在线| 国桃视频产巨乳精品一区二区在线| 69人妻精品一区二区绯色| 欧美日韩免费性爱| 69一区二区三区| 久久久久久免费电影| 青青草十区九区爱夜| www五月| 国产白嫩漂亮KTV在线| 97啪啪| 国产精品日日摸天天碰| 黑人精品久久97| 人妻精品4K4K4K4K4| 激情五月天网| 9999免费精彩视频| 免费看A片毛毛片在线播| 欧美Ⅴ性爱| 91少妇人妻| 超碰导航97| 在线五区| 成人精品欧洲亚洲| 极品内射| 吉田爱美AV在线| 天天看天天综合成人网| 色播五月丁香| 柠檬AV导航| JULIA一区二区三区在线播放| www.久久最新地址| 中文日本免费高清| 91精品亚洲内射孕妇| 日韩三级伦理中文字幕| 淫荡网址| 欧美色999| 国产深喉视频一区二区| 青草一区二区| 日韩小电影| 资源新线在线天堂| 91精品人妻一区二区三区蜜桃| 极品少妇久久久久| 午夜福利合集| 嗯嗯啊啊啊好爽| 亚洲熟女人妻中文字幕一区二区| 欧美亚州综合网图片| 男人的天堂久久| 国产免费内射视频| 国产精品国产精品国产| 97爱爱| 韩国三级一线观看久| 日本性感人妻91| 91久久免费视频互動交流 | 农村妇女精品一区二区| 区二区亚洲婷| 国产精品国产| 青草伊人网| 91 丝袜在线播放| 人妻色偷色噜| 日韩av不卡在线看| 亚洲成熟国产精品美女| 婷婷色影院| 色妹子A V| 99www.bibizy香蕉资源国产一区二区三区高清 | 又大又白奶子| 欧美中文字幕男人天堂久久精品| 色老汉色| 色踪合AV| 久久久性爱| 天天看精品动漫视频一区| 国产中文大片资源中文字幕| 18禁网站在线播放| 伊人五月天| 97视频网站在线观看| 绑缚麻绳人妻寝取完整版| 亚洲 欧美 综合 91| 亚洲美女高潮喷水视频| 青青在线视频日韩欧美| 97在线精品观看视频| JULIA一区二区三区在线播放| 色哟哟的毛片| 久久久111| 成人区人妻精品一| 亚洲欧美国产中文视频| 久久肏大逼| 青青草在线视频人人想人人上 | 日本精品第一视频在'| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 中文?日韩?免费?精品| 91精品微拍福利| 日韩啪啪网| 欧美 日韩 另类 亚洲| 久久久精品,3| 国产在线视频二区| 91chinese在线| 91亚州欧美| 欧美大的香蕉有线电视视频| 久久欲| 色五月亚洲| 一区二区三区无卡视频在线观看| 婷婷激情丁香| 亚洲国产成人福利在线观看| 精品久久視頻在线| 亚洲文学偷乱拍啪啪啪啪 | 91在线视频免费中出| 日本天堂在线播放| A一区片| 亚洲 日韩 欧美 国产综合体| 亚洲熟久久| 色吧5亚洲| 天天干,天天日| 91欧美性| 综合国产影视三级| 日韩欧美女优电影| 91成人亚洲色图| 95自拍视频在线观看| 偷窥自拍亚洲色图| 国产精品另类一区大香蕉| 国产av强奸美女| 暖暖精品二区三区观看| 亚洲一区二区中文字幕| 操逼逼中文字幕| 97这里都是精品| 国产精品人妻无码久久久互動交流 | 去干网最新版| 色偷偷男人的天堂麻豆| WWW操逼| 一区=区三区视频| 97天堂| 色婷婷在线视频| 亚洲成人AB| 日本在线视频导航| 国产精品3| 一本一道波多野毛片中文在线| 九九九久千久久激情蜜桃在线看 | 欧美日韩在线视频网站| 天美传媒一二三区永久网站| 亚洲黄色电影| 国产激情综合五月久久| 国产精品一区在线播放| 自慰白浆在线观看| 密臀国产在线| 柠檬AV导航| 国产97色在线 | 亚洲| 人妻-91porn| 色与欲影视天天看综合网| 不卡啪啪视频| 99精品九九九九九九| 超碰99在线观看| 成人国产二区三区在线,男女精品。| 成人AV在线电影| 天天综合网在线91| 欧美天天插| 国产午夜精品在线观看| 啊啊啊啊啊啊啊国| 亚欧高清| 福利一级版子| 人妻aa| 97超级久久| 9/A片| 欧美激情视频在线一区| 久久超碰98| 人妻精品一区二区在线| 欧美在线大香999| 中文字幕精品一区二区精品| 偷拍精品一区二区三区| 黑人中出21连凳花野真衣| 久久久久免费看少妇A片特黄| 97视频900| 久操不卡视频| 9丨久久九九九| 内射中出日韩在线观看视频| 一区操逼| 天天性射网| 亚洲精品 大香蕉| 黄色免费网| 久久亚洲天堂| 亚洲天堂,男人| 少妇厨房愉情理伦片bd在线观看| 免费啊啊啊| 超碰久热| 无码不卡八戒| 97久久久久久久久久| 你操综合| 鸡巴插逼视频| 91亚洲人| 欧美日韩天堂| 免费观看欧美日韩操逼视频| 奇米四色网| 久久精品操| 啊啊啊啊啊啊啊好爽不要| 黄片不用下载在线观看| 欧美牲| 免费看国产大AB| 91美女视屏| 國產尤物AV尤物在線觀看| 欧美人妻少妇| 综合久久99亚洲人妻中文在线| 色婷婷小说| 九色精品视频导航1| 这里只有精品97| 秋霞一区二区三区四区五区六区七区| 99视频自拍| 一区不卡在线观看av| 一二三区精品视频| 老熟妇一区二区三区啪啪| 久久黄黄| 欧美特大黄一级片片免费| 日韩熟女操逼| 九月伊人中文字幕| 天天拍天| 91新在线欧美| 丁香五月av| 国产第25页在线观看| 亚洲精品国产精品成人| 亚洲九九视频| jiujiujiujingpin| 99热精品青草在线| 长长久久88视频| 日本一级二级三级网站| 思思视频免费看网站| 亚洲图片91| 2019男人的天堂| 免费成人在线熟妇网| 毛片视频白嫩| 开心五月激情网| WWW黄片COM| 在线观看色视频| 操逼视频色| 国产高清视频无码在线| 久久男人的天堂| 天天日天天看| 欧美日韩亚洲少妇寂寞影院正在播放 | 欧美日韩m| 色色热| 成人AV在线电影| 人妻精品一区二区在线| 国产精品爽爽v| 亚洲 日本 国产 综合| 被窝影院午夜看片无码| 久久久久九九九| 国产男人又猛又粗又爽| 欧美另类自拍 | 国外91| 啊啊啊不要啊啊受不了了视频在线 | 操死我干死我| 偷拍网站久久男女男| 天天干少妇| 蜜臀av一区二区三区免费观看| 97人妻碰碰中文无码久热丝袜| 91人妻Pr| 97干在线视频| 久操操| 一区二区偷拍拍视频| 五月天色综合| 992这里有精品| 青草青青久久久久久国产| 国产少妇与亚洲av| 91蜜臀在线久久久久| 天天操女人| 欧美色图片91| 日本99一区二区| 狠狠躁日日躁夜夜躁A| 91精品免费| 国产三级中文字幕粉嫩| 五月天精品| 亚洲欧美清纯| 91少妇| 久久精品国产亚洲妲己影视| 秋霞网—男女啪啪亚洲免费体验区| 中文日本免费高清| 无码免费精品高清|