久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Seata TCC分布式事務(wù)實戰(zhàn):從原理到生產(chǎn)環(huán)境避坑指南

Seata TCC分布式事務(wù)實戰(zhàn):從原理到生產(chǎn)環(huán)境避坑指南 1. 從“分布式事務(wù)”這個老難題說起如果你做過幾年后端開發(fā)尤其是在微服務(wù)架構(gòu)下折騰過數(shù)據(jù)一致性那“分布式事務(wù)”這個詞對你來說大概率不是什么美好的回憶。訂單創(chuàng)建了庫存沒扣積分增加了優(yōu)惠券沒核銷這種“一半成功一半失敗”的爛攤子處理起來比寫業(yè)務(wù)代碼本身還頭疼。我最早接觸分布式事務(wù)解決方案時試過基于消息隊列的最終一致性也折騰過兩階段提交2PC各有各的麻煩。消息隊列方案對業(yè)務(wù)侵入大補償邏輯復(fù)雜而傳統(tǒng)的2PC對數(shù)據(jù)庫和中間件要求高性能瓶頸明顯在云原生和微服務(wù)拆得越來越細的今天顯得有點力不從心。正是在這種背景下像Seata這樣的分布式事務(wù)框架開始流行起來。它把那些復(fù)雜的協(xié)調(diào)、回滾邏輯封裝起來給我們提供了一套相對統(tǒng)一的編程模型。Seata支持好幾種模式比如AT自動補償、TCCTry-Confirm-Cancel、Saga長事務(wù)等。今天我們不聊別的就聚焦在TCC模式上。為什么是TCC因為在我看來它是業(yè)務(wù)侵入性、性能和數(shù)據(jù)強一致性之間一個非常不錯的平衡點。它不像AT模式那樣嚴(yán)重依賴數(shù)據(jù)庫的undo log對某些不支持undo log的數(shù)據(jù)庫或中間件不友好也不像Saga模式那樣一階段就提交可能產(chǎn)生臟讀。TCC要求我們開發(fā)者自己定義三個明確的階段Try、Confirm、Cancel雖然多寫了一些代碼但換來了對事務(wù)邊界的絕對掌控和對各種異構(gòu)數(shù)據(jù)源比如Redis、ES、MQ的支持能力。網(wǎng)上關(guān)于Seata TCC的教程不少但很多要么是官網(wǎng)示例的簡單復(fù)刻要么只講通了Demo一遇到生產(chǎn)環(huán)境的復(fù)雜場景——比如嵌套調(diào)用、并發(fā)沖突、空回滾、冪等控制——就語焉不詳。這篇文章我就結(jié)合自己最近在一個電商履約系統(tǒng)中落地Seata TCC 1.4.2的真實經(jīng)歷把從環(huán)境搭建、代碼編寫、到各種坑的排查和填平過程給你完整地捋一遍。我們的目標(biāo)是讓你看完之后不僅能跑通一個TCC示例更能理解其內(nèi)在機制具備在實際項目中設(shè)計和駕馭TCC事務(wù)的能力。2. 環(huán)境與項目骨架避開第一個坑在開始寫一行業(yè)務(wù)代碼之前先把環(huán)境搭對能省掉后面80%的莫名其妙的問題。我這次用的是Seata 1.4.2版本部署方式選擇了Docker Compose這比直接下載jar包運行要方便和干凈得多。2.1 部署Seata Server (TC)TC是Transaction Coordinator事務(wù)協(xié)調(diào)器是Seata的大腦必須最先啟動。很多人卡在第一步就是因為沒搞清楚配置。首先你需要一個docker-compose.yml文件。網(wǎng)上很多教程給的配置還是老版本的直接抄過來可能連服務(wù)都起不來。下面是我驗證過可用的1.4.2版本配置version: 3.8 services: seata-server: image: seataio/seata-server:1.4.2 container_name: seata-server ports: - 8091:8091 # 事務(wù)協(xié)調(diào)器默認(rèn)端口 - 7091:7091 # 控制臺端口1.4.2開始自帶控制臺 environment: - SEATA_IP你的服務(wù)器IP # 重要如果是云服務(wù)器填內(nèi)網(wǎng)IP本地測試填127.0.0.1 - SEATA_PORT8091 - STORE_MODEfile # 事務(wù)日志存儲模式單機測試用file最簡單。生產(chǎn)環(huán)境請用db或redis - SERVER_NODE1 # 節(jié)點編號單機就是1 volumes: - ./seata-config:/seata-server/resources networks: - seata-net networks: seata-net: driver: bridge這里有幾個關(guān)鍵點SEATA_IP這是最大的坑。這個IP是TC服務(wù)對外暴露的地址Client你的業(yè)務(wù)服務(wù)要靠這個地址來連接TC。如果你在本地用Docker跑Client是宿主機上的Spring Boot應(yīng)用那么這里應(yīng)該填宿主機的IP127.0.0.1或本機局域網(wǎng)IP而不是容器內(nèi)部的IP。如果填錯了Client會連不上TC報“no available server to connect”錯誤。存儲模式STORE_MODEfile表示將事務(wù)日志全局事務(wù)會話、分支事務(wù)記錄等存在本地文件。這對于開發(fā)測試完全沒問題重啟容器數(shù)據(jù)就沒了。生產(chǎn)環(huán)境絕對不要用file模式因為無法支持集群和高可用。生產(chǎn)環(huán)境應(yīng)該用db模式并配置好對應(yīng)的數(shù)據(jù)庫連接信息。控制臺從1.4.2開始Seata Server自帶了一個簡單的控制臺訪問http://你的IP:7091即可默認(rèn)賬號密碼是seata/seata??梢栽谏厦娌榭慈质聞?wù)列表和狀態(tài)對于調(diào)試非常有用。啟動命令很簡單docker-compose up -d。用docker logs -f seata-server查看日志看到 “Server started...” 的字樣就說明啟動成功了。2.2 準(zhǔn)備業(yè)務(wù)項目TM/RMTC搭好了接下來是事務(wù)參與者也就是我們的業(yè)務(wù)服務(wù)。我們需要創(chuàng)建一個簡單的多模塊Spring Boot項目來模擬分布式場景。假設(shè)我們有一個“訂單服務(wù)”和一個“庫存服務(wù)”。項目依賴是關(guān)鍵。在父pom中引入Spring Cloud和Spring Cloud Alibaba的依賴管理。注意版本兼容性我用的組合是Spring Boot: 2.3.12.RELEASESpring Cloud: Hoxton.SR12Spring Cloud Alibaba: 2.2.7.RELEASE在訂單服務(wù)和庫存服務(wù)的pom中都需要引入以下核心依賴!-- Seata 客戶端 -- dependency groupIdio.seata/groupId artifactIdseata-spring-boot-starter/artifactId version1.4.2/version /dependency !-- Spring Cloud Alibaba Nacos 作為配置和注冊中心也可用Eureka等 -- dependency groupIdcom.alibaba.cloud/groupId artifactIdspring-cloud-starter-alibaba-nacos-discovery/artifactId /dependency dependency groupIdcom.alibaba.cloud/groupId artifactIdspring-cloud-starter-alibaba-nacos-config/artifactId /dependency配置文件application.yml是另一個容易出錯的地方。訂單服務(wù)作為事務(wù)發(fā)起者TM的配置示例spring: application: name: order-service cloud: nacos: discovery: server-addr: localhost:8848 # Nacos地址 config: server-addr: localhost:8848 file-extension: yaml seata: application-id: ${spring.application.name} tx-service-group: my_test_tx_group # 事務(wù)組需要和TC配置對應(yīng) enable-auto-data-source-proxy: false # TCC模式不需要數(shù)據(jù)源代理設(shè)為false config: type: nacos # 從Nacos讀取TC配置 nacos: server-addr: ${spring.cloud.nacos.config.server-addr} group: SEATA_GROUP >dependency groupIdio.seata/groupId artifactIdseata-rm-tcc/artifactId version1.4.2/version /dependency然后定義接口。這個接口必須被業(yè)務(wù)實現(xiàn)類實現(xiàn)并且方法要遵循特定規(guī)則LocalTCC // 聲明這是一個本地TCC接口 public interface InventoryTccAction { /** * Try 方法 * param businessKey 業(yè)務(wù)唯一鍵用于標(biāo)識本次操作 * param productId 商品ID * param count 扣減數(shù)量 * return 是否成功 */ TwoPhaseBusinessAction(name inventoryTccAction, commitMethod commit, rollbackMethod cancel) boolean prepare(BusinessActionContext actionContext, BusinessActionContextParameter(paramName productId) String productId, BusinessActionContextParameter(paramName count) Integer count); /** * Confirm 方法 * param actionContext 業(yè)務(wù)上下文框架自動注入包含prepare方法的參數(shù) * return 是否成功 */ boolean commit(BusinessActionContext actionContext); /** * Cancel 方法 * param actionContext 業(yè)務(wù)上下文 * return 是否成功 */ boolean cancel(BusinessActionContext actionContext); }關(guān)鍵注解解析LocalTCC: 標(biāo)識這是一個TCC接口可以是Spring Bean。TwoPhaseBusinessAction: 核心注解標(biāo)注在Try方法上。name: TCC事務(wù)的名稱全局唯一用于標(biāo)識這個業(yè)務(wù)動作。commitMethod: Confirm方法的方法名。rollbackMethod: Cancel方法的方法名。BusinessActionContextParameter: 標(biāo)注在Try方法的參數(shù)上框架會將這些參數(shù)值保存到BusinessActionContext中并自動傳遞給后續(xù)的Confirm/Cancel方法。這是TCC模式能正確回滾的關(guān)鍵因為Cancel方法需要知道Try階段凍結(jié)的是哪個商品、多少數(shù)量。3.2 實現(xiàn)TCC接口接下來是實現(xiàn)類。這里的設(shè)計直接關(guān)系到事務(wù)的可靠性。Service public class InventoryTccActionImpl implements InventoryTccAction { Autowired private InventoryMapper inventoryMapper; Override Transactional(rollbackFor Exception.class) public boolean prepare(BusinessActionContext actionContext, String productId, Integer count) { // 1. 檢查庫存是否充足 Inventory inventory inventoryMapper.selectById(productId); if (inventory null || inventory.getAvailable() count) { throw new RuntimeException(庫存不足); } // 2. 執(zhí)行預(yù)留操作凍結(jié)庫存 int frozen inventory.getFrozen() null ? 0 : inventory.getFrozen(); int newFrozen frozen count; int newAvailable inventory.getAvailable() - count; int updateCount inventoryMapper.updateFrozenAndAvailable(productId, newFrozen, newAvailable); if (updateCount ! 1) { throw new RuntimeException(凍結(jié)庫存失敗可能并發(fā)沖突); } // 3. 記錄預(yù)留日志可選但推薦用于冪等和排查 // 可以將 xid, branchId, productId, count, status(try) 插入一張單獨的日志表 log.info(TCC Try 成功。xid{}, productId{}, count{}, actionContext.getXid(), productId, count); return true; } Override Transactional(rollbackFor Exception.class) public boolean commit(BusinessActionContext actionContext) { String xid actionContext.getXid(); String productId (String) actionContext.getActionContext(productId); Integer count (Integer) actionContext.getActionContext(count); log.info(TCC Confirm 開始。xid{}, productId{}, count{}, xid, productId, count); // 1. 冪等性檢查查詢?nèi)罩颈砣绻搙id和branchId已經(jīng)執(zhí)行過confirm則直接返回true // if (tccLogService.isConfirmed(xid, branchId)) { return true; } // 2. 執(zhí)行真正的扣減將凍結(jié)的庫存清零總庫存減少 int updateCount inventoryMapper.confirmDeduct(productId, count); if (updateCount ! 1) { // 這里可能因為Try階段數(shù)據(jù)被篡改等原因失敗需要告警和人工介入 log.error(TCC Confirm 失敗xid{}, xid); // 通常Confirm不允許失敗失敗后應(yīng)不斷重試直到成功??蚣軙卦?。 throw new RuntimeException(Confirm扣減庫存失敗); } // 3. 更新日志表狀態(tài)為 commit // tccLogService.updateStatus(xid, branchId, commit); log.info(TCC Confirm 成功。xid{}, xid); return true; } Override Transactional(rollbackFor Exception.class) public boolean cancel(BusinessActionContext actionContext) { String xid actionContext.getXid(); String productId (String) actionContext.getActionContext(productId); Integer count (Integer) actionContext.getActionContext(count); log.info(TCC Cancel 開始。xid{}, productId{}, count{}, xid, productId, count); // 1. 冪等性檢查查詢?nèi)罩颈砣绻搙id和branchId已經(jīng)執(zhí)行過cancel則直接返回true // if (tccLogService.isCancelled(xid, branchId)) { return true; } // 2. 執(zhí)行取消操作釋放凍結(jié)的庫存 int updateCount inventoryMapper.cancelDeduct(productId, count); if (updateCount ! 1) { // Cancel失敗也需要重試。但這里有個“空回滾”問題需要處理見下文。 log.error(TCC Cancel 失敗xid{}, xid); throw new RuntimeException(Cancel釋放庫存失敗); } // 3. 更新日志表狀態(tài)為 cancel // tccLogService.updateStatus(xid, branchId, cancel); log.info(TCC Cancel 成功。xid{}, xid); return true; } }實現(xiàn)要點與坑點數(shù)據(jù)庫操作Try階段是凍結(jié)Confirm是扣減凍結(jié)值Cancel是釋放凍結(jié)值。這三個操作必須是冪等的。這意味著即使網(wǎng)絡(luò)超時導(dǎo)致TC重復(fù)調(diào)用執(zhí)行多次也不會對數(shù)據(jù)狀態(tài)產(chǎn)生錯誤影響。上面的代碼通過“冪等性檢查”和“基于狀態(tài)的更新”如update table set frozen frozen - #{count} where product_id #{id} and frozen #{count}來保證。業(yè)務(wù)上下文BusinessActionContext是框架在Try階段幫你保存的參數(shù)包在Confirm/Cancel階段自動注入。務(wù)必用BusinessActionContextParameter注解標(biāo)記所有Cancel階段需要的參數(shù)。本地事務(wù)每個TCC方法prepare, commit, cancel都標(biāo)注了Transactional。這是因為每個階段本身可能包含多個數(shù)據(jù)庫操作需要保證其原子性。Seata的全局事務(wù)是由這些本地事務(wù)組合而成的。日志表強烈建議建立一張獨立的TCC事務(wù)日志表。記錄xid全局事務(wù)ID、branchId分支事務(wù)ID、業(yè)務(wù)鍵、狀態(tài)try/commit/cancel、創(chuàng)建時間。它的作用巨大冪等控制在Confirm/Cancel前先查日志避免重復(fù)執(zhí)行。問題排查當(dāng)出現(xiàn)異常時可以通過日志還原事務(wù)執(zhí)行鏈路。防懸掛配合“空回滾”檢查。4. 發(fā)起與管控全局事務(wù)TM的角色庫存服務(wù)的TCC接口準(zhǔn)備好了現(xiàn)在需要在訂單服務(wù)事務(wù)管理器TM中發(fā)起并管理這個全局事務(wù)。在訂單服務(wù)的業(yè)務(wù)方法上使用GlobalTransactional注解即可開啟一個Seata全局事務(wù)。Service public class OrderServiceImpl implements OrderService { Autowired private InventoryTccAction inventoryTccAction; // 通過Feign或Dubbo引入的遠程TCC接口代理 Autowired private OrderMapper orderMapper; Override GlobalTransactional(name createOrder, timeoutMills 60000, rollbackFor Exception.class) public Order createOrder(OrderDTO orderDTO) { // 1. 創(chuàng)建訂單本地事務(wù) Order order new Order(); // ... 設(shè)置訂單屬性 orderMapper.insert(order); // 2. 調(diào)用庫存服務(wù)執(zhí)行TCC Try階段 BusinessActionContext context new BusinessActionContext(); context.setActionName(inventoryTccAction); // 這里實際是通過RPC框架如Feign調(diào)用了 inventoryTccAction.prepare(context, ...) boolean tryResult inventoryTccAction.prepare(context, orderDTO.getProductId(), orderDTO.getCount()); if (!tryResult) { throw new RuntimeException(庫存預(yù)留失敗); } // 注意Try階段只是預(yù)留資源訂單創(chuàng)建和庫存預(yù)留都未最終提交。 // 3. 這里可以繼續(xù)調(diào)用其他TCC服務(wù)比如扣減積分、優(yōu)惠券... // 如果所有Try都成功GlobalTransactional 注解的方法正常結(jié)束Seata會自動觸發(fā)所有參與者的Confirm階段。 // 如果此處拋出異常Seata會自動觸發(fā)所有參與者的Cancel階段。 return order; } }TM端的關(guān)鍵點GlobalTransactional這是TM的標(biāo)識。它會在方法開始時向TC申請一個全局事務(wù)IDXID并將其通過線程上下文傳播到所有遠程調(diào)用中。超時控制timeoutMills很重要。它定義了整個全局事務(wù)的超時時間。如果超過這個時間事務(wù)還未完成所有分支未到達終態(tài)TC會主動發(fā)起回滾。需要根據(jù)業(yè)務(wù)鏈路的復(fù)雜度合理設(shè)置。異?;貪L默認(rèn)情況下只有RuntimeException和Error會觸發(fā)回滾。如果你希望受檢異常也回滾需要使用rollbackFor屬性指定。RPC調(diào)用調(diào)用inventoryTccAction.prepare看起來是本地調(diào)用但實際上它應(yīng)該是一個遠程服務(wù)的代理。你需要通過Feign或Dubbo將InventoryTccAction接口暴露為遠程服務(wù)并在訂單服務(wù)中通過FeignClient等方式引入。Seata的TCC組件會自動攔截這個調(diào)用將其注冊為一個分支事務(wù)到TC。5. 生產(chǎn)環(huán)境避坑指南空回滾、冪等與懸掛如果只是跑通Demo上面的知識就夠了。但一旦上生產(chǎn)你會遇到幾個經(jīng)典的“坑”。不處理好它們分布式事務(wù)的可靠性無從談起。5.1 空回滾Empty Rollback問題描述一個分支事務(wù)的Try方法因網(wǎng)絡(luò)超時等原因根本沒有執(zhí)行但TM卻發(fā)起了全局回滾導(dǎo)致TC調(diào)用了該分支的Cancel方法。后果Cancel方法執(zhí)行了“釋放凍結(jié)資源”的操作但Try根本沒凍結(jié)過任何資源。這可能導(dǎo)致數(shù)據(jù)不一致比如庫存被錯誤地增加了。解決方案在Cancel方法中必須進行空回滾判斷。Override public boolean cancel(BusinessActionContext actionContext) { String xid actionContext.getXid(); Long branchId actionContext.getBranchId(); // 1. 查詢事務(wù)日志表判斷Try是否執(zhí)行過 TccLog tccLog tccLogService.getByXidAndBranchId(xid, branchId); if (tccLog null) { // Try沒執(zhí)行過是空回滾 log.warn(收到空回滾請求xid{}, branchId{}. 插入一條取消記錄防止懸掛。, xid, branchId); // 插入一條狀態(tài)為‘cancel’的記錄目的是為了“占位”防止后續(xù)的懸掛問題 tccLogService.insertCancelLog(xid, branchId, productId, count); return true; // 空回滾直接返回成功 } // 2. 如果已經(jīng)執(zhí)行過Cancel冪等返回 if (cancel.equals(tccLog.getStatus())) { return true; } // 3. 正常執(zhí)行Cancel邏輯... }核心就是Cancel時檢查Try是否已執(zhí)行。沒執(zhí)行過就是空回滾記錄一條Cancel日志后直接返回不執(zhí)行業(yè)務(wù)邏輯。5.2 冪等控制Idempotence問題描述由于網(wǎng)絡(luò)抖動或TC重試機制Confirm或Cancel接口可能會被重復(fù)調(diào)用。后果如果不做冪等重復(fù)的Confirm會導(dǎo)致資源被多次扣減重復(fù)的Cancel會導(dǎo)致資源被多次釋放。解決方案利用事務(wù)日志表實現(xiàn)冪等。在Try成功后插入一條狀態(tài)為try的記錄。在Confirm/Cancel執(zhí)行前先查日志。如果狀態(tài)已經(jīng)是commit/cancel則直接返回成功。執(zhí)行完Confirm/Cancel業(yè)務(wù)邏輯后更新日志狀態(tài)為commit/cancel。所有數(shù)據(jù)庫更新操作盡量使用帶狀態(tài)的更新語句例如-- Confirm: 扣減凍結(jié)值同時確保凍結(jié)值足夠 UPDATE inventory SET frozen frozen - #{count}, total total - #{count} WHERE product_id #{productId} AND frozen #{count}; -- Cancel: 釋放凍結(jié)值同時確保凍結(jié)值足夠 UPDATE inventory SET frozen frozen - #{count}, available available #{count} WHERE product_id #{productId} AND frozen #{count};這樣即使重復(fù)執(zhí)行只要條件不滿足影響行數(shù)就是0不會破壞數(shù)據(jù)。5.3 懸掛Hanging問題描述空回滾發(fā)生后之前被阻塞的Try請求終于到達了服務(wù)端并執(zhí)行成功。后果Try在Cancel之后執(zhí)行導(dǎo)致資源被凍結(jié)但再也沒有Confirm或Cancel來釋放它了因為全局事務(wù)已結(jié)束造成資源永久鎖定。解決方案在Try方法中進行懸掛判斷。Override public boolean prepare(BusinessActionContext actionContext, String productId, Integer count) { String xid actionContext.getXid(); Long branchId actionContext.getBranchId(); // 懸掛檢查在執(zhí)行業(yè)務(wù)前先查日志 TccLog tccLog tccLogService.getByXidAndBranchId(xid, branchId); if (tccLog ! null cancel.equals(tccLog.getStatus())) { // 發(fā)現(xiàn)已經(jīng)有一條Cancel日志說明發(fā)生了空回滾且Cancel先于Try到達 log.warn(檢測到懸掛Try方法被拒絕執(zhí)行。xid{}, branchId{}, xid, branchId); return true; // 或者拋出一個特定的異常讓TM感知 } // ... 正常的Try業(yè)務(wù)邏輯 // 執(zhí)行業(yè)務(wù)后插入狀態(tài)為‘try’的日志 tccLogService.insertTryLog(xid, branchId, productId, count); return true; }核心是Try執(zhí)行前檢查是否已有對應(yīng)xid和branchId的Cancel記錄。如果有說明是懸掛應(yīng)拒絕執(zhí)行Try業(yè)務(wù)邏輯??栈貪L、冪等、懸掛這三個問題是TCC模式在生產(chǎn)環(huán)境落地必須解決的“三座大山”。解決它們的核心工具就是那張TCC事務(wù)日志表。通過它記錄狀態(tài)所有操作都變成“先查后改”的模式從而保證最終一致性。6. 進階話題嵌套調(diào)用、并發(fā)與監(jiān)控解決了基本可靠性問題我們再看一些更復(fù)雜的場景。6.1 嵌套的TCC調(diào)用有時候一個TCC服務(wù)內(nèi)部需要調(diào)用另一個TCC服務(wù)。比如“創(chuàng)建訂單”事務(wù)中調(diào)用“庫存服務(wù)”的TCC接口而“庫存服務(wù)”的Try操作里又需要調(diào)用“倉儲服務(wù)”的TCC接口來鎖定庫位。Seata是支持這種嵌套的。關(guān)鍵在于XID的傳遞。只要確保RPC框架如Dubbo、Feign的過濾器正確地將當(dāng)前線程上下文中的XID傳遞到下游服務(wù)Seata就能自動識別并管理這個嵌套分支事務(wù)。它會形成一個調(diào)用樹TC會確保所有分支包括嵌套的一起提交或回滾。在代碼上不需要特殊處理只需確保每個服務(wù)都正確引入了Seata客戶端并配置了事務(wù)組。6.2 高并發(fā)下的資源競爭在TCC的Try階段我們經(jīng)常要“凍結(jié)”資源。在高并發(fā)場景下對同一條記錄比如同一商品庫存的凍結(jié)操作可能發(fā)生沖突。解決方案數(shù)據(jù)庫悲觀鎖在Try方法的SQL中使用SELECT ... FOR UPDATE先鎖定記錄再執(zhí)行更新。但這會嚴(yán)重影響性能。樂觀鎖在庫存表中增加一個版本號字段。Try操作時使用UPDATE ... SET frozen frozen #{count}, version version 1 WHERE id #{id} AND version #{oldVersion}。如果更新失敗影響行數(shù)為0說明發(fā)生了并發(fā)沖突可以重試或直接返回失敗。分布式鎖在進入Try業(yè)務(wù)邏輯前用Redis或Zookeeper對業(yè)務(wù)鍵如lock:inventory:{productId}加鎖。這是最常用的方式但要注意鎖的粒度、超時時間和釋放的可靠性。我個人更傾向于“樂觀鎖 有限重試”或“細粒度分布式鎖”的組合。在庫存凍結(jié)場景可以在應(yīng)用層用Redis分布式鎖控制同一商品ID的并發(fā)然后在數(shù)據(jù)庫層用樂觀鎖做最終保障。6.3 監(jiān)控與排查當(dāng)TCC事務(wù)出現(xiàn)問題時排查鏈路比普通調(diào)用復(fù)雜。你需要關(guān)注幾個點Seata TC控制臺訪問http://tc-server:7091查看全局事務(wù)列表。你可以看到每個全局事務(wù)的XID、狀態(tài)、開始時間、耗時以及其下所有分支事務(wù)的狀態(tài)。這是最直觀的定位工具。業(yè)務(wù)日志在TCC接口的三個方法中務(wù)必打印包含XID和BranchId的日志。這是串聯(lián)整個事務(wù)鏈路的唯一標(biāo)識。通過ELK或類似的日志聚合系統(tǒng)用XID可以輕松搜出該事務(wù)在所有微服務(wù)中的執(zhí)行痕跡。事務(wù)日志表你業(yè)務(wù)庫里的那張TCC日志表是最終的證據(jù)。通過它可以清楚地看到每個分支事務(wù)走到了哪一步try/commit/cancel以及執(zhí)行時間。如果發(fā)現(xiàn)一個事務(wù)長時間處于“try”狀態(tài)那很可能發(fā)生了懸掛如果大量“cancel”日志沒有對應(yīng)的“try”日志那可能是空回滾頻發(fā)需要檢查網(wǎng)絡(luò)或超時配置。Metrics監(jiān)控Seata客戶端會暴露一些Metrics需要額外配置比如全局事務(wù)提交/回滾次數(shù)、分支事務(wù)注冊次數(shù)、各種模式的耗時等??梢越尤隤rometheus和Grafana對分布式事務(wù)的健康度進行監(jiān)控和告警。7. 總結(jié)與個人體會走完這一整套流程從環(huán)境搭建、代碼編寫到填坑進階你應(yīng)該對Seata TCC模式有了比較立體的認(rèn)識。它不是銀彈需要你付出額外的設(shè)計設(shè)計TCC接口和資源預(yù)留邏輯和編碼實現(xiàn)三階段方法成本。但換來的是對復(fù)雜業(yè)務(wù)場景更強的掌控力以及對異構(gòu)數(shù)據(jù)源的支持。我個人在項目中的體會是設(shè)計階段多花時間在寫代碼前一定要和業(yè)務(wù)方、架構(gòu)師一起把每個分布式事務(wù)的邊界、每個參與服務(wù)的Try/Confirm/Cancel具體操作畫清楚。特別是資源預(yù)留的粒度是鎖整條記錄還是鎖部分字段這直接影響并發(fā)性能。日志表是生命線那張小小的TCC事務(wù)日志表在開發(fā)和排查階段的價值遠超你的想象。一定要建而且要設(shè)計好查詢索引xid, branch_id, status, create_time。超時時間要合理全局事務(wù)超時時間timeoutMills不能設(shè)得太短否則長鏈路業(yè)務(wù)容易超時回滾也不能設(shè)得太長否則出問題時資源鎖定時間過長。需要根據(jù)壓測和線上監(jiān)控來調(diào)整。做好降級和熔斷分布式事務(wù)框架本身也可能成為故障點。如果TC集群不可用你的業(yè)務(wù)應(yīng)該有降級方案比如切到基于消息的最終一致性或者記錄異常工單人工處理。在調(diào)用TCC服務(wù)時也要配置好Feign/Dubbo的超時和熔斷避免一個分支事務(wù)的阻塞拖垮整個全局事務(wù)。最后TCC模式的思想——先試探后確認(rèn)——其實是一種非常普適的解決分布式問題的思路。即使未來你不使用Seata這種通過業(yè)務(wù)日志和狀態(tài)機來實現(xiàn)最終一致性的模式在設(shè)計和處理復(fù)雜業(yè)務(wù)邏輯時依然會給你帶來啟發(fā)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天综合91在线| 大香蕉伊人亚洲| 又黄又爽在线观看视频| 亚洲文学偷乱拍啪啪啪啪| 精品人妻一区二区免费蜜桃视频| 天天做日日做天天欢。| 亚洲精品天天影视综合网| 青青草在线视频美女| 精品久久久久久中文字幕三区| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 日本一级性爱| 麻豆国产成人精品| 日韩午夜啪啪视频| 啊啊啊啊啊好舒服视频| 麻豆视频国产一区二区| 黑丝少妇麻豆| 97人妻免费中文字幕| 白丝jkav| 影音先锋乱| 九九热精彩视频| 久久精品国产亚洲妲己影视| 超碰av人人人| 91狠狠| 亚洲春色激情小说| 18禁看网站一区| 日韩去日本高清在| 欧美激情一| 色综合av男人天堂| 97干综合网| 国产美女口爆吞精视频| 超碰精品| 搞中出久久| 91久久午夜无码鲁丝片久久人妻| 性爱视频啪啪啪啪| 少妇蹲下买菜露大唇0| 高清国产成人无码| 国产乱码精品久久久久久| 午夜福利一区二区影院| 欧美性生活内射| 日韩综合无码色欲vv| 亚洲美女色图| 久精品无码av一区二免费国产在线观看| 色眯眯av| 综合五月婷婷| 中文字幕三四区| 午夜呻吟欧美| 成人八戒网站| 欧美丝袜亚洲| 成人综合色网| 人人操人人操人人人操| 新91视频.cmp| 青青草国产亚洲精品久久 | 亚熟hd视频在线| 亚洲国产尤物yw在线观看| 97精品国产手机| 97国产高清视频在线观看| 亚洲丝袜二区在线| 日韩紧密久久| 操逼操操操91| 精品久久久一本一道| 无码最新| 无码粉嫩白虎一线天b区| 91大神电影天堂| 免费啪啪av| 亚洲自拍欧美色综合| 女人双腿搬开让男人桶| 天天综合-91入口| 91在线美女| 黄片qw| 久久中久文96| 亚洲一二三精品久久网| 一级aaaaa欧美中文字幕录像片| 国产精品97超碰| 欧美日韩色图片| 国产强奸无码乱伦| 中文字幕色AV| 秋霞男人网| av凤凰久久久| 精品性爱一区二区| 一个色导综合| 色香AV| 豆1无夜无码| 五月丁香六月婷| 日韩高清黄片| 久久久久久精| 91色插| 新97国产超碰| 9999免费精彩视频| 思思热影视| 国产精品乱码久久久| 韩国女主播青草福利视频| 日逼逼免费看| 84YTCOM性无码| 婷婷性网| 亚洲激情深爱文学小说网站| 激情综合97| 熟女色综合久久| 伊人久久综合影院精品久久久| 国产精品97超碰| 亚洲AO在线| 成人婷婷丁香| 亚洲欧美精品一区天堂久久 | 91天天日| 99精品在线| 日韩av不卡在线看| 91性网| 啊啊啊啊啊啊啊网址在线观看| 欧美18禁91| 婷婷丁香六月| 五月色网| 青娱乐日韩无码| 黄色激情电影在线观看| 92一区二区| 97超碰色屌| 久久久久久久久久久人妻| 99熟女| 69精品人人人人| 青娱乐日韩无码| 国产精品一区二区 尿失禁| 性色av网站| 成年人黄色小视频网站| 日本国产欧美高清在线| 在线无码操| 国产操偷| 韩国一级做A片免费的| 黄片qw| 免费A片三p视频| 91精品导航| 亚洲黄色| 欧美综合自拍| 性影在线视频| 国产视频一区二区免费| 久久 国产精品 一区| 中文字幕 国产 精品| 国产成人免费观看在线视频| 免费综合亚洲中文| 动漫片子网站3黄| 亚洲AO在线| 中文字幕av色| 亚熟在线| 久久成人精品| 人妻丝袜二区| 黄色大片免费在线| 秋霞免费AV| 岛国成人av在线播放网址| 国产精品久久久久久 百度| 人人爱人人操人人性| JULIA一区二区三区在线播放| 国产日本久久免费精品| 色 婷97| 熟啊v色欧美热| 91影视亚洲| 精品无人区麻豆乱码1区2区图片| 国产一区二区三区免费视频在性观看 | 色婷婷综合视频| 蜜乳av首页| 性吧在线视频| 久久综合久色欧美综合狠狠| 超碰色美女| 91超碰在线| 17c在线成人免费A片观看| 人妻人人做人人澡人人爽欧美一区| 亚洲欧美日韩夜夜| 久无码| 97爱碰| 亚州性色| 天天色天天干天天射| 人人干人人搞人人摸| 国产乱伦一二三区| 99999久久久久9国产精品| 男人的天堂久久狠| 免费看日本操逼视频| 超AV色女| 视频二区美腿制服人妻欧美| 手机在线观看不卡无码av| 日韩免费人妻色情网站| q2午夜理论片夜色av| 七月婷婷综合| 免费看欧美美女黄色大片| 国产欧美日韩女同性恋ww喷水精品| 久偷拍| 丰满人妻一区二区三区四区| www.亚洲成人一区| 又黄又爽在线观看视频| 亚洲亚洲亚洲天堂天堂| 18啪啪手机免费性爱| 懂色AV蜜臀无码精品APP| 亚洲av热热色| 亚洲AV秘无码一区..| 丁香五月色| 日本一久是| 精品视频在线观看精品| 色综合久久久久| 91无摭挡| 日韩久久.一级黄色片| 国产无码一二三区| 亚洲成人色情五月天丁香花| a级免费在线观看| 深爱五月婷婷| 老熟女天天操| 日本免费亚洲欧美| 亚洲不卡一| 日日摸夜夜夜夜爽| 好舒服视频| 国产精品96| 97精品国产97久久久久久| 色综合 加勒比| 高清国产无码av| 青青草日韩无码| 99热婷婷一区二区三| 成人AV在线电影| 国产精品久久久久久夜夜夜夜| 密乳AV免费观看| 97天天爽| a片久久久久久久久久久久| 国产偷拍自拍在线视频| 长久操视频| 91人妻中文| 久久日本熟女精品一区| 黄片aaaaa一区| 亚洲午夜蜜臀| 六月激情网| 91精品人妻| 丰满人妻-区二区三区免费| 久久有码视频| 亚洲精品一区中文字幕乱码| 久久久国产av美女私房| 九九免费影片| 777奇米影视777四色| 尤物视频偷拍免费| 国模精品娜娜一二三区| 亚洲天堂资源网| 大吊色| 五月天精品| 老熟妇一区二区三区啪啪| 欧美18 在线观看| 欧美精品双插| 欧美日韩在线国产在线| 国产诱惑| 99热精品在线观看| AVE乱伦| 97干天天| 国产精品熟女九色九色蜜臀| 久久久久久久久久久久久久久乱码| 国产一区二区在线播放量| 好屌色综合| 懂色AV蜜臀无码精品APP | 国产午夜在线观看| 亚洲男人的天堂网| 成人网址在线观看| 亚洲啪啪综合?v一区综合精品区| 黄资源| 欧美日韩中文亚洲v在线综合| 风骚少妇视频中文字幕| 久99热| 亚洲人成网站7777| 99精品无码| 天天干天天操天天拍| 先锋激情∨在线视频播放| 久热99999| 亚洲最大的综合性av| 欧亚揄拍偷拍精品视频 | 亚洲影院成人| 91精品人妻五十路| 99视频内射三四| 日本高清视频xxxx| 一本色道久久综合精品婷婷| 美女大乳久久久久久久女人18| 思思性爱| 无码久久亚洲高清,| 少妇特黄一区二区三区| 日日干日日| 777AV电影| 天天日夜干| 九九av| 中文伊人大香蕉视频| 在线中文字幕极品av| 国产农村妇女精品| 超碰97综合在线| 久久曰曰| 日va操| av网站在线看| 日韩本不卡视频在线观看| 欧美中文字幕一区| 国产久久久9999| 五月婷婷六月丁香| 欧美性爱一级操| 亚洲国产精品成人久久蜜臀| 激情在线青青操| 精品9999| 青青操视频在线| 欧美在线大香蕉| 激情综合五月| 中文字幕成人| 六月丁香五月婷婷| 欧美v亚洲v日韩v最新在线二区| 97这里只有精品| 久久99手机免费视频| 日韩精品.久久精品.AV女优.天美传媒| 日韩人妻中文视频| av日韩在线观看电影| jk白丝没脱就开始啪啪| 精品国产乱码久久久久久久久1| 国产精品久久久久久久久久久久| 蜜臀Av一区二区三区| 日本中文字幕熟妇| 色情亚洲日本成人| 6080yy午夜理论三级一区二区三区无码 | 亚欧美天堂在线| 欧美激情综合| 亚洲另类在线观看| 91九色精品熟女内射| 天天色播亚洲综合网站| 8050无码八戒| 日本护士高潮| 伊人一区二区在线播放| 亚洲无码?第一页| 中文字幕人成乱码熟女香港| 性色亚洲| 麻豆视频国产一区二区| 免费一级精品啪啪视频| 天天草夜夜草高潮片| 欧美日韩色综合网| 女同女同恋久久级三级| 视频国产精品未满十八禁止在线观看| 91 亚洲 欧美 日韩 国产 综合| www.久久最新地址| 久久精品亚洲成a人天堂| 亚欧Av| 无套内射性感少妇视频| 久久久久免费少妇| 大香蕉婷婷| 日韩在线76| 日韩99神马视频播放片在线播放| 国产精品久久久777| 日韩欧美一级特黄大片| 日韩欧美女求操每天更新| 男人天堂毛片| 日韩一二三区| 欧美传媒| 一区二区影院| 97色婷婷| 99国产精品久久久久久久成人热| 人澡逼| 色777999综合| 女生久久网| 五月天婷婷在线看| 日本五十路熟女一区二区| **一级毛片国产| 九九久久首页| 麻豆久久久久久久久丝袜 | 国产少妇与亚洲av| 国产不卡中文字幕免费avi| 久操操| 男人的天堂三级| 丰满人妻-区二区三区免费看 | 精品在线观看视频在线| 亚洲天堂中文字幕无码男同| 国产精品suv一区| 国产熟女高潮一区二区三区| 中文字幕三四五区| 韩日欧亚a级| 人妻干天天| 国产福利精品最新在线| 国产乱婷婷精品二区三区| 亚洲精品骚逼| 91日日夜夜| 国产精品农村妇女| 国产福利电影| 日韩人妻 中文字幕| PMv在线观看| 亚洲人妻中文高清| 免费夜夜爱黄色视频毛片| 最新av在线| 亚洲天堂资源在线| 亚洲啪啪视频一区二区| 啊啊啊好爽快点啊啊啊嗯嗯| 嗯嗯啊啊日韩精品| www.亚洲黄色| 五月天综合在线| 97丝袜亚洲在线播放| 97操| 色综合久| 夜夜嗨一区二区三区三州加勒比 | 无码操逼视频一下| 麻豆人妻精品一区二区| 九热超碰| 亚州操逼图| 玖玖爱综合| 射丝袜大香蕉| 激情黄色片在线观看| 狠狠狠狠狠干| 精品人妻久久久| 无码精品一区二区三区潘金莲| JULIA人妻风俗店中出电影| 夜夜欧美| 白嫩国模丰满一二三区| 人妻黑丝袜电影| 日韩极品无码B| 天美AV片| 水多多映视AV| 精品久久久久9999| 在线视频97| 欧美日韩性爱操大逼| 天堂精品在线| 免费a v| www.狠狠干.coom| 干美女人妻| 91成人精品在线播放| 性性欧美| 大香网站| 超碰97.com| 睡产熟女乱伦| 欧美成人贴图| 国产又粗又又黄又猛| 欧美激情1区| 中文字幕在线观看二区三区| 亚洲狠狠入| 国产成人综合在线播放| 九九久久首页| 国产传媒午夜理伦精品| 亚州色图欧美| 美女一区二区国产精品| 97欧美色| www.狠狠| 亚洲阿v天堂在线| 成人影 天天操 亚洲| 色妺妺AⅤ| 97精品国产97久久久久久免费| 亚洲一二三四区| 91丝袜美女| 亚洲电影中字一区二区| 白丝少妇一区二区| 嫩草美女久久| 九九九只有精品| 天天爽天天爽| 人妻干天天| 欧美人人天天网| 国产 v乱码一区二| 午夜操一操| 午夜福利久久久噜久噜久久综合| 亚洲精品国产日韩无码AV永久免| 操美女高潮抽搐白浆| 色情亚洲日本成人| 久久精品店| 精品久久視頻在线| 欧美精品三级黄片| 国产原创精品| 欧美 亚洲 另类 综合| 狠狠爱综合网| 久久色一区| 中文字幕一区二区三区高清| 少妇贴图| 欧日韩在线观看| 亚洲色综合| 亚洲无码超碰免费| 99日视频在线免费| 蜜臀少妇一区二区| 超碰成人公开| www国产天美久久久| 亚洲情色婷婷五月天| 色吊丝 日日骚 清纯唯美| 艳美熟妇先锋一二三区| 色成人Www精品永久观看| 91精品国产一区三一| 一区二区视频在看| 欧美青青视频| 一本一道人妻久久一区二区三区| 夜嗨影院| 玖玖无码超碰| 天天天天天天天天综合| 99色悠悠| 免費黃色視頻觀看一| 日本国产亚洲一区在线观看| 就去色综合| 国精综合一二三区影视| 中文字暮97| 全球成人中文在线| 欧美性生活免费网| 超碰精品日韩欧美国产| 校园春色 亚洲| 粉嫩小泬久久久一区二区| 95精品在线| 亚洲欧美国产日本一区二区三区| 一区二区乱码福利| 91少妇香蕉久久精品| 熟妇视频一区二区三区在线观看| 中文字幕日韩综合| 99热精品在线| 青青草中文-久久青草精品一区二区三| 国产亚洲色婷婷99精品91| 久久精品一区二区一8| 国产丝袜一区二区三区| 中文字幕加勒比海高清无码免费视频| 久久久com| 日韩欧美国产高清视频| 欧美日韩啪啪电影| 日韩一级性爱无码| 国产毛片片精品天天看视频| 测评在线观看AV| 久久久九| 插插综合网天天影视网| 骚日日av| 久久久精选| 久久精品人妻一区二区| 亚洲视频二区 | www.狠狠操| 国模精品一区二区三区苹果色戒| 在线观看国产黄色| 国产成人精品日本亚洲语言| 国产呦精品一区二区三区下载| 国产性爱在线视频一区二区| 在线无码视频| 黄色一区二区秘书性感| 高清在线不卡一区二区 视频| 国产精品久久久亚洲一区| 操碰97| 人妻久久久久久久久久久久久久久| 琪琪精品免费一区二区三区| 日韩A优精品在线观看| 免费看片黄| 蜜臀网 一区| av橘色网站| 亚洲中文sv| 亚州91| 91在线精品一区二区三区| 久久久久亚洲熟妇熟女| 搡老女人老妇女AAA一VU麻豆| 午夜福利视频在线一区| 天天日天天舔天天喷天天射| 嗯啊啊啊轻点视频| 亚码人妻| 97视频在线观看免费高清| 97在线免费看视频| 天天爽夜夜爽夜夜爽精| 免费伦费视频在线观看| 婷婷激情五月综合| 96AV精品| 伊人在线大香蕉二。| 9丨久久九九九 | 精吧天堂| 久久一区二区加油站| 亚洲成人综合在线| 久久一二三四不卡 | 激情丁香五月| 欧美情色男人的天堂| 熟妇高潮精品一区二区三区下载| 中文字幕第7页| 蜜臀无码视频在线观看| 人妻中文字幕日韩电影| 黄色成年| 五月天我淫我色av| www.色婷婷| 久久久久久性爱视频| 加勒比综合a∨| 日本道不卡| 妇女性内射冈站HDWWWCOM| 大香网站| 欧美老妇女内射网址| 亚洲天堂一二| 一线黄色免费性爱片| 欧美夜夜狠| 夜夜 中文视频rt| 91丝袜美女视频| 99久久久er直播网址| 中文字幕91综合| 天天摸天天舔天天操| 一区,二区,三区网站| 久色网| 日本大香蕉| 日本媚薬中文字幕在线| 日本无码1| 亚洲熟女乱色| 色妇综合网| 日韩少妇一区二区三区| 天天操女人| 中文不卡视频| 欧美一级A片在线看视频性色| 大香蕉99热| 超碰在线97国产| 99色热| 豆1无夜无码| 精品免费视频国产一区| 婷婷五月色| 伊人久久亚洲色欲综合网站| 国产精品美女久久久久AⅤ国产馆| 色噜噜人妻av 中文字幕| 亚州高清av| 插穴性爱视频在线观看| 性色国产东北露脸精品视频| 久久区| 九九热视频在线观看| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | av中文在线| 一区超碰一区| 午夜福利1区2区3区| 婷婷导航| 在线看污网站| 97av在线视频| 99re99| 嗯嗯啊中文字幕| 国产精品久久久久久久久久久久久久吹| 国产麻豆一级精品视频| 九九九九一区| 婷婷五月成人| 91五十路| 91撸色网 玖玖网 欧美| 国产成人在线观看网址| 久久精品人体AV| 欧美色狠| 欧美婷婷久久| 国产精品激情久久久久久久| 东北操逼| 婷婷丁香六月| 人妻少妇久久中文字幕一区二区 麻豆 | 性色av一区二区| 人人干黄色| 亚洲欧美日产国产91毛片| 久久久久久久九九九九九九| 欧美国产有色电影| 91在线精品| 亚欧美综合网。| 五月丁香社区婷婷日韩欧美精品影院| 欧美亚洲清纯| 超碰久久性爱| av天堂精品久久| WWW美腿丝袜香蕉中文| 国产大学生高潮在线播放| 校园激情狠狠四射| 精品无码一区二区| 17c在线成人免费A片观看| 91国精产品| 99自拍视频在线| 91美女在线观看| 欧美性爱网97| 色狠狠综合| 超碰2017| 欧洲亚洲人人爽爽视频| 久久99久久99久久99人受| 69国产对白刺激| 欧美一品道| 这里只有精品视频在线| 操逼日批| 男女国产精品| 嗯啊啊啊轻点视频 | 青青草玖玖爱| 欧日韩不卡视.频| 中日亚韩免费视频| 久久啊啊| 天天干夜夜肏| 四虎免费看黄| 97色婷婷| 国产伦乱91| 天天干天天舔| 婷婷五月天AV| 家庭乱伦性爱av| 91精品国| 99re6国产精品99re| 久久黄黄| 曰韩av中文字幕专区| 三级日韩一区二区三区| 噜噜噜亚洲精| 亚洲男人的天堂网| 日韩影片中文字幕一区二区三区| 在线v中文字幕一区二区三区| 在线午夜成人无码视频| 国产99999久久精品| 亭亭丁香激情| 熟女精品一区二区三区| 亚洲欧美国产成人综合不卡| 牛牛操视频逼| 激情小说亚洲色图| 97色欧洲| 伊人久日| 欧美丝袜美女电影一二三四区| 天天添天天干电影| 婷色五月| av天堂5| 日本人妻最新在线中| 国产美女自拍视频| 狠狠97| 91青青在线视频| 97爱b| 亚洲永久永久永久永久一级一级一级精品| 人妻少妇久久久| 国模精品一区二区三区苹果色戒 | 伊人久久大香线综合无码| 成人贴图日韩欧美| 欧亚乱色熟一区二区三四区| 欧美日韩高潮喷水91| 婷婷综合| 亚洲天堂电影精品一区| 久久综合婷婷| 九九亚洲| 久久精品视频久久久| 啊啊啊啊嗯嗯嗯用力好爽 | 欧美99热| 五月丁香啪啪网| 久久久九九网站| 大香蕉人妻| 国产亚洲在线| 999久久久精品国产| 婷婷色五月激情| 91色久| 色婷婷九月天天综合| 欧洲一级性爱视频在线观看| 探花熟女,姿勢到位,體驗感也到位| 久操com| 欧美日韩精品一区二区三区高清| 在线a v| 郑州宾馆老熟女露脸啪啪| 9国产超碰| 激情综合网激情综合| 乱伦3P视频| 欧美人妻熟女在线| 欧美A√综合网| 亚拍在线| 人妻另类| 亚洲精品97| 亚洲精品国产精品成人| 91露脸熟女专区| 国产亚洲中文不卡二区| 国产又操| 欧美老妇综合网| 欧美在线55555| 96一区二区三区| 2017亚洲天堂| 无码最新| 99在线精品视频| 亚洲av总站| 午夜无遮挡男女啪啪视频| 不卡一区二区日本视频| 精品伊人久久久大香线蕉小说| 色婷五月| 精品十三区| 99最新日韩偷拍视频| 欧美色网络| 国产无码高清操逼视频| 人人干人人操人人..com| 五月天综合在线| 色老汉玖玖爱| 超碰97亚洲区| 精品69网| 亚洲va有码在线天堂| 国产农村一一级特黄毛片| 久久日韩毛| 91路www| 99re这里只有| 香蕉久久AⅤ...| 丁香五月性爱| 国产精品熟女九九九| 日韩BBN| 91内射| 探花一区在线| 好吊色一区| 9久久精品| 搡老女人老妇女AAA一VU麻豆 | 日韩久久艹| 亚洲第一在线视频| 日韩av三四区| 中韩中文字幕在线观看| 黄色区免费观看中文字幕| 九九毛片这里只有精品| 国产欧美日产一区二区三区 - 国产欧美日 | 亚洲AV无码黄色强奸| 67914亚洲精品| 伊人网在线观看| 久久精品国产亚洲av水密被窝| 黄色在线网站| 春色校园综合网| 欧美激情高清性猛交| 97资源视频| 91爱综合| 超碰人人干| 欧美中文字幕一区 | 男人兔费天堂| 久久香蕉超碰97国产精品| 欧美日韩传媒| 亚洲九区| 国产精品97超碰| 天天干人人干天天日97| 亚洲精品欧美专业| 78精品在线| 在线观看国产黄色| 国产精品午夜福利视频| 人人妻人人爽 97人人看碰人免费公开视频| 啊啊啊啊嗯嗯嗯用力好爽 | 欧美色爱综合| 日本日皮视频逼| 超碰偷拍| 日韩女模中文造逼| AV女资源| 久久综合婷婷| 一二三区视频在线观看| 黄片无码在线制服| 亭亭在线资源| 3d成人精品一区二区| 亚洲精品蜜桃久久久久久久| 免费av在线播放二区| 国产久久视频| 国产精品乱码久久| 日韩精品99999| 欧美亚洲今日在线| 99精品网| 日本精品五区| 91狠狠色丁香婷婷综合久久精品| 欧美第五页| 国产福利第一视频| 久久精品国产97欧美精品亚洲| 日韩人成网站在线播放| 中字一区| 浪人综合网| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 亚洲男人久久综合天堂| 自拍丝袜美腿人妻| 秋霞成人做爱| 99日免费视频中文字幕| 色人久久| 蜜臀一区二区三区在线| 精品国产国产AV| 无码精品蜜桃一区二区三区ww| 99久在线精品99re8| 手机看av网站在线看| 97ai亚洲| 亚洲男人的天堂一区二区| 国产综合在线视频网站| 国产福利夜| 永久免费发布性爱网| 国产AV天美传媒一区二区三区| 国产女人成人精品视频| 久久精品无码专区| 天堂精品在线| 狠狠操狠狠操操| 熟女欧美日韩综合婷婷| 午夜理论片在线观看免费| 欧美伦乱| 蜜桃精品一区二区三区ww| 欧美一区二区福利在线| 怡红院亚洲怡春院av| 在线 制服丝袜中出 人妻| 色九久| 乱码熟妇人妻久久久| 国产性久久久| 麻豆AV一区二区天美传媒| 久久久久久久久久久97| 国产精品一级片在线看| 九九热精彩视频| 99熟女| 欧美大香蕉久| 91精品国产长腿丝袜美女| 国产无套粉嫩白浆在| 99人妻| 青青操视频在线| 亚洲欧美日韩综合在线尤物 | 欧美91网站| 丁香五月婷婷啪啪| 成全动漫视频观看免费下载| 丰满人妻一区二区中文| 亚洲精品久久久久久久久豆丁网| 天天色黄色影院天天操| 国产又粗又长又大的视频| 夜夜夜夜夜夜夜夜夜狠狠狠狠狠狠狠| 国产久久av| 日本视频在线中文字幕| 美欧老女人97| 偷拍欧美综合| 爱媛媛久久国产福利| 欧美操人视频| 欧美黑人与女人91| 一直超碰| 精品久久久久瑟瑟| 婷婷五月天成人| 久干9操| 免费中文综合精品| 九九热av| 蜜区区视频79| 人妻无码久久一区二区三区免费| 天天欧美色| 综合色啪| 在线v中文字幕一区二区三区| 亚洲成aⅴ人片不卡无码| 玖玖久久久| 色男人色天堂东京热| 亚洲精品一区二区三区新线路| 久久精品国产72国产精品福利| 婷婷av在线中文字幕| 久久久久久久久国产| 逼操网站| 思思热一热婷婷热一热| 色墦五月丁香| 欧美顶级黄片AAAAA在线免费看| 欧美一区二区三区四区综合| 青草精品视频一日本久久久久网站| 久久9999| 风月影院男女十八禁| 久久99深爱久久99精品| 欧美在线大香蕉| 天天亚洲综合| 天天综合网91入口| 亚洲精品一二三四区| 中文字幕老熟妇黄色视频| 99自拍视频在线观看| 亚洲综合中文字幕有码| 色呦呦呦在线观看视频| 一级性爱视频免费观看| 97香蕉网| 蜜臀一区二区三区在线| 日本色色色网站免费看不卡| 东北女人高潮视频| 2020中文字幕在线观看| 精品1区2区3区| 亚洲骚男同com| av天堂加勒比| 天堂亚洲欧美| 亚洲熟妇A V黑人| 天堂性色| 欧美亚洲情色| 日韩操啪| 中国少妇XXXX做受| 国产精品呦一区二区三区| 久久精品国产AV一区二区三区| 国产午夜精品理论片a大结局| 曰韩中文人妻视频| 狠狠婷婷亚洲中文综合久久| 囯产精品久久久久久久久久梁医生 | 天天舔日美女视频| 大屁股熟女一区二区三区| 国偷自 一区二区| 九九久久国产精品怡红院| 97网址97| 精品人妻一区二区三区不卡断 | 日韩欧美亚洲国产日韩| 欧美一级A片在线看视频性色| 久久久成人国产精品无码| 最近的最新的中文字幕视频| 丁香五月婷婷五月| av婷婷色网| 成人片视频| 91女优在线观看 | 97五月天| 97碰碰日本乱偷人妻中文的| 十八禁电影伊人网| 亚洲第一页色网| 一区在线精品中文字幕| 18禁中文字幕| 日本综合久久| 午夜福利久久久噜久噜久久综合 | 大香蕉日亚洲日本亚大| 999综合网| J?P?NESEHD熟女熟妇伦| 强奸乱伦大香蕉网| 嗯嗯啊啊视频在线看| 看看小穴| 亚洲激情深爱文学小说网站| 蜜臀视频网站| 精品国产人成在线| 五月天婷婷色色| 青青草视频导航官网| 国产精品久久久九九九| 青草精品视频一日本久久久久网站| 日本一级特级毛片视频| 日韩在线观看字幕精品| 黄页网站免费高清在线观看| 欧美色五月| 后入福利视频| 亚洲国产美女久久久久| 乱色视频中文字幕| 九九热视频这里只有精品| 亚洲精品97p| 伊人网青青| 婷婷丁香六月天| 9久超碰| 久久久内射良家| 绯色一区二区三区不卡少妇 | 香蕉综合网| 熟妇亚洲一区二区三区| 久久久久国产精品人妻aⅴ天堂| 97操| 翔田千里无码中出中文字幕| 五月丁香婷婷综合| 午夜综合在线| 欧美激情久操网| 强奸xx国产| 中文字幕第23区| 综合亚洲欧美精品日韩?v| 在线观看综合精品亚洲| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 吉川爱美98堂在线| 久久岛国| 激情久久av一区av二区av| 99热导航| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 亚洲成人一二三区| 巨乳特殊服务按摩| 国产精品一级毛片不卡视| 欧美九九99久久精品| 粉嫩AV一区二区夜夜| 天堂8在线新版官网| 精品一区二区三区四区外站| 91国产丝袜白虎| 日韩丰满熟妇| 密臀在线免费观看| 久久久中文| 操逼逼无码| 男女香蕉一区二区| 男女激情黄色网址| 99热这里只有是精品10| 超碰色男人操熟女| 久久久18禁| 91久久免费视频互動交流| 日韩AV片| 爱逼综合| 日本人体九九九九九九| 麻豆精品.欧美精品.日韩精品.| 狠狠激情综合狠狠操中文字幕| 曰韩少妇无码| 欧美成人一区二区三区在线播放| 乱操9999| 九月婷婷久久| 91青青草| 九九热免费国产视频婷婷伊人五月 | 午夜无码精品免费看性色| julia中文字幕在线观看| 午夜偷拍久久熟女| 国产熟女自拍| www.久久| 91欧美亚洲| 亚洲国产精品久久久久婷婷青年| 天天日天天干天天操| 高清不卡视频| 久久久久亚洲三级电影| 九九热免费国产视频婷婷伊人五月| 九九热AV| 熟女中出视频| 亚洲无码?第一页| 清纯唯美第一页| 口爆综合网| 午夜视频久久久久一区| av东京热男人的天堂| 久久久久国产精品喷潮免费观看臀| 欧美日韩美女精品久草一区二区三区 | 日韩无码专区| 99热这里只有精品18| 国产13区| caoni国产亚洲av| 夜夜躁狠狠躁日日躁av| 成人老鸭窝人人在线视频| 国产av强奸美女| 激情文学小说一区二区| 九九热精品| 12一15性XXXX粉嫩国产| 亚洲男人的天堂AV| 久久香蕉国产线看观看猫咪av| 九九九色| 啊啊啊好疼| 91丝袜在线观看视频在线观看| 97爱亚洲| 亚州综合色图| 99亚洲天堂| 精品亚洲一区在线观看| 国产高清在线自在拍69| a久久| 亚洲,日韩,欧美,成人播放| 久久久91福利姬| 男女打扑克高清网站| 无码在线亚洲| 久久久久久久久久久精| 偷拍欧美激情| 岛国片在线播放| 国产免费小视频| 有码免费观看| 日韩 欧美 另类 人妻| 91在线丝袜| 东京热一区二区三区四区五区六区| 黑丝自慰喷水网站| 亚洲综合第一页| 操B久久| 激情五月天丁香| 北约熟女超碰| 欧州91高潮| 四虎免费视频| 色 婷97| 成人电影一区| 91动漫操逼视频| 嗯嗯啊啊好爽| 九九九成人| 日本在线不卡一二区| 精品成人无码| 绯色一区二区三区不卡少妇 | 91无码人妻| 有码人妻系列| 99热色精品| 欧美日韩国产高清在线一二三区 | 中文字幕久久婷婷丁香五月天| 国产一区二区三区不卡手机在线| www网站黄| av在线播放国产一区| 久操免费观看| 五十路成人在线视频二区三区| 欧美 亚洲 制服 精品| 久久精品性| 日韩人妻制服丝袜av| 国产精品免费久久久久久久久久| 日韩AV噜噜噜一区二区三区四区| AV天堂丝袜| 日日碰狠狠添天天爽超| 欧美精品日韩久久久九| 国产91av在线播放| 伊人国产成人av网站| 一区二区三| 欧美成人精品欧美一级乱黄一区二…| 亚洲在钱| 韩国女主播青草在线| 久久久久久久久久久人妻| 午夜.DJ高清在线观看免费7| 亚洲的天堂网| 2017大香蕉国产精品久久| 国产av白丝| 丁香五月婷婷基地| 入口操逼网站| 免费黄色A片| 青青操综合网| 超97在线精品视频| 综合欧美激情网| 国产精品一二三在线看| 人人 操人人 操人人| 18禁在线视频| 60秒不遮不挡| 在线电影亚洲色图| 国产少妇内射| 啊啊啊男女| 国产精品夜夜| 综合久久2017| 一区二区中文| 香蕉视频欧美一卡二卡| 不卡在线观看视频| 欧美亚洲图片| 男人天堂网址| 91丨人妻丨国产丨丝袜| 丰满人妻-区二区三区| 久久久久99999| 午夜毛片亚洲精品片国产久久久| 国产精品久久久久久久久久久久久久吹 | 麻豆国产成人精品| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 久久亚洲色图中文字幕| 成人一区二区三区四区| 少妇色综合| 大香蕉啪啪啪啪在线| 中文字幕伊人| 日本在线伊人啪啪| 亚洲人成在线放东京热| 日韩小电影| 成人性爱免费播放| 大香蕉黄色一级片免费看| 成人福利视频网| 婷婷大香蕉| 极品少妇99| 天天肏美女| 欧美成人精品一区二区三区|