久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

高并發(fā)秒殺系統(tǒng)架構(gòu)實戰(zhàn):Redis預(yù)扣減與防超賣設(shè)計

高并發(fā)秒殺系統(tǒng)架構(gòu)實戰(zhàn):Redis預(yù)扣減與防超賣設(shè)計 簡介一套基于Spring Boot 2.x的秒殺系統(tǒng)教學(xué)項目面向想要了解高并發(fā)搶購場景的Java開發(fā)者重點演示令牌桶限流、緩存預(yù)熱、分布式架構(gòu)、消息隊列、驗證碼防刷等關(guān)鍵技術(shù)點的落地方式。壓縮包共包含66個文件以23個Java源碼文件為核心另有SQL腳本用于初始化庫表與測試數(shù)據(jù)前端頁面HTML/CSS/JS輔助展示交互效果還有Maven配置、啟動腳本及README說明整體大小僅2.34MB結(jié)構(gòu)清晰便于導(dǎo)入開發(fā)環(huán)境后逐模塊閱讀。已有162人學(xué)習(xí)過該資源適合作為并發(fā)編程的實戰(zhàn)入門參考。通過該工程可以學(xué)習(xí)到一個完整秒殺系統(tǒng)的數(shù)據(jù)模型與目錄組織方式觀察商品庫存如何通過緩存和數(shù)據(jù)庫優(yōu)化應(yīng)對壓力同時借助附帶的頁面截圖和運行演示能夠更直觀地理解請求排隊、異步處理以及驗證碼校驗在項目中的真實用法涵蓋從架構(gòu)設(shè)計到代碼實現(xiàn)的完整思路無論是個人練手還是課程設(shè)計都能在此基礎(chǔ)上快速擴展。1. 秒殺系統(tǒng)為什么難別把高并發(fā)當(dāng)作“多線程加速”“高并發(fā)秒殺系統(tǒng)”這個詞在 Java 后端幾乎成了判斷一個人有沒有真正處理過流量沖擊的試金石。功能上無非是限時賣固定數(shù)量的商品可當(dāng)幾萬人同時點“立即搶購”幾萬個請求瞬間打進服務(wù)時常規(guī)的增刪改查思路就全崩了最先告警的不是數(shù)據(jù)庫而是 Tomcat 線程池、數(shù)據(jù)庫連接池、Redis 連接池最后數(shù)據(jù)庫被一大堆等待中的 SQL 拖垮庫存超賣、重復(fù)下單、頁面 5xx 一起冒出來。這篇文章想解決的不是“把秒殺跑通”而是“把秒殺跑穩(wěn)”。你會看到 Redis 預(yù)扣減庫存怎么擋住超賣、唯一索引怎么兜底重復(fù)下單、異步落庫怎么讓接口快速響應(yīng)以及壓測時 Nginx 和 Tomcat 上有哪些最容易被新手忽略的默認(rèn)參數(shù)。整套鏈路用 Spring Boot Redis MySQL 就能復(fù)現(xiàn)適合準(zhǔn)備 Java 面試的開發(fā)者也適合想在活動前把庫存系統(tǒng)補齊的后端。所謂“簡單實現(xiàn)”指的是不引入復(fù)雜中間件也能扛住相當(dāng)大的流量不是把庫存扣成負(fù)數(shù)的那種糙快猛。2. 系統(tǒng)設(shè)計先行先把超賣、重復(fù)下單和請求放大三個問題拆開2.1 三個并發(fā)難題超賣、重復(fù)下單、請求放大分別是怎么發(fā)生的秒殺系統(tǒng)第一次裸跑最常見的現(xiàn)象是庫存只有 100 件數(shù)據(jù)庫里卻生成了 300 多條訂單。對賬時發(fā)現(xiàn)不僅超賣還有大量重復(fù)訂單。這背后其實是三個獨立的問題混在一起排查會非常痛苦。超賣的直接原因是“檢查庫存”和“扣減庫存”不是原子操作。典型錯誤寫法是先SELECT stock判斷大于 0再執(zhí)行UPDATE。高并發(fā)下 100 個請求可能同時讀到“還有 1 件庫存”的快照于是都拿到了下單權(quán)限庫存最終變成負(fù)數(shù)。這里不是靠增加重試或加鎖就能解決的——如果鎖粒度不對要么排隊排到超時要么鎖競爭把數(shù)據(jù)庫拖垮。重復(fù)下單是接口冪等做得不夠。用戶手速快、雙擊按鈕、前端因請求超時自動重試、瀏覽器后退再提交同一秒能發(fā)出多次下單請求。如果訂單表沒有唯一約束、服務(wù)層沒做去重同一用戶就會在同一商品下生成多張訂單。你看著是用戶自己的操作問題實際是接口沒防御。請求放大則是量級問題。秒殺當(dāng)天的流量可能是日常的幾十倍假如所有請求都默認(rèn)打到 MySQL即使總數(shù)據(jù)量不大幾千條 SQL 同時排隊也會把連接池瞬間吃光。更麻煩的是 MySQL 連接一旦耗盡普通查詢跟著一起超時系統(tǒng)就不是“變慢”而是“雪崩”。這三個問題不能各自為戰(zhàn)必須在分層設(shè)計里一起解決讓無效流量在越靠前的位置被攔掉才是高并發(fā)系統(tǒng)的核心思路。2.2 分層架構(gòu)接入層、服務(wù)層、存儲層各自該守什么我一般把秒殺系統(tǒng)拆成三層來看。接入層用 Nginx 做靜態(tài)資源分離、連接復(fù)用和粗粒度限流服務(wù)層用 Spring Boot 做活動校驗、用戶去重和 Redis 預(yù)扣減存儲層里 Redis 保存熱點庫存MySQL 保存最終訂單和可信庫存。三層各自守住一條底線才不會互相拖累。分層核心職責(zé)關(guān)鍵依賴接入層Nginx靜態(tài)資源、按 IP 限流、連接復(fù)用limit_req_zone、worker_connections服務(wù)層Spring Boot活動開關(guān)校驗、冪等去重、Redis 預(yù)扣減Lettuce/Jedis 連接池、業(yè)務(wù)線程池存儲層Redis MySQLRedis 保存預(yù)扣余量MySQL 保存訂單和最終庫存唯一索引、條件更新、事務(wù)這里有個很常見的誤會以為 Nginx 層限了流服務(wù)層就可以隨便查數(shù)據(jù)庫。實際上 Nginx 限流只能擋住一部分按 IP 限流擋不住分布式的羊毛黨也擋不住正常用戶在不同設(shè)備上的并發(fā)請求。服務(wù)層的業(yè)務(wù)校驗必須獨立存在Nginx 那一層只負(fù)責(zé)“少放點流量進來”不負(fù)責(zé)“業(yè)務(wù)正確”。存儲層的分工也要講清楚。Redis 里的庫存是“預(yù)扣余量”它的作用是快速拒絕大多數(shù)搶不到的請求提高接口吞吐MySQL 里的庫存才是“最終可信庫存”。為什么不能只信 Redis因為 Redis 可能宕機、可能被清空、可能在主從切換時丟數(shù)據(jù)。所以真正扣減數(shù)據(jù)庫庫存的那一步不能省只是把它挪到流量洪峰之后去執(zhí)行。2.3 方案選型數(shù)據(jù)庫鎖、Redis 預(yù)扣減、MQ 削峰各自適合什么場面圍繞“怎么防止超賣”業(yè)內(nèi)最常被提起的有四類方案。我給它們排個序從最重到最輕。悲觀鎖SELECT ... FOR UPDATE是最直接也最笨的辦法查詢時就把行鎖住同一時間只有一個線程能改庫存。缺點是數(shù)據(jù)庫連接會被長時間占用高并發(fā)下連接池很快就滿了適合 QPS 只有幾百的運營后臺不適合對用戶開放的秒殺接口。樂觀鎖版本號或條件更新比悲觀鎖輕一些用UPDATE ... WHERE stock 0把庫存條件拼進 SQL靠數(shù)據(jù)庫行鎖保證不會扣成負(fù)數(shù)。它能扛住幾千 QPS但高并發(fā)下大量請求在數(shù)據(jù)庫層等待行鎖響應(yīng)時間會明顯拉長。適合業(yè)務(wù)比較重、Redis 不好介入的 ERP 庫存扣減場景——這類“庫存并發(fā)扣減”的思路和秒殺其實完全同源。Redis 預(yù)扣減是目前秒殺系統(tǒng)里最常見的做法。用 Redis 的單線程模型做原子扣減把絕大多數(shù)搶不到的請求擋在 MySQL 之前搶到的人再異步落庫。這套方案在單機 Redis 下就能扛住數(shù)萬 QPS是性價比最高的起手式。MQ 削峰則是在 Redis 預(yù)扣減之后再疊一層把訂單創(chuàng)建請求放到消息隊列里由消費者按固定速率落庫防止突發(fā)寫庫壓力。方案優(yōu)點缺點適用場景數(shù)據(jù)庫悲觀鎖實現(xiàn)簡單、絕對一致連接占用高、吞吐低后臺管理、低并發(fā)數(shù)據(jù)庫樂觀鎖無鎖競爭、實現(xiàn)簡單高并發(fā)下重試多、延遲升高ERP 庫存、中低并發(fā)Redis 預(yù)扣減抗高并發(fā)、響應(yīng)快Redis 宕機需補償機制秒殺、搶購、熱點商品MQ 削峰平滑落庫壓力引入中間件、消息可靠性成本大庫存、復(fù)雜訂單流程我自己的選擇很明確第一版永遠(yuǎn)先上“Redis 預(yù)扣減 數(shù)據(jù)庫兜底”等驗證了真實流量、發(fā)現(xiàn)了瓶頸再決定要不要引入 MQ。別一上來就上 Kafka 和分布式事務(wù)那只會讓你同時面對“并發(fā)問題”和“分布式問題”兩個黑匣子。3. 動手落地用 Spring Boot Redis MySQL 把最小秒殺鏈路跑通3.1 依賴、連接池配置與兩張核心表先搭項目。用 Spring Boot 2.7 以上版本JDK 1.8 或 17 都能編譯依賴只需要spring-boot-starter-web、spring-boot-starter-data-redis、spring-boot-starter-jdbc和 MySQL 驅(qū)動。不需要引入 MyBatis 之外的重型框架JdbcTemplate足夠演示。dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-data-redis/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-jdbc/artifactId /dependency dependency groupIdcom.mysql/groupId artifactIdmysql-connector-j/artifactId scoperuntime/scope /dependencyapplication.yml里有兩組參數(shù)值得注意。數(shù)據(jù)源連接池我用 HikariCPSpring Boot 默認(rèn)maximum-pool-size壓測時從 20 調(diào)到 50但別超過 MySQL 的max_connections否則連接池還沒滿數(shù)據(jù)庫先拒連接了。Redis 的超時時間我習(xí)慣設(shè)成 200ms寧可快速失敗也不要讓 Tomcat 線程卡在 Redis 上等幾秒。spring: datasource: url: jdbc:mysql://127.0.0.1:3306/seckill?useUnicodetruecharacterEncodingutf8mb4 username: root password: your_password hikari: maximum-pool-size: 50 minimum-idle: 5 connection-timeout: 1000 redis: host: 127.0.0.1 port: 6379 timeout: 200ms數(shù)據(jù)庫表只需要兩張。seckill_product保存秒殺商品和庫存seckill_order保存訂單。seckill_order必須建UNIQUE KEY uk_user_sku(user_id, sku_id)這是最后一道防重復(fù)下單的兜底閘門表設(shè)計階段沒有它后面全靠代碼去重遲早會漏。CREATE TABLE seckill_product ( id bigint NOT NULL AUTO_INCREMENT, product_name varchar(128) NOT NULL COMMENT 商品名稱, seckill_stock int NOT NULL DEFAULT 0 COMMENT 秒殺總庫存, seckill_price decimal(10,2) NOT NULL COMMENT 秒殺價格, start_time datetime NOT NULL COMMENT 活動開始時間, end_time datetime NOT NULL COMMENT 活動結(jié)束時間, version int NOT NULL DEFAULT 0 COMMENT 樂觀鎖版本號條件更新時使用, PRIMARY KEY (id) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4 COMMENT秒殺商品表; CREATE TABLE seckill_order ( id bigint NOT NULL AUTO_INCREMENT, user_id bigint NOT NULL COMMENT 用戶ID, sku_id bigint NOT NULL COMMENT 秒殺商品ID, order_no varchar(64) NOT NULL COMMENT 訂單號, status tinyint NOT NULL DEFAULT 0 COMMENT 0處理中 1成功 2失敗, create_time datetime NOT NULL COMMENT 創(chuàng)建時間, PRIMARY KEY (id), UNIQUE KEY uk_user_sku (user_id, sku_id) COMMENT 同一用戶同一商品只能有一條訂單 ) ENGINEInnoDB DEFAULT CHARSETutf8mb4 COMMENT秒殺訂單表;建表邏輯說明seckill_order的唯一索引不是為了省空間而是為了在數(shù)據(jù)庫層攔截“同一個用戶對同一商品重復(fù)下單”。version字段服務(wù)于后面的條件更新也就是用WHERE seckill_stock 0替代應(yīng)用層先查后改避免超賣。3.2 秒殺接口核心Redis Lua 原子扣減、冪等校驗、庫存預(yù)熱秒殺接口的代碼不復(fù)雜難在每一步的先后順序。我的習(xí)慣順序是活動校驗 → 重復(fù)下單校驗 → Redis 原子扣庫存 → 寫已參與集合 → 異步落庫。順序錯了就會出問題比如先扣庫存再查用戶是否已搶過就會讓重復(fù)請求也扣掉庫存。先準(zhǔn)備扣庫存的 Lua 腳本。用 Lua 而不是decrement()的原因很簡單decrement()只能保證“扣減”這個動作是原子的不能保證“庫存大于 0 才扣減”——當(dāng)庫存只剩最后 1 件時并發(fā)請求會把庫存扣成負(fù)數(shù)。Lua 腳本把“檢查庫存”和“扣減庫存”包進同一個 Redis 操作里執(zhí)行這才是真正的原子。/** * 扣減庫存的 Lua 腳本 * 返回 -2 表示 key 不存在說明活動未預(yù)熱 * 返回 -1 表示庫存為 0已售罄 * 返回 1 表示扣減成功。 */ private static final String STOCK_SCRIPT if redis.call(exists, KEYS[1]) 0 then return -2 end; local stock tonumber(redis.call(get, KEYS[1])); if stock 0 then return -1 end; redis.call(decr, KEYS[1]); return 1;;參數(shù)說明KEYS[1]傳入的是庫存 key格式建議統(tǒng)一為seckill:stock:{skuId}。腳本內(nèi)redis.call(exists)是為了區(qū)分“沒有預(yù)熱”和“賣完了”兩種狀態(tài)不要把這兩種情況都返回“已售罄”否則排查問題時會浪費大量時間。接下來是秒殺主方法。核心結(jié)構(gòu)如下Service public class SeckillService { private static final String STOCK_PREFIX seckill:stock:; private static final String ORDER_PREFIX seckill:order:; Autowired private StringRedisTemplate redisTemplate; Autowired private OrderService orderService; Autowired private ThreadPoolTaskExecutor orderExecutor; public Result seckill(Long userId, Long skuId) { // 1. 活動開關(guān)校驗秒殺開始前和結(jié)束后直接拒絕 if (!activityCache.isInProgress(skuId)) { return Result.fail(活動未開始或已結(jié)束); } // 2. 冪等校驗同一用戶同一商品只能參與一次 String orderKey ORDER_PREFIX skuId; Boolean participated redisTemplate.opsForSet().isMember(orderKey, userId.toString()); if (Boolean.TRUE.equals(participated)) { return Result.fail(您已參加過該商品的秒殺); } // 3. Redis Lua 原子扣減庫存 String stockKey STOCK_PREFIX skuId; Long result redisTemplate.execute( new DefaultRedisScript(STOCK_SCRIPT, Long.class), Collections.singletonList(stockKey) ); if (result ! null result -2L) { return Result.fail(活動尚未開放請稍后重試); } if (result ! null result -1L) { return Result.fail(商品已搶完); } // 4. 記錄參與用戶保證后續(xù)請求不會再進來 redisTemplate.opsForSet().add(orderKey, userId.toString()); // 5. 異步落庫立即返回成功提示 orderExecutor.execute(() - { try { orderService.createOrder(userId, skuId); } catch (Exception e) { rollbackStock(userId, skuId); log.error(訂單創(chuàng)建失敗已回補庫存, e); } }); return Result.success(秒殺成功訂單處理中); } }邏輯說明第 3 步的execute通過DefaultRedisScript把 Lua 腳本發(fā)給 Redis整個“檢查扣減”在服務(wù)端完成。第 5 步用線程池異步執(zhí)行接口響應(yīng)時間不會包含數(shù)據(jù)庫寫入耗時這也是高并發(fā)秒殺系統(tǒng)的標(biāo)準(zhǔn)做法——用戶看到的“秒殺成功”不代表訂單已經(jīng)生成只代表庫存已經(jīng)預(yù)扣成功。接著是庫存預(yù)熱。這個步驟極其容易被新手忽略如果活動開始后 Redis 里還沒有庫存數(shù)據(jù)第一個請求執(zhí)行exists就會返回 0所有用戶都會收到“活動尚未開放”。預(yù)熱應(yīng)該在活動開始前 5 分鐘由定時任務(wù)或運營后臺觸發(fā)public void preloadStock(Long skuId) { Integer stock productMapper.selectStockById(skuId); redisTemplate.opsForValue().set(STOCK_PREFIX skuId, String.valueOf(stock)); }參數(shù)說明預(yù)熱時用簡單set即可不需要 Lua?;顒舆M行中如果 Redis 里的 key 過期被刪后續(xù)請求會全部走到“未預(yù)熱”分支所以還要給庫存 key 設(shè)置一個覆蓋完整活動時長的 TTL避免無意的過期擊穿。3.3 異步落庫與線程池參數(shù)createOrder 怎么寫庫存怎么回補異步落庫這一步要處理兩個問題數(shù)據(jù)庫庫存不能扣成負(fù)數(shù)以及 MySQL 扣減失敗后 Redis 庫存要回補。createOrder方法里的關(guān)鍵不是先查庫存再插入訂單而是用條件更新一步完成“檢查庫存 扣減”Transactional public void createOrder(Long userId, Long skuId) { String orderNo generateOrderNo(); // 號段或雪花算法 // 條件更新庫存大于 0 才扣減返回受影響行數(shù) int rows jdbcTemplate.update( UPDATE seckill_product SET seckill_stock seckill_stock - 1, version version 1 WHERE id ? AND seckill_stock 0, skuId ); if (rows 0) { throw new RuntimeException(數(shù)據(jù)庫庫存扣減失敗); } // 插入訂單唯一索引兜底重復(fù)問題 jdbcTemplate.update( INSERT INTO seckill_order (user_id, sku_id, order_no, status, create_time) VALUES (?, ?, ?, 1, NOW()), userId, skuId, orderNo ); }邏輯說明UPDATE ... WHERE seckill_stock 0看起來只有一句 SQL實際由 InnoDB 行鎖保證不可能把庫存扣成負(fù)數(shù)。多個請求同時執(zhí)行這句 SQL 時只有第一個請求能拿到行鎖并成功扣減后面的請求會因為seckill_stock 0條件不成立而返回 0 行。這比“先 SELECT 再 UPDATE”安全得多也比悲觀鎖省數(shù)據(jù)庫連接。異步執(zhí)行需要線程池。線程池大小直接影響吞吐核心線程數(shù)太小會讓任務(wù)排隊太久用戶雖然收到了“秒殺成功”但遲遲等不到訂單。Configuration public class OrderThreadPoolConfig { Bean(orderExecutor) public ThreadPoolTaskExecutor orderExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); executor.setCorePoolSize(8); executor.setMaxPoolSize(32); executor.setQueueCapacity(500); executor.setThreadNamePrefix(order-async-); executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy()); executor.initialize(); return executor; } }參數(shù)說明核心線程數(shù) 8、最大 32、隊列 500是一臺 4C8G 服務(wù)器上的保守配置。隊列長度決定服務(wù)能“吞下”多少個來不及處理的落庫任務(wù)超過 500 后新任務(wù)會被拒絕被拒絕的任務(wù)已經(jīng)在 Redis 扣過庫存所以在主方法里 catch 到RejectedExecutionException時要立刻回補庫存并提示用戶“系統(tǒng)繁忙請稍后重試”?;匮a庫存的方法也需要寫清楚public void rollbackStock(Long userId, Long skuId) { // 回補 Redis 庫存 redisTemplate.opsForValue().increment(STOCK_PREFIX skuId); // 移除用戶參與標(biāo)記允許重新參與 redisTemplate.opsForSet().remove(ORDER_PREFIX skuId, userId.toString()); }很多文章只講回補 Redis 庫存不提移除用戶標(biāo)記結(jié)果用戶明明第一次秒殺失敗重試時卻被冪等校驗擋住造成“庫存沒賣完但用戶全部被拒”的詭異現(xiàn)象?;匮a庫存和移除用戶標(biāo)記必須成對出現(xiàn)。4. 用 JMeter 壓測驗證TPS、TP99 和性能拐點怎么讀4.1 JMeter 線程組設(shè)置3000 并發(fā)模擬的最小壓測計劃寫完了代碼別急著上線先壓測。JMeter 是最容易上手的壓測工具打開后創(chuàng)建一個測試計劃依次添加“線程組”“HTTP 請求”“聚合報告”。線程組配置直接決定壓測結(jié)果是否可信。我推薦第一次壓測按這個表設(shè)置JMeter 字段推薦值設(shè)計理由線程數(shù)3000模擬秒殺活動的瞬時用戶量Ramp-up 周期秒6060 秒內(nèi)逐步發(fā)完 3000 個請求避免一起涌出循環(huán)次數(shù)1秒殺場景每人只搶一次不設(shè)循環(huán)HTTP 請求超時3000 ms與后端接口超時保持一致新手最容易踩的坑是把 Ramp-up 設(shè)成 0。0 意味著所有線程在同一瞬間發(fā)起請求這確實能壓出極限值但和真實用戶行為完全不符——真實用戶是分批涌入的。先用 Ramp-up 60 秒摸清系統(tǒng)的穩(wěn)定能力再用 0 秒摸清極限兩個指標(biāo)分開看。4.2 讀懂聚合報告平均響應(yīng)時間會騙人TP99 才是關(guān)鍵壓測結(jié)束后打開聚合報告重點看四個指標(biāo)。吞吐量Throughput單位是requests/sec表示系統(tǒng)每秒能處理多少請求。比如吞吐量 1200/sec代表一秒鐘處理了 1200 個秒殺請求。錯誤率Error %正常應(yīng)該在 0.5% 以下。如果錯誤率超過 1%先去看服務(wù)端日志別急著調(diào)參數(shù)。錯誤可能是超時、連接拒絕、線程池拒絕也可能是接口邏輯拋異常原因完全不同。90% 和 99% 響應(yīng)時間Percentile這是最容易被忽略的指標(biāo)。平均響應(yīng)時間 50ms 很漂亮但如果 99% 是 900ms說明有 1% 的用戶在系統(tǒng)邊緣等得很痛苦。秒殺場景里99% 響應(yīng)時間大于 1 秒就不能接受。最后是性能拐點。我會從 500 并發(fā)開始壓依次加到 1000、2000、3000、5000。每次記錄吞吐量和錯誤率。當(dāng)響應(yīng)時間驟增、吞吐量開始下降的那一檔并發(fā)數(shù)就是性能拐點。比如 2000 并發(fā)時吞吐量 1800/sec3000 并發(fā)時吞吐量掉到 1500/sec 且錯誤率跳到 5%說明系統(tǒng)在 3000 并發(fā)時已經(jīng)過載這個數(shù)字就是容量上限。4.3 瓶頸定位與調(diào)優(yōu)Tomcat 線程池、Nginx worker、數(shù)據(jù)源連接池壓測發(fā)現(xiàn)瓶頸后按“接入層 → 服務(wù)層 → 存儲層 → JVM”的順序逐個排查。先看 Tomcat 線程池因為它在最前面最容易被流量打滿。Spring Boot 內(nèi)置 Tomcat 默認(rèn)maxThreads200acceptCount100。換句話說同時只能有 200 個請求正在被處理另有 100 個請求在隊列里等待其余直接拒絕。這個默認(rèn)值對秒殺場景太保守了我一般會調(diào)大Connector port8080 protocolorg.apache.coyote.http11.Http11NioProtocol maxThreads800 acceptCount2000 connectionTimeout20000 keepAliveTimeout15000/參數(shù)說明maxThreads控制工作線程數(shù)調(diào)到 800 后能同時處理的請求變多acceptCount是等待隊列長度調(diào)到 2000 意味著最多允許 2000 個請求排隊。要注意別把 maxThreads 調(diào)到 2000 以上線程數(shù)過多會導(dǎo)致 CPU 頻繁切換上下文吞吐反而下降。Nginx 側(cè)關(guān)注兩個參數(shù)worker_processes auto讓進程數(shù)和 CPU 核心數(shù)對齊worker_connections決定每個進程能保持多少連接。秒殺場景連接數(shù)通常會很高20480 是一個合理的起點。worker_processes auto; worker_connections 20480; keepalive_timeout 65;邏輯說明調(diào)大worker_connections不會立刻提升吞吐它的作用是讓 Nginx 不成為連接瓶頸真正限制并發(fā)的是后端 Tomcat 線程池。所以調(diào)優(yōu)順序一定是“后端先調(diào)Nginx 再跟著擴”。數(shù)據(jù)源連接池也需要同步調(diào)整。HikariCP 默認(rèn)maximum-pool-size10壓測時很容易打滿。注意一個約束條件連接池大小不能超過 MySQL 的max_connections默認(rèn) 151如果連接池 50、Tomcat maxThreads 800同時只有 50 個數(shù)據(jù)庫連接可用其余線程都在等待連接。這解釋了為什么 java 面試八股里總強調(diào)“連接池不是越大越好要和上游線程池聯(lián)動看”。JVM 參數(shù)進壓測前就設(shè)好。4C8G 機器給 Spring Boot 預(yù)留 4G 堆-Xms4g -Xmx4g避免壓測過程中頻繁 Full GC 影響響應(yīng)時間。如果壓測時看到 GC 日志密集優(yōu)先解決堆內(nèi)存分配而不是繼續(xù)調(diào)線程池。5. 避坑排查秒殺系統(tǒng)最容易翻車的五個場景逐一對癥解決5.1 超賣問題活動發(fā)了 100 件訂單出了 500 件現(xiàn)象活動結(jié)束后seckill_product的seckill_stock變成負(fù)數(shù)seckill_order里的訂單數(shù)量遠(yuǎn)超活動庫存。原因代碼里用的是“先 SELECT 庫存判斷大于 0再 UPDATE”。并發(fā)下多個請求同時讀到剩余庫存 1 件全部通過判斷全部執(zhí)行 UPDATE庫存被扣成負(fù)數(shù)。解決把應(yīng)用層的“先查后改”改成 SQL 條件更新UPDATE ... SET seckill_stock seckill_stock - 1 WHERE id ? AND seckill_stock 0。如果代碼已經(jīng)上線臨時止血可以給庫存表加一個CHECK (seckill_stock 0)約束MySQL 8.0 支持 CHECK 約束能阻止后續(xù)產(chǎn)生負(fù)庫存但歷史臟數(shù)據(jù)需要單獨對賬修復(fù)。5.2 Redis 售罄但數(shù)據(jù)庫還有貨庫存對不上的經(jīng)典僵局現(xiàn)象用戶看到“已搶完”但運營后臺里商品庫存還剩幾十件。查 Redis 發(fā)現(xiàn)庫存 key 為 0查 MySQL 發(fā)現(xiàn)庫存還有 30。原因Redis 預(yù)扣減成功后異步落庫失敗。比如數(shù)據(jù)庫線程池滿了、訂單插入超時、事務(wù)回滾導(dǎo)致 Redis 扣了庫存但 MySQL 沒扣。這時如果沒有回補邏輯Redis 和 MySQL 的庫存就會永久不一致。解決一是異步任務(wù)里要 catch 所有異常失敗后調(diào)用rollbackStock回補 Redis 庫存并移除用戶標(biāo)記二是增加一個定時對賬任務(wù)每 5 分鐘掃描 Redis 中庫存接近 0 的商品和 MySQL 的實際剩余庫存做比對發(fā)現(xiàn)差值就觸發(fā)校正。這個對賬任務(wù)不復(fù)雜但能救你于水火尤其是活動進行中沒人敢動 Redis 數(shù)據(jù)的尷尬時刻。5.3 同一用戶重復(fù)下單冪等校驗漏了數(shù)據(jù)庫唯一索引現(xiàn)象活動結(jié)束后發(fā)現(xiàn)同一個user_id對同一個sku_id有三四條訂單記錄用戶明明只搶到一次。原因代碼里用 Redis Set 做冪等校驗但 Redis 記錄在異步落庫時被清掉或過期或者用戶繞過正常接口直接調(diào)用下單接口。Redis 不是數(shù)據(jù)庫它的數(shù)據(jù)可能丟失必須靠數(shù)據(jù)庫層兜底。解決兩層防御并行。第一層是 Redis Set 的isMember校驗攔截正常用戶的重試請求第二層是seckill_order表上的UNIQUE KEY uk_user_sku(user_id, sku_id)。當(dāng)重復(fù)插入觸發(fā)唯一鍵沖突時捕獲DuplicateKeyException按“用戶已參與”處理而不是直接拋出 500。記住Redis 去重是性能優(yōu)化MySQL 唯一索引才是最終防線。5.4 壓測時大量 500Tomcat 線程池被打穿現(xiàn)象壓測并發(fā)數(shù)超過 2000 后聚合報告錯誤率飆升到 10% 以上服務(wù)端日志大量出現(xiàn)“RejectedExecutionException”或“Connection timed out”。原因Spring Boot 內(nèi)置 Tomcat 默認(rèn)maxThreads2002000 并發(fā)下大部分請求在acceptCount100的等待隊列里排隊隊列滿了直接拒絕連接部分請求就算進入處理流程也會因為數(shù)據(jù)庫連接池不足而等待超時。解決按前面第 4.3 節(jié)的參數(shù)調(diào)整 Tomcat 線程池和 HikariCP 連接池同時在秒殺接口最外層加限流讓超過系統(tǒng)處理能力的請求直接返回“系統(tǒng)繁忙”。要用好AbortPolicy并捕獲RejectedExecutionException這是線程池自帶的流量保護機制別因為怕失敗而把它關(guān)掉。5.5 秒殺結(jié)束還有流量進來活動開關(guān)沒擋住現(xiàn)象活動結(jié)束 1 小時后接口還在產(chǎn)生訂單商品鏈接還能下單。原因代碼里做了活動時間校驗但校驗用的是服務(wù)器本地時間加數(shù)據(jù)庫活動表活動結(jié)束時可能有少量請求恰好卡在邊界上更常見的是運營直接改數(shù)據(jù)庫活動時間緩存里的活動狀態(tài)沒有同步更新。解決把活動狀態(tài)緩存到 Redis活動開始前設(shè)置一個“待開始”狀態(tài)開始后由定時任務(wù)或手動發(fā)布改成“進行中”結(jié)束后改成“已結(jié)束”。接口層面做雙層判斷先查 Redis 狀態(tài)快速攔截大多數(shù)無效請求再查數(shù)據(jù)庫時間精確兜底?;顒咏Y(jié)束后應(yīng)立刻在 Nginx 層把 URL 的流量轉(zhuǎn)發(fā)到靜態(tài)頁或活動結(jié)束頁而不是讓請求到達(dá)后端。接住這些流量的成本很低漏掉它們就會變成驚群效應(yīng)讓數(shù)據(jù)庫在活動結(jié)束后的峰值里繼續(xù)被沖擊。6. 進階優(yōu)化分布式鎖、熱點 key 分片與上線前檢查清單6.1 把冪等和扣減合進一個 Lua減一次網(wǎng)絡(luò)往返到這一步你的單體秒殺已經(jīng)能跑了。如果想優(yōu)化性能第一個動作不是換中間件而是把“判斷是否已參與”和“扣減庫存”這兩個 Redis 操作合并成一個 Lua 腳本。當(dāng)前實現(xiàn)的兩次 Redis 調(diào)用各消耗一次網(wǎng)絡(luò)往返合并后可以省掉一半的延遲。-- KEYS[1] 庫存 key -- KEYS[2] 用戶已購 set key -- ARGV[1] 用戶ID if redis.call(sismember, KEYS[2], ARGV[1]) 1 then return -3 end if redis.call(exists, KEYS[1]) 0 then return -2 end local stock tonumber(redis.call(get, KEYS[1])) if stock 0 then return -1 end redis.call(decr, KEYS[1]) redis.call(sadd, KEYS[2], ARGV[1]) return 1邏輯說明腳本里用sismember判斷用戶是否已搶過已搶過直接返回 -3。注意這里的數(shù)據(jù)一致性問題——如果用戶在請求 A 里搶成功又在同一毫秒發(fā)出請求 B兩個請求都進到 Lua 腳本里執(zhí)行。Redis 單線程會保證這兩個腳本串行執(zhí)行所以不會出現(xiàn)“兩個腳本同時通過庫存檢查”的情況。這也是為什么秒殺系統(tǒng)天然適合 Redis單線程執(zhí)行模型省掉了應(yīng)用層分布式鎖。6.2 熱點商品 key 分片別再讓一個 Redis key 扛全部流量當(dāng)一個商品特別火爆所有請求都打在同一個 Redis key 上單實例 Redis 的 CPU 會先到瓶頸。常見做法是對庫存 key 做分片把 100 件庫存拆成 10 個小 key每個 key 存 10 件請求進來時根據(jù)用戶 ID 取模路由到不同的小 key。int shard (int) (userId % 10); String stockKey seckill:stock: skuId : shard;參數(shù)說明分片數(shù)是經(jīng)驗值單機 Redis 4 到 8 個分片足夠分片后的副作用是部分分片賣完、部分分片還有剩余需要在服務(wù)端匯總剩余庫存再做“是否還有貨”的判斷。庫存回補時也要遍歷所有分片。這個優(yōu)化適合秒殺量極大、已確認(rèn) Redis 是瓶頸時再上前期不必做。6.3 上線前檢查清單照著過一遍再開閘最后是一份自檢清單是我每次上線秒殺活動前必做的一套動作第一預(yù)熱腳本是否已執(zhí)行Redis 里所有商品的庫存 key 都存在且數(shù)值正確第二超賣核對 SQL 是否準(zhǔn)備好活動結(jié)束后跑一遍seckill_product和seckill_order的對賬確認(rèn)沒有訂單數(shù)大于庫存數(shù)第三異步線程池的監(jiān)控是否接入隊列積壓何時超過閾值要能收到告警第四檢查回補庫存的日志有沒有輸出一旦出現(xiàn)“訂單創(chuàng)建失敗已回補庫存”要立刻排查原因第五把壓測報告和真實預(yù)估流量對比確認(rèn)性能拐點高于預(yù)估峰值 30% 以上再開閘。做秒殺這類系統(tǒng)我自己的習(xí)慣是永遠(yuǎn)讓第一版保持單體和簡單先把 Redis 預(yù)扣減、冪等校驗、異步落庫這條鏈路的每一環(huán)跑通確認(rèn)超賣和重復(fù)下單都不再出現(xiàn)再考慮分布式鎖、庫存分片和消息隊列。分布式的東西只有在單點確實扛不住時才值得引入——你手上的秒殺系統(tǒng)也一樣先把手里的單體調(diào)出穩(wěn)定的 2000 QPS比直接搭一套半懂不懂的微服務(wù)更有價值。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
熟妇人妻一区二区| 免费视频97| 人人摸人人添人人操| 久99在线免费观看视频| 久久一二区四| 91超级碰碰碰| 夜色AV无码手机在线影院| 大香蕉日韩| ss久久| 国产精品成人无码a v毛片| 久久免费中文字幕在线观看| 天天干夜夜操网| 亚洲天天更新| 国产精品乱码久久久、久久| 丁香六月激情| 人妻系列无码专区中文有码| 美女操逼A A| 人妻喷水| ′ !γ}丶。。久久精品欧美一区二区三区 | 亚州性9| 日韩午夜国产| 毛片17S| 51久久夜色精品国产麻豆| 玖玖蜜臀资源网| 第一高清av中文字幕| a级免费在线观看| 黄色av播放免不| 久久9精品网站| 久久久久久久伊人精品| 国产精品久久久久久久AV大片| 四虎在线视频| 欧美激情在线观看视频| 国产精品69久久久久久久| 日韩欧美水蜜桃人妻| 久久爱超碰网| 免费看黄片现成| 97综合在线| 久久九精品| 看黑人AV不卡| 久久亚洲不卡一区二区三区| 欧美强奸乱能| 久精品无码av一区二免费国产在线观看| 视频不卡中文字幕| 96久久久久| 热G综合热G中文| 逼逼逼逼操操操操操操操操操午夜剧场 | 日日日啊啊啊| 亚洲91综合| 色诱avtt| 91红杏| 久久综合激情| 中文伊人大香蕉视频| 天天精品| www.婷婷五月天| 在线有码中文字幕| 超碰97人妻| 啊啊啊免费视频| 天天操妹子| 91亚洲最新在线| 亚洲se电影| 熟妇激情| 玖草在线视频| 伊人一区二区在线播放| 6080YYY午夜理论片在线观看| WWW啪啪的com| 久久久久国产一区二| 成人免费在线网站| 久草资源在线视频官方总站日韩丝袜美腿| 国内精品999| 天天欧美色| 精品一区二区啪啪啪| 一本一道人妻久久一区二区三区| 国内精品不卡无毒99999| 成人短视频在线观看| 成人无码在线视频网站| 91久久九九精品国产综合| 人妻人久久精品中文字幕| 在现视频女上位好爽| J?P?NESEHD熟女熟妇伦| 97人人射| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 日本道人妻久久久在线不卡色视频| 男人的天堂日韩| 日日爽熟女| 一本久道久久综合狠狠爱一密臀精| 4虎在线视频| 欧美少妇高潮| 啪啪AV导航| 高清无码网址| 成人日韩中文字幕| 97爱碰| 北京美女一区二区| 国产人妻精品一区二区三区秋霞 | 蜜桃传媒视频第一区入口在线看| 国产60页| 婷婷色综合欧美日韩| 男人天堂导航| 午夜男女爽爽大片免费观看| 欧美国产伊人久久久久| 日韩三级一区 | 天天干人人干天天日97| 亚洲一区在线观看欧洲 | 欧美情色亚洲| 熟妇的味道HD中文字幕| 欧美美女啪啪视频| 少妇天堂| 黄片直播三级黄片两女一男| 性生活久久久久久久久久| 熟女久久久| av激情亚洲五月天| 97电影院超碰| 国产97av| 日日日日做夜夜夜夜无码| 色五月婷婷中文字幕| 乱欲性色| 男人的天堂午夜av| 国产精品 午夜福利| 夜夜做夜夜爽精品视频| 日本熟女中文字幕一区| 青青草密桃在线播放| 97操97干| 深爱五月婷婷| 国产精品日日摸天天碰| 欧美经典一区二区三区| 欧美熟女妇同| 成年人黄色视频免费| 日韩有码免费视频| 中文字幕一区二区三区50路| 久久久艹艹艹| 囯产精品久久久久久久久久二区三区| 99ri在线视频| 免费视频一二三区| 精品精品精品| 欧美翘臀视频网站一区二区三区| 91在线欧色| 色综合大香蕉| 久久久久久久久久久久久9999| 久久久久久久久9| 欧美色综合影院| 成人情色综合网| 亚欧成人中文字幕一区| 国产AV天美传媒一区二区三区 | 五月丁香婷婷色| 岛国999| 97人妻免费中文字幕| 噜噜噜亚洲精品| 九九探花视频在线观看| 亚洲人精品久久久| 91欧美美女日韩国产婷婷| 岛国1区2区3区在线观看| 中文字幕一区二区三区人妻少妇在线| 五月婷婷丁香六月丁香| 看看日B真人视频| 欧美性生活免费网| 欧美人妻一区二区| 入口操逼网站| 天久久久噜噜噜久久国产精品爽爽| 狠狠穞A片一區二區三區| 亚州91| 嗯嗯啊啊操死我| 五月天婷婷在线看| 久久精品电影| 神马久久久久眼| а√天堂资源官网在线资源| 亚州高清色综合| 青娱乐国产盛宴视频| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 日韩三级性| 婷婷色五月激情| 精品少妇999| 躁躁日曰躁2020| 97超碰人人模人人拍人人| 国产九区| 久久最新免费视频23| 国产一区免费午夜视频| 久久久久国产精品久久久| 91色鬼| 日韩性爱再线视频| 亚洲日韩视频二区| 久久系列| 91视频综合在线| 一起草AV| 黄色视频特级毛片| 操一操摸一摸| 亚洲高清视频在线免费观看| 国产超碰97| 日本97久久久精品| 日产狠狠干| 成人乱人伦一区二区| 992视频一区| 丰满搜索结果 -第18页- 久久高清无码| 日亚韩精品视频二区三| 女同女同恋久久级三级| 蜜桃狠狠色伊人亚洲综合| 久妇网| 曰本精品久久久| 国产区性爱在线视频秋霞豆| 操逼国产免费| 青娱乐999| 俺也射| 丰满精品人妻少妇久久字幕| 99国产精品在线观看| 国产精品久久久久久久久AV大片| 欧美性生活男人的天堂| 精品视频一区二区| 久久精品高清无码一区| 男人的天堂VA在线| 牛牛久久国产精品视频一二三| 97视频在线观看播放与子乱对白在线……| 婷婷九月色| 大香蕉中文| 欧美热图99| 超碰在线1234区| yy少妇精品久久| 亚洲不卡AV在线| 日韩精品在线观看网站| 婷婷五月天综合网| 日韩精品一区二区三区色欲| 激情丁香五月婷婷| 欧美精品另类人妖xxxx| 嗯嗯啊啊啊好舒服| 欧洲乱码一区二区| 天天综合网1| 天天爱天天韩国日本牛牛牛牛| 两性综合网| 人看人人摸人人操| 婷婷色婷婷| 亚洲情色中文字幕一区| 亚洲精品视频在线播放| 五月天婷婷综合| 精品国产精品一区二区| 久久婷婷六月综合| 精品大久久| 毛片视频白嫩| 亚洲熟女一区| 青娱乐妇女性生活| 人人模人人看| 久久综合国产精品国产| 色视频蜜乳| 乱伦色图网址是多少| 成人五级久久| 岛国精品视频在线观看| 五月天激情小说| 很黄很污的免费网站| av亚洲天堂资源网站| 色天堂综合| 欧美天堂亚洲电影院一区在线播放| 欧美亚洲国产日本在线,久久精品国产| 日本蜜桃| 亚洲性爱免费电影| 五月天色五月| 欧美后入视频| 999热日韩精品| 大象AV在线| 激情抓乳插进去啪啪啪日韩| 91精品啪在线观看国产城中村| 激情综合五月| 中 文字幕一区二区三四 五 区日 日 骚 | 国产不卡中文字幕免费avi| 综合97久久| 乱色老一区二区三区的观看方式 | 日本色婷婷| 思思热在线cao| 91麻豆天美国产欧美日| 91久久18禁| 久夜操| 国产日韩精品suv| 成人精品一区二区91毛片不卡| α√在线| 亚洲91网。| 狠狠躁久久躁| 黄色大片免费在线| 日日夜夜干| 91在线/欧洲| 蜜汁欧美| 91精品女厕偷拍视频| 五月天婷婷欧美三区| 欧美 日韩 另类 亚洲| 97国产精品一区二区传媒公司| 九九九免费视频| 国产成人www免费人成看片| 素人美腿视频网站| 亚洲精品久久久久久久蜜桃臀| 国产毛片久久久久久久| 人妻一区二区三区| 美女91AV| 九九色影院| 欧美韩国你懂得在线 | 国产成人自拍视频在线| 偷窥自拍亚洲色图| 不卡视频一区蜜桃视频 | 国产精品视频白浆免费| 91久久久视| 久久无码精品| 熟女日韩| 色噜噜狠狠色综无码久久合欧美| 久久美女国产| 成人黄页| 欧美亚洲尤物久久| 欧美嗯啊……在线观看视频免费| 草草草视频| 东京日日夜夜| 中文字幕一区二区视频在线观看 | 天天干2019| 神马九九九| 日本操逼二区| 亚洲好色人妻| www.99在线| 九久久精| 少妇免费视频| 一级片视频啪啪| 久久久精品国产亚洲AV无码| 97爱b| 日韩中文字幕国产| 99re在线视频这里只有精品| 99啪啪| 欧美日韩在线小说 | 久久久久国产精品人妻aⅴ天堂| 大香蕉免费3| 亚洲天堂人人妻| 91精品微拍福利| baiduhicn.com。| 黄色免费网| 男人的天堂色偷偷青青草视频婷婷网| 欧美 日韩 亚洲 春色| 天天插夜夜爽| 大伊香蕉在线视频免费| 麻豆天美一区二区| 日韩/97| 思思久热在线精品66| 密臀在线免费观看| 国产精品婬乱一级毛片彝族| 日韩大香蕉AV影片| 人妻精品综合中文字幕在线| 亚洲欧洲日韩天堂av| 亚洲污污网站| www.99色| 色婷婷视频| 蜜屁av| 在线综合 亚洲 欧美中文字幕| 日韩中文字幕国产| 东京热,男人的天堂| 立川理惠无码一区二区| 欧美色就是色| 嗯嗯啊啊好疼| 男人天堂久久精品| 国产一进一出视频网站| 91亚洲影视| 欧美老妇女内射网址| 国产中文字幕曰本毛片| 国内毛片欧美香蕉精品| 亚洲91射| 天天香香欲综合| 日本理论在线| 神马久久久久久| 亚洲综合九| 麻豆60秒| 天天精品| 99re国产精品视频| 狠狠综合| 国产小黄片在线免费观看| 中文字幕伊人| 日韩钢筋无码高清啾啾啾| 日本韩欧美在线播放a| 丰满人妻被猛烈进入中| 变态另类专区| 狠狠干精品一二三四五六2022| 成人影院永久免费观看网址| 亚洲精品欧洲色| 97在线资源| 青青草吊丝| 国产亚洲日本精品在线| 青青草久草| 久久久91福利姬| 色九月综合| 国产 日韩 欧美 人妻 熟女 中文| 免费精品中文字幕| 一区二区三区在线美女| 91麻豆天美| 欧美熟妇色| 黑人粗大V S日韩女优视频| 啊啊啊啊二区好大| 久操操| 国产亚洲色婷婷久久99精品91| 国产精品成人AV片免费看网站| 在线天堂资源亚洲| 欧洲视频在线| 美女黄站| 操一操摸一摸| 国产超碰AV在线精品| 妇女一区二区三区| 国产路线专区| 国产免费内射视频| 欧在线一二区| 99色热| 精品国产乱码久久久久久久| 国产又粗又长又大的视频| 视频在线观看青青99国产| 大香蕉色欲AV| 欧美爱国产综合、| 人妻久久| 91综合中文字幕| 欧美 亚洲 第一页 | 丰满美女一级毛片在线播放| 最近2018中文字幕在线高清第一页| 日韩综合无码一区久久92| 熟妇乱伦一区二区| 啪啪综合网| 日本久久女同性恋视频| 曰本人妻人人澡人人夹| 国语av最新自产拍在线观看| 五月天婷婷基地| 97九色人妻| 九九九综合精品| 欧美人妻色| 天天操人人操骚逼网站| 亚洲色图A| 日韩小电影| yw尤物av无码点击进入麻豆| 日日操丁香五月天| 国产67194| 欧州色图区| 青青操在线亚洲视频观看欧美在线 | 成全动漫视频观看免费下载| 日韩欧美中文日韩欧美色| 天天躁日日躁XXXXYY| 亚洲欧洲另类| 99色热| 毛片17S| 1024午夜激情男人的天堂| 亚洲丝袜二区在线| 日本操逼aaaaa| 激情天天视频| 另类小说五月天| 亚洲情色婷婷五月天| 偷拍网站久久男女男| 乱码熟妇人妻久久久| 夜夜青青无码影院| 久久久久亚洲Av无码专区老牛影视| 国产乱伦性爱区| 亚欧性爱在线无码| 天天综合网1| 久久这里只精品| 日本高清视频xxxx| 欧美综合站| 女上位精品在线| 成 人 A V免费视频在线观看| 18禁美女裸体无遮挡啪啪| 熟女丰满人妻一区| 亚洲天天自拍| 手机在线看片免费人成视频| 亚洲妇色| 久久一二区四| 操逼视频亚洲| 人人摸人人干| 久久69| 国内毛片国产专区二| 97久久超碰| 超碰久久综合| 在线观看免费视频国产| 亚州伊人色综台| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 亚洲无套久久嗯嗯| 国产精品农村妇女精品| 精品人妻av在线播放| 超碰日本97美女人妻人人玩人人爱| 精品无人区麻豆乱码1区2区图片| 激情抓乳插进去啪啪啪日韩 | 91精品在线播放| 操操操日本的逼| 综合网欧| 中国大陆国产高清AⅤ毛片| 内射中出日韩在线观看视频| 天天噜| 婷婷六月色| 东京热,男人的天堂| 91精品导航| 国产精品久久久久久夜夜夜| 色图综合网| Julia在线播放亚洲久久| 超碰在线在公开超碰在线在公开| 一起草精品人妻| 中文字幕精品三级久久久| 性爱视频啪啪啪啪| 亚洲自拍青操视频| 中文字幕成人| 九九碰九九爱97超| 911av网站免费观看| 91国产丝袜白虎| av天堂手机版追回 | 天天干1区2区在线| 日本高清一区二区在线| 亚洲欧美伦综合| 激情五月天色播| 亚洲精品九九九| 亚州色站 日韩电影| 久久丁香久草综合网| 午夜呻吟欧美| 18禁网站在线播放| 欧美色91| 草b在线| 岛国视频一二三区| 天天影视91看看| 99色在线视频| 免费少妇一区二区| 粉嫩久久久极品| 欧美躁死她一区二区| 亚洲 欧美 精品专区 极品| 97se综合网| 思思热在线cao| www国产精品| 青青草黑寡妇男人天堂| 日韩免费三级黄片电影| 人妻少妇无码| n1038 一二三区| 女人爽到高潮潮喷18禁网站| 3PAV乱伦视频| 校园春色家庭伦理欧美激情| 97亚洲综合电影| 日韩欧美国产一区二区三区四区| 人人操超碰在线| 91九久| 精品超碰国产| 欧美Aⅴ| 欧美日韩人妻少妇 一区二区三区| 夜夜爽33333| 三级色综合| 97操综合| 啊啊啊啊二区好大| 99婷婷| 破苞ⅩXXX性无码动漫无码| 亚洲激情视频| 热热色AV| 黄色十八禁| 亚洲天堂女优在线| 成人精品在线| 欧美黄片视频在线观看免费 | 小草精彩毛片| 亚洲色图殴美色图激情乱伦| 极品欧美一区二区三区| 97久久国产| 欧美体内射精| 青青操在线亚洲视频观看欧美在线| 大香蕉啪啪啪| 97国产成人精品免费视频| 秋霞操逼片| 久久人妻熟女一区二区 | 熟女这里只有精品6| 97欧美在线| 精品97久久| 欧美专区17页| 精品十三区| 97超碰美国| 天天日天天色| 天天干少妇| 综合五月婷婷| 欧美黄色大香蕉一区二区| 91久久精品中文字幕| 亚洲欧美日韩制服另类| 天天肏天天干| 亚洲乱码精品一区二区| 超碰欧美97| 麻豆区久久久久亚| 亚洲第一视频 欧美风情 日韩| 老鸭窝黄色视频网站| 97视频www| 性性欧美| 亚洲日本天堂| 亚洲图片欧美偷拍| 天天天肏屄肏屄肏屄欧美欧美| 久久久熟女一区| 欧美色吧综合| 情色图区| 欧美91精品国产自产| 国产精品久久久| 欧美人黑A片无码免视费| 国产精品不卡高清在线观看| 曰韩人妻中文字幕在线| 麻豆国产97在线| 青娱乐欧美激情一区二区| 国产女人和拘做爰视频| 国产aⅴ无码片毛片一级网站| 国产精品色片一区二区| 欧美成人黄网色网站| 精品少妇一区二区三区在线视频| 亚洲色欲天天人妻无码系列专区| 99精品视频在线观看| 青青11操操操操操操操操| 亚洲综合网图| 香蕉av一区二区三区| 夜夜夜爽www精品视频| 亚洲欧美伦综合| 久久超碰、| 精品九区| 国产欧美一区激情交| 我要色综合网站| 一二三四免费视频| 六月婷婷色综合| 青青色在线观看| 久久成年片色大黄全免费网站| 欧美精品久久96人妻无码| 亚州免费啪啪视频| 9999免费精彩视频| 日韩欧美视频青青| 中文字幕乱碼在线| yazhououmeizongya| 久久久久亚洲熟妇熟女| 国产亚洲精品美女久久久m| 久久亚洲婷婷| 91美女视频在线免费观看| …中文字幕亚洲乱,97人妻无码费视…| 人妻少妇无码| 在线播放免费av福利片| 999国产精品999| 欧美一级欧美三级在线观看| 亚洲脚交| 亚洲一曲日韩精品| 久妇网| 九九九九97| 国产400孕妇孕交群| 日韩激情啪啪| 97露脸精品丝袜| 午夜精品久久久久| 久久一二三四| 欧美十八禁在线看| 超碰98综合网| 日韩免费在线观看不卡| 91在线精品| 中国熟女网站| 久久久久97| 国产探花精品在线| 9 7超碰在线免费观看| 校园激情狠狠四射| 色爱国产| 91女优在线观看| 日韩无码视频黄色| 亚洲国产欧美日韩人妻日中文| 99日视频在线免费| 91在线视频观看国产| 91肏屄网| 久久超碰com| aⅴ日韩成人电影av在线免费看av大全| 色好看av| 污色区网站| 五月天激情视频| 超碰偷拍| 国产亚州精品美女久久久免费| 久草精品一区| 国产一区二区三区久久久精品| 人妻无码后入| 国产v片在线免费观看| 久久国产精品一级二级三级| 亚洲综合97| 99re9在线| 是还免费视频1727我| 亚洲三区视频| 亚洲欧美日韩电影网站一区 | 麻豆激情综合| 中文字幕人成乱码熟女香港| 国产日韩人人| 无码日韩人妻av一| 美女91色黄18| 玖玖婷婷五月天| 91欧美情色| 偷拍 精品另类 凸凹了四区| 超碰色97| 富二代亚洲精品99| 一级@啪啪视频| 日夜干射色啊| 免费在线观看国内色片网站网址| 欧美精品,四区。五区| 午夜福利成人免费视频| 唯美清纯 妖精视频| 99色在线| 中文?日韩?免费?精品| 操一区| 日本国产欧美高清在线| 99爱久久视频频| 日韩操逼HD| 久久精品女同亚洲女同13| 六月丁香啪啪| 无码动漫av中文字幕| 亚洲自拍欧美国产首页网曝| 亚洲古典另类欧美在线| 久久久久久久久一区二区三区| 欧美色图亚洲色图成人在在线| 免费中文综合精品| 99久在线精品99re8热视频在线| 九九RE视频在线精品| 久 久无码人妻AV| 国产盗摄美女如厕大神作品在线观看| 18禁的网站在线| 1024精品在线| 亚洲少妇在线影音| 香蕉久久国产AV一区二区| 丰满熟女一区二区三区在线播放| 久久99草| 69精品少妇一区二区三区蜜桃| 久久香蕉国产线看观看亚洲女人 | 欧美一二三级精品在线| 久久久草草精品| 婷婷色网| 午夜男人av| 欧美精品黑人猛交高潮| 伊人国产视频| 色爽爽文学| 亚洲欧美自拍偷拍| 久久久四区| 欧美手机在线综合| 色婷婷在线视频精品导航| 成人一道本免费视频| 欧美天天影院| 国产精品久久久久久久久久久久久久久| 亚洲综合在线视频| ..日韩av毛片精品久久久| 久久久久极品| 亚洲精品不卡一二三区| 极品五月天噜噜| 影音先锋国产精品| 尤物黄色在线观看网站| 狠狠爱大香蕉| 欧美色图99| surenchaopeng| 人妻在线中出视频| 日产狠狠干| 岛国艾薇凹凸视频天堂| 久久精品日韩| 日韩无码人妻| 亚洲有码视频二区| 中文三一区| 加勒比久久av| 久久9999 | 黄片aaaaa一区| 色综合久久av| 日日插夜夜| 亚洲AV麻豆Aⅴ无码电影一| 97se亚洲综合自| 97操碰| 色一区二区三区综合| 伦理日韩国产久久| 亚拍在线| 福利在线视频一区二区| 91久久久老司机| 97精品97| 免费超碰97久久| 美女黑人91神马| 国产天美传媒精品| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 日韩啪啪网| 99在线观看| 99热91| 五月天精品| 黄色大片一区二区密桃丝袜| 九九九九久久久| 97视频观看| 亚洲不卡不卡中文字幕不卡| 97人妻色| 岛国人妻少妇av在线观看| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 99这里只有精品国产| 久久东京伊人一本到鬼色| 日韩精品国产一区二区| 欧美一区二区三区入口| 色婷婷综合视频| 欧美综合第一| 亚洲一卡2卡3卡4卡乱码网站 | 蜜臀久久99精品久久久电影| 蜜臀99久久| 国产91影院| 密乳AV免费观看| 国产美女mm131爽爽爽爽| 日韩免费簧片| 国产AV无码AV| 日韩成人免费电影| 91偷拍欧美亚洲| 国产乱码精品久久久久久| 亚洲成人妻日韩在线| 久久精品一区一起草| 97这里有精品| 久久久久久久久久va| 思思热久久成人| 国产精品自拍欧美在线| 嗯嗯啊操我| 97 国产一区| 大香蕉琪琪日本女优不卡| 国产精品熟女九色九色蜜臀| 国产精品久久久久久久久久久久久久吹 | 精品无码一二三四区| 久肏视频字幕| 国产成人欧美精品在线| 国产熟女乱论| 丝袜AV一二三区| 97在线观看免费视频l| 97欧美日韩综合| A一区片| 水野优香在线观看| 亚洲自拍一区夜夜操| 夫妻AV网站| 操逼逼一区视频| 日韩成人免费电影| 天天懆天天日| 久久久久久亚洲精品不卡人乳| 亚洲中文电影| 日本熟女不卡视频| 青青草手机在线免费观看| 中文字幕精品探花视频| 91在线限制级| 97射欧美| 久久久精品中文字幕爱豆| 婷婷五月天色| 制服诱惑亚洲一区二区三区在线观看| 一区二区高清视频| 睡产熟女乱伦| 久久一二三四不卡 | 天堂综合网| 日本午夜精品理论片A级APP发布| 久久久久久大| 97视频免费播放| 国产一级作爱毛片| 免费农村成人少妇人妻Aa一区二区视频 | 九九久久久久久爱| 亚洲欧美91| 91天堂色男人的天堂| 伊人97色天使| 亚洲蜜臀精品视频久久| 影音先锋视频在线| 久久婷婷色综合一区二区三区| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 淫荡熟女乱伦网| 欧美性爱一区二区三区四区| 天天综合-91入口| 丁香五月天社区| 日韩欧美蜜桃精品久久中文字幕久久 | 狠狠久久手机视频精品| 97资源制服丝袜| 亚洲丝袜二区在线| 久久伊人大香蕉| 久久久九九| 伊人专区一区二区三区| 蜜臀AV成人精品蜜臀AV久久| 99999精品| 久悠悠av| 久久人妻| 亚洲国产一区二区三区在线| 久久日韩肥臀| 日韩精品 视频一区二区| 天天看片麻豆| 日韩性爱视频在线免费观看| 欧美伦乱爱| 国产成人精品必看 | 免费自拍三级综合| 97超久碰| 99久久婷婷丁香| 日韩精品国模| 99老司机精品视频在线观看| 欧日韩在线观看| 国产高清26uuu| 午夜精品久久久久久久99| 日韩国产乱子伦App| 夜夜人妻爽| 大色综合网| 欧美少妇高潮视频| 久久久久精| 欧美人与动性人交a| 1024人妻| 欧美亚洲激情| 欧美一二三区四五区| 亚洲精品人妻在线| 美国三级日本三级久久99| 激情五月综合| 99热在线观看| 九九亚洲精品| 综合五月婷婷| 大象AV在线| 欧美97视频| 超碰人人草| 久肏视频字幕| 嗯~啊~快点 死我视频| 偷拍三区| 蘋果手機免費看成人Av| 成人五月天丁香激情综合| 在线免费试看60秒| 伊人天堂在线| 欧美一区二区传媒| 日韩无码久久熟女一级片| 亚洲双插| 日本熟女不卡视频| 久草综合京东| 伊人久久婷婷| 国产成人精品无码久久| 岛国片在线观看视频亚洲| 99re9| 亚州 综合 色图| 嗯啊不要在线| 午夜视频好爽啊| rivers-china.com| 国产美女激情| 色五月大香蕉| 青椒国产97在线熟女| 国产又粗又长视频| 综合五月天| 探花熟女,姿勢到位,體驗感也到位| 久久久999国产| 97久久久精品| 亚洲激情综合| 中文字幕日韩精品久久| 97精品一区| 天天澡天天爽日日av| 天美国产精品| 欧美精品日韩一区二区| 蜜乳Av成人片网站| 日韩97P| 天天干夜夜| 日韩资源网| 91丝袜美腿网站| 一区二区激情国产熟女| 乱伦Av网| 日韩欧美成人综合在线| 青青在线视频日韩欧美| 少妇熟女视频一区二区三区| 新视频sss国产| 久久99黄色卞西瓜| 东京热亚洲一区二区| 超碰成人最新最好看| 中国91AV| 欧美色97| 97超碰色中文字幕| 啊啊啊啊啊啊啊在线| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 操我啊啊啊啊啊| 国产亚洲人妻综合日韩 久久| 大香蕉一线视频| 日本丝袜人妻内射| 一级成人性爱| 久久久久久久97| 欧美色网络| 久久香蕉国产线看观看亚洲女人 | 青青久操| 色爱综合网欧美| 国产极品999| 色女网日韩| 9久9久9久9久视频网站| 日本免费一区二区不卡| 97干天天| 久操大香蕉手机视频在线看| 99自拍视频| 狠狠综合网| 激情丁香五月| 五月天婷婷综合网| 青青操青娱乐| 欧美亚性天堂| 粉嫩av久久一区二区三区| 超碰九九| 福利天堂| 色香综合天天影视综合| 高清不卡 中文 人妻| 91在线国产后入风骚翘臀美女素人| 极品AV网站在线观看| 精品无码产区一区二| 97欧美色综合| 欧美少妇高潮久久91| 国产情色在线| AV天天在线观看| 搡老女人老熟女91老熟女综合网| 天啪| 粉嫩av在线| 久久综合国产精品国产| 欧美性生活免费网| 天天看,天天做| 六月丁香啪啪| 中日无幕一二三四区| sss视频华人在线| 久久久国产精品人妻丝袜| 欧美日韩大陆黑人少妇99| 大干人妻| 亚洲图片激情小说| 国产成人99久久亚洲综合| 在线观看黄色电话| 91丝袜美女国产| 久久鲁夜| 热久久无毒不卡| 日韩在线观看三级电影| 特级特黄一级毛片免费| 久久久精品91八戒| 久久久97| 美女97超碰| 成人草草视频| 综合伊人网12色| 欧美在线播放aaaa| 91丝袜美腿网站| 另类综合另类| 亚洲一本色道中文无码aV天美| 国产13区| 亚洲天堂少妇| 不卡av免费在线网址| 黄片国产精品一区二区| 精品一区二区成人动漫| 99热99re超碰精品| 夜夜嗨老熟女AV一区二区三区| 九九热国产| 夜间福利片1000无码| 夜夜嗨AV一区天天| 99蜜月精品久久| 蜜桃av色偷偷av老熟女| 欧美成人A天堂片在线观看| 亚州色交| 久久成人午夜狠狠| 日韩欧美亚欧在线视频| 精品一区二区成人动漫| 中文在线久久字幕| 91性情| 岛国黄| 粉嫩久久久极品| 高清肉丝中文无码| 亚洲无码视频免费在线观看网址!| 一起草欧美| 麻豆亚洲Av成人无码一区精品| 偷拍在线观看视频| 亚州色图片在线色| 韩日欧亚a级| 欧美亚洲色图另类国产| 国产蜜臀精品一区免费尤物| 一区二区三区四区在线不卡| 人人看人人爰人人操| 亚洲性爱高潮影院| 大逼色网站| 欧美激情中文字幕另类小说| 330Dv国产女人终合视频极品人与兽| 欧美激情 一区| 夜夜草我| www.狠狠干.coom | 久久ww| 狠狠躁久久躁| 久干9操| 99精品久久久久久| 午夜福利国产欧美日韩夜夜| 91亚洲黑人| 99热伊人| 97碰碰色| 中文在线视频| www.高清无码诱惑一区.com| 另类成人首页一区| 蜜臀99久久精品久久久懂爱| 婷婷五月在线视频| 日本免费二区三区| 五月婷婷激情综合| 情色五月天就去干| 久久久国产成人一区二区三区在线| 欧美A√综合网| 福利操逼| 极品久久久久久久久久久久久久| 国产无码精品高清| 亚洲日韩青青草色月| 国产精品日日摸天天碰| 亚洲人人操| 久久久久99精品成人片蜜臀 | 黑丝91视频| 国产9 9在线 | 亚洲| 国产传媒日本欧美专区| 国产精品成人久久一区二区三区| 国产13区| 久操精品网| 中文字幕乱妇免费视频| 超碰亚洲97| 国产呦精品系列在线观看| 五月婷视频| 91人妻人人澡人人爽人人精品| 四虎AV无码| 欧美十八禁导航成人| 97超碰人操| 天天爱天天操| 日日超碰亚洲| 在线一区| 国产精品视频精品一二| 人妻少妇精品视频一区二区三区| 国产成人亚洲精品自产在线 | 国产精品99久久久www| 天天爱天天操| 综合国产97| 国产一级操B视频| 大香交| 久妇网| 91人妻精华帖| 中文字幕一二三av| 成人五月香网在线| 亚洲高清色综合| 精品久久久久瑟瑟| a片偷拍视频| 亚洲乱熟女一区二区| 99色悠悠| 九九黄色视频在线观看| 91综合熟女| 亚洲日本天堂| 这里有精品| 久久久久亚洲?V片无码V| 欧美色图99| 久久综合女优| JULIA一区二区三区在线播放| 中文?日韩?免费?精品| 男人的天堂在线| 国产少妇与亚洲av| 九色精品视频导航1| 欧美综合第一页| 操死我了嗯嗯嗯| 在线观看亚洲专区| 9久在线视频只有精品| 日韩99神马视频播放| 九九色逼| 午夜.DJ高清在线观看免费7 | 日日做夜狠狠爱欧美黑人| 狠狠狠狠狠狠| 不卡av在线中文字幕| 伊人网高清| 91在线/欧洲| 久久综合精品一区二区三区| 国产97色在线| AA特级绝黄| 青娱乐淫乱1314| 91 天天综合| 性欧美精| 久久久久9999妇女| 五月婷婷综合激情| 成人免费福利在线观看| 色吧5亚洲| 超碰97人妻在线| 97中文综合| 亚洲国产亚洲天堂| 久久久av爱| xxx亚洲午夜天堂| 操一区| 91九九| 亚洲AV噜噜狠狠网址蜜桃动漫| 自拍偷拍国产欧美日韩韩| 日韩精品午夜操呦呦不卡影院| 欧美 熟女 日韩| 日本大香蕉综合网| 免费男人的天堂| 好舒服视频| 免费网色网站| 伊人国产视频| 久久、1234| 欧美图片色综合| aⅴ日韩成人电影av在线免费看av大全 | 天天综合网日韩| 婷婷五月天激情四射| 夫妻天天操岛国视频| 色汉综合| 视频一区二区免费在线| 成年无码动漫av片无尽在线| 日韩在线观看三级电影| 国产精品999aaa| 91肉片| 大学生口爆吞精| 国产亚洲中文不卡二区| 欧美人妻久久精品二区三区| 国产黄片在线免费观看| 日韩AV无码中文一区二区| 亚洲图片偷拍视频区| 99色综合| www鬼畜国产男人的天堂|