久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

在線拍賣系統(tǒng)架構(gòu)設(shè)計(jì):Node.js+Socket.IO+Redis高并發(fā)實(shí)踐

在線拍賣系統(tǒng)架構(gòu)設(shè)計(jì):Node.js+Socket.IO+Redis高并發(fā)實(shí)踐 1. 這個(gè)項(xiàng)目到底要解決什么問(wèn)題拍賣業(yè)務(wù)和普通電商的差距在哪先說(shuō)個(gè)實(shí)際場(chǎng)景。我見過(guò)不少同學(xué)拿到“在線拍賣系統(tǒng)”這個(gè)題目后第一反應(yīng)是照抄電商系統(tǒng)的商品模塊商品列表、購(gòu)物車、訂單、支付然后換了個(gè)殼子叫“拍賣”。答辯時(shí)被問(wèn)了一句“拍賣截止時(shí)間到了但有人正在輸入出價(jià)你怎么處理”就卡住了。說(shuō)實(shí)話這是做拍賣系統(tǒng)最典型的誤區(qū)——拍賣的核心從來(lái)不是“賣東西的流程”而是競(jìng)價(jià)規(guī)則本身。普通電商的訂單狀態(tài)是線性流轉(zhuǎn)下單、支付、發(fā)貨、收貨。買個(gè)東西你付了錢東西就是你的邏輯很直接。拍賣則完全不同它有幾個(gè)電商沒(méi)有的特殊問(wèn)題時(shí)間敏感每個(gè)拍賣品有明確的起止時(shí)間“最后幾秒”往往決定成敗系統(tǒng)必須在毫秒級(jí)處理出價(jià)請(qǐng)求。狀態(tài)競(jìng)爭(zhēng)同一個(gè)拍賣品同一時(shí)刻可能有幾十個(gè)用戶同時(shí)在出價(jià)但只有價(jià)格最高的那個(gè)人能勝出其他人的出價(jià)要被拒絕或立刻被超出的新價(jià)格作廢。結(jié)果裁定拍賣結(jié)束后系統(tǒng)要自動(dòng)判定贏家如果有人在最后幾秒出價(jià)是否順延拍賣時(shí)間這個(gè)規(guī)則必須在后端嚴(yán)格控制不能靠前端倒計(jì)時(shí)來(lái)約定??梢娦愿?jìng)拍過(guò)程本身就是一個(gè)“實(shí)時(shí)直播”所有參與者的客戶端必須看到最新的出價(jià)記錄、倒計(jì)時(shí)和領(lǐng)先者變化這顆不是“刷新一下頁(yè)面”那種體驗(yàn)而是服務(wù)端推動(dòng)的實(shí)時(shí)更新。我當(dāng)時(shí)拿到需求文檔之后第一件事不是選技術(shù)棧而是先把拍賣的規(guī)則細(xì)化成一張可執(zhí)行的邏輯表。比如“加價(jià)幅度不低于多少”“同一用戶不能連續(xù)自加價(jià)”“大促場(chǎng)景下五萬(wàn)人圍觀一個(gè)拍賣品的實(shí)時(shí)瀏覽怎么支撐”——這些才是決定架構(gòu)的核心約束。順便也明確一下這個(gè)系統(tǒng)的目標(biāo)用戶和形態(tài)這是一個(gè)面向Web端的在線拍賣平臺(tái)管理員可以發(fā)布拍賣品、設(shè)置起拍價(jià)和保證金規(guī)則用戶通過(guò)瀏覽器參與競(jìng)拍系統(tǒng)自動(dòng)記錄出價(jià)歷史、判定成交并處理保證金退還。它適合做課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)也能作為企業(yè)內(nèi)部“內(nèi)部資產(chǎn)拍賣”或“二手設(shè)備競(jìng)價(jià)”的原型系統(tǒng)。2. 技術(shù)選型的真實(shí)理由為什么是Node.js不只是因?yàn)樗鼘懼?jiǎn)單確定了業(yè)務(wù)邊界后第二步是選技術(shù)棧。當(dāng)時(shí)我選的是Node.js Express Socket.IO Redis MongoDB這個(gè)組合放到今天依然很能打。下面按“為什么選它”而不是“它多流行”的方式拆一下。2.1 Node.js的擅長(zhǎng)區(qū)間正好卡在拍賣系統(tǒng)的點(diǎn)上拍賣系統(tǒng)是一個(gè)典型的I/O密集、短連接高頻請(qǐng)求、高并發(fā)讀寫場(chǎng)景。每個(gè)用戶的出價(jià)動(dòng)作本質(zhì)上是一次快速的事件提交而系統(tǒng)需要把這個(gè)事件廣播給所有正在圍觀這個(gè)拍品的人。Node.js的異步事件驅(qū)動(dòng)模型天生適合這種“小而快”的任務(wù)。有人可能擔(dān)心Node.js是單線程的會(huì)不會(huì)在高并發(fā)下?lián)尾蛔 ?shí)際上普通拍賣系統(tǒng)的真實(shí)瓶頸很少在CPU計(jì)算而在數(shù)據(jù)庫(kù)連接數(shù)、Redis讀寫能力和網(wǎng)絡(luò)帶寬。Node.js單線程負(fù)責(zé)調(diào)度阻塞操作都丟給底層線程池配合Cluster模塊起多個(gè)進(jìn)程單機(jī)扛住一兩千并發(fā)連接問(wèn)題不大。我做壓測(cè)時(shí)8核機(jī)器上跑4個(gè)Node進(jìn)程每個(gè)進(jìn)程保持1萬(wàn)個(gè)Socket連接整體狀態(tài)很穩(wěn)定。再說(shuō)維護(hù)成本。整個(gè)系統(tǒng)前后端都用JavaScript部署時(shí)不需要多個(gè)運(yùn)行時(shí)環(huán)境寫業(yè)務(wù)邏輯的思路也連貫。對(duì)我這種做全棧的人來(lái)說(shuō)一套語(yǔ)言打通確實(shí)省了不少事。2.2 Socket.IO做實(shí)時(shí)推送選擇它的關(guān)鍵原因是容錯(cuò)而不是炫技拍賣頁(yè)面的核心體驗(yàn)是當(dāng)前價(jià)變了、領(lǐng)先者變了、倒計(jì)時(shí)變了所有在線用戶都能立刻看到。用傳統(tǒng)的HTTP輪詢也行但一是浪費(fèi)請(qǐng)求二是延遲不穩(wěn)定。WebSocket是正確答案但直接裸用WebSocket要處理斷線重連、心跳、連接狀態(tài)同步這些臟活。Socket.IO在這方面幫了大忙。它底層自動(dòng)選擇WebSocket、輪詢或其他可用方式實(shí)測(cè)中某個(gè)用戶網(wǎng)絡(luò)差時(shí)自動(dòng)降級(jí)成HTTP長(zhǎng)輪詢體驗(yàn)不至于崩掉連接斷開后會(huì)自動(dòng)重連配合房間里的事件廣播斷線幾秒再回來(lái)狀態(tài)還能對(duì)得上。異步任務(wù)的部分我用了Redis輔助這一點(diǎn)后面單獨(dú)講。這里先記住一個(gè)結(jié)論Socket.IO不是可有可無(wú)的“聊天室工具”它承擔(dān)了競(jìng)拍系統(tǒng)“現(xiàn)場(chǎng)直播感”的全部責(zé)任。2.3 Redis在系統(tǒng)里的三副面孔R(shí)edis在這個(gè)項(xiàng)目里不是可有可無(wú)的緩存層它承擔(dān)了三個(gè)職責(zé)實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)當(dāng)前價(jià)格、當(dāng)前領(lǐng)先者、倒計(jì)時(shí)截止時(shí)間戳這些更新頻率高、數(shù)據(jù)量小的狀態(tài)放在Redis里避免每次都查MongoDB。分布式鎖解決“同一時(shí)間多個(gè)進(jìn)程處理同一個(gè)拍品的出價(jià)”時(shí)的并發(fā)沖突。Socket.IO的適配器后端讓多進(jìn)程之間能互相廣播事件確保客戶端連在不同Node進(jìn)程上也能收到同一件拍品的出價(jià)提醒。只要系統(tǒng)會(huì)面臨拍賣高峰期Redis幾乎就是標(biāo)配不是可選項(xiàng)。2.4 數(shù)據(jù)庫(kù)選型MongoDB適合這種“敏捷演變”的數(shù)據(jù)結(jié)構(gòu)拍賣品、出價(jià)記錄、用戶信息這幾類數(shù)據(jù)天然是文檔結(jié)構(gòu)。每件拍品的參數(shù)字段可能不一樣字畫有作者、古董有年代、電子產(chǎn)品有型號(hào)關(guān)系型數(shù)據(jù)庫(kù)里要搞一堆“規(guī)格擴(kuò)展表”而MongoDB允許直接嵌入一個(gè)動(dòng)態(tài)的屬性對(duì)象開發(fā)效率高很多。另外出價(jià)記錄是典型的追加型數(shù)據(jù)MongoDB的寫入性能也優(yōu)于傳統(tǒng)關(guān)系庫(kù)的常規(guī)配置。為了讓出價(jià)記錄查詢快我給collection加了聯(lián)合索引{auctionId: 1, price: -1}。為了讓拍賣中的拍品能快速篩選加了{(lán)status: 1, endTime: 1}的索引。這是設(shè)計(jì)初就規(guī)劃好的不是等數(shù)據(jù)量大了才想起來(lái)補(bǔ)。3. 第一個(gè)核心難點(diǎn)拍賣狀態(tài)機(jī)與延遲機(jī)制的完整實(shí)現(xiàn)進(jìn)到具體實(shí)現(xiàn)階段后最復(fù)雜的其實(shí)是“規(guī)則邏輯”而不是“增刪改查”。建議先畫一張狀態(tài)圖把拍品的生命周期理清楚再寫代碼不然很容易在幾個(gè)狀態(tài)的邊界上兜圈子。3.1 狀態(tài)機(jī)pending到running到ending的三態(tài)流轉(zhuǎn)我把拍品的狀態(tài)定義得非常明確pending未開始管理員創(chuàng)建拍品后等待到達(dá)開始時(shí)間。running進(jìn)行中開始時(shí)間到達(dá)或管理員手動(dòng)上架用戶可出價(jià)。ended已結(jié)束到達(dá)結(jié)束時(shí)間且無(wú)延時(shí)時(shí)系統(tǒng)自動(dòng)裁定結(jié)果。settled已成交在ended基礎(chǔ)上完成支付/保證金退還等后續(xù)動(dòng)作。這個(gè)狀態(tài)流轉(zhuǎn)我完整寫在服務(wù)端禁止前端直接改狀態(tài)字段只允許通過(guò)服務(wù)端接口觸發(fā)。這里有一個(gè)關(guān)鍵設(shè)計(jì)容易被忽略狀態(tài)的變更必須帶時(shí)間戳和操作人。比如用戶出價(jià)時(shí)發(fā)現(xiàn)拍品已經(jīng)ended就要明確記下“誰(shuí)在什么時(shí)候試圖出價(jià)被拒”這在糾紛處理時(shí)要查得清楚。3.2 截止時(shí)間到底怎么定不可逆的時(shí)間戳原則前端展示的倒計(jì)時(shí)是從服務(wù)端取到的endTime字段計(jì)算出來(lái)的。任何客戶端本地時(shí)間都不參與“是否截止”的判定攻擊者改系統(tǒng)時(shí)鐘對(duì)服務(wù)端毫無(wú)影響。這里有個(gè)細(xì)節(jié)數(shù)據(jù)庫(kù)里存的是絕對(duì)時(shí)間戳epoch毫秒而不是“剩余秒數(shù)”。因?yàn)椤笆S嗝霐?shù)”是一種相對(duì)狀態(tài)會(huì)隨著計(jì)算時(shí)刻不同產(chǎn)生漂移絕對(duì)時(shí)間戳則無(wú)歧義。前端拿到endTime后通過(guò)const remain Math.max(0, Math.floor((endTime - Date.now()) / 1000))計(jì)算顯示。3.3 最后幾秒的規(guī)則延長(zhǎng)拍賣時(shí)間而非簡(jiǎn)單拒絕這是拍賣系統(tǒng)最出彩、也最容易出錯(cuò)的地方。規(guī)則是在剩余時(shí)間不足X秒如3秒時(shí)如有人出價(jià)則拍賣結(jié)束時(shí)間自動(dòng)延長(zhǎng)Y秒如5秒。這個(gè)機(jī)制通常稱為“自動(dòng)延長(zhǎng)時(shí)間”作用是防止最后時(shí)刻的網(wǎng)絡(luò)延遲導(dǎo)致真實(shí)買家無(wú)法完成出價(jià)。實(shí)現(xiàn)時(shí)不能用“前端倒計(jì)時(shí)到了就鎖死”的方案必須由后端原子操作判斷。我用Redis的WATCH/MULTI事務(wù)來(lái)處理// 判斷并延長(zhǎng)截止時(shí)間 const redisClient require(./redis).getClient(); async function tryExtendAuction(auctionId, latestBidTime) { const key auction:endTime:${auctionId}; const result await redisClient.watch(key); if (!result) return; const currentEnd await redisClient.get(key); const remain currentEnd - Date.now(); const multi redisClient.multi(); if (remain EXTEND_THRESHOLD_MS remain 0) { const newEnd Date.now() EXTEND_DURATION_MS; multi.set(key, newEnd); multi.set(auction:status:${auctionId}, running); } const execRes await multi.exec(); if (!execRes) { // 有其他請(qǐng)求并發(fā)修改重試 return tryExtendAuction(auctionId, latestBidTime); } }這樣寫的核心是REdis的watch機(jī)制監(jiān)聽endTime如果在我讀取之后、事務(wù)執(zhí)行之前這個(gè)key被別的進(jìn)程改了整個(gè)事務(wù)就取消重試。這保證了多人同時(shí)出價(jià)時(shí)只會(huì)有一個(gè)人成功延長(zhǎng)而不會(huì)被覆蓋成亂七八糟的時(shí)間。3.4 定時(shí)任務(wù)的坑setTimeout不是用來(lái)做拍賣結(jié)算的一開始很多人會(huì)用setTimeout來(lái)做“到點(diǎn)自動(dòng)結(jié)算”??雌饋?lái)簡(jiǎn)單但服務(wù)器重啟后內(nèi)存中的timer會(huì)全部丟失。更穩(wěn)妥的做法是每個(gè)拍品結(jié)束時(shí)先把狀態(tài)標(biāo)記為“待結(jié)算”并寫入結(jié)算時(shí)間。然后用一個(gè)獨(dú)立的輪詢?nèi)蝿?wù)去掃描所有“running且endTime已過(guò)”的拍品執(zhí)行結(jié)算。這個(gè)輪詢?nèi)蝿?wù)可以用node-cron實(shí)現(xiàn)每秒鐘掃一次const cron require(node-cron); cron.schedule(* * * * * *, async () { const expiredAuctions await Auction.find({ status: running, endTime: { $lte: new Date() } }); for (const auc of expiredAuctions) { await settleAuction(auc._id); } });掃描頻率是1秒一次粒度足夠了。即便定時(shí)任務(wù)有1秒延遲用戶也感知不到。不過(guò)千萬(wàn)注意掃描任務(wù)必須設(shè)計(jì)成可重入的。也就是說(shuō)同一件拍品不能在兩次掃描中被同時(shí)結(jié)算。我給處理過(guò)程加了一個(gè)狀態(tài)位開始結(jié)算前用Redis setnx寫入一個(gè)lock key成功才繼續(xù)否則跳過(guò)本次。4. 第二個(gè)核心難點(diǎn)競(jìng)價(jià)高并發(fā)下的數(shù)據(jù)一致性出價(jià)是拍賣系統(tǒng)的核心操作比普通的“寫入一條記錄”復(fù)雜得多。每次出價(jià)必須同時(shí)滿足出價(jià)價(jià)格大于當(dāng)前最高價(jià)并且加價(jià)幅度合法。拍品狀態(tài)為running。當(dāng)前時(shí)間還沒(méi)到endTime。不能是領(lǐng)先者自己再次出價(jià)防止自己頂自己刷價(jià)。這幾個(gè)條件任何一個(gè)不滿足都要拒絕這次出價(jià)。但如果判斷完再寫入期間又有別的請(qǐng)求插進(jìn)來(lái)就可能出現(xiàn)“兩個(gè)人同時(shí)認(rèn)為自己出價(jià)成功”的競(jìng)態(tài)條件。解決這個(gè)問(wèn)題的典型方法有樂(lè)觀鎖和Redis原子操作我兩個(gè)都用過(guò)說(shuō)說(shuō)實(shí)際的取舍。4.1 方案對(duì)比樂(lè)觀鎖 vs Redis原子操作給MongoDB的拍賣品文檔加一個(gè)version字段遞交出價(jià)時(shí)帶上讀出時(shí)的版本號(hào)更新時(shí)用findOneAndUpdate帶條件version 讀取的版本號(hào)如果更新結(jié)果為空說(shuō)明版本沖突重新讀取再試。這種樂(lè)觀鎖簡(jiǎn)單可靠但問(wèn)題是在高并發(fā)情況下重試次數(shù)會(huì)很多不僅浪費(fèi)體驗(yàn)也不好。改進(jìn)后我采用的方式是把“當(dāng)前最高價(jià)”放在Redis里用Redis的原子自增/范圍操作來(lái)裁決出價(jià)。const Script if redis.call(exists, KEYS[1]) 0 then return -1 end local currentPrice tonumber(redis.call(get, KEYS[2])) local requiredStep tonumber(ARGV[2]) if tonumber(ARGV[1]) currentPrice requiredStep then return 0 end redis.call(set, KEYS[2], ARGV[1]) redis.call(set, KEYS[3], ARGV[3]) return 1 ; const result await redisClient.eval(Script, 3, auction:status:${auctionId}, auction:currentPrice:${auctionId}, auction:leader:${auctionId}, newPrice, minStep, userId );Lua腳本在Redis里是原子執(zhí)行的這行命令在整個(gè)執(zhí)行期間不會(huì)被其他命令插入所以并發(fā)判斷和寫入是安全無(wú)競(jìng)態(tài)的。出價(jià)成功后再把出價(jià)記錄異步寫入MongoDB。這里Redis不是緩存而是數(shù)據(jù)的“合法裁決點(diǎn)”。4.2 MongoDB里的出價(jià)記錄異步落庫(kù)與補(bǔ)償Redis負(fù)責(zé)裁決MongoDB負(fù)責(zé)持久化。把出價(jià)記錄異步落庫(kù)時(shí)有兩種方案監(jiān)聽Redis的鍵變化事件觸發(fā)寫入。每個(gè)Node進(jìn)程在收到業(yè)務(wù)層“出價(jià)成功”信號(hào)后自行寫庫(kù)。方案2更直觀但需要小心如果某一臺(tái)Node進(jìn)程在寫入期間崩潰出價(jià)記錄就丟了。解決方法是引入一個(gè)簡(jiǎn)單的補(bǔ)償任務(wù)定每隔一段時(shí)間比如每分鐘比對(duì)Redis中的當(dāng)前狀態(tài)和MongoDB中記錄的最高價(jià)是否一致如果Redis中的價(jià)格高于數(shù)據(jù)庫(kù)記錄就補(bǔ)插一條記錄。看起來(lái)有點(diǎn)笨但拍賣場(chǎng)景下極少出現(xiàn)這個(gè)不一致而且補(bǔ)償對(duì)賬能保證賬目可靠。4.3 加價(jià)幅度的校驗(yàn)放在哪一層出價(jià)不是隨意數(shù)字系統(tǒng)規(guī)定加價(jià)幅度必須高于當(dāng)前價(jià)的某個(gè)比例例如5%或固定階梯值。這個(gè)校驗(yàn)務(wù)必放在服務(wù)端不能依賴前端禁用按鈕。理由是顯而易見的任何人都能直接偽造請(qǐng)求。前端可以輔助展示“最低可出價(jià)”后端則必須嚴(yán)格判斷if (bidPrice currentPrice minStep) { throw new BizError(BID_PRICE_TOO_LOW); }這個(gè)currentPrice從Redis里讀而不是從數(shù)據(jù)庫(kù)讀因?yàn)镽edis值實(shí)時(shí)滾動(dòng)的頻率遠(yuǎn)高于數(shù)據(jù)庫(kù)持久化頻率。前端顯示出現(xiàn)微小延遲沒(méi)關(guān)系但后端裁決必須使用最準(zhǔn)的數(shù)據(jù)。5. 前端實(shí)時(shí)交互那些容易被忽略的體驗(yàn)細(xì)節(jié)頁(yè)面實(shí)現(xiàn)上我用服務(wù)端渲染出基礎(chǔ)結(jié)構(gòu)再用Socket.IO負(fù)責(zé)動(dòng)態(tài)區(qū)域的實(shí)時(shí)更新。不是所有地方都要實(shí)時(shí)只有這幾個(gè)關(guān)鍵區(qū)域需要當(dāng)前最高價(jià)與領(lǐng)先者昵稱。最新出價(jià)記錄列表。距離截止的時(shí)間倒計(jì)時(shí)。狀態(tài)橫幅“已結(jié)束”“已成交”。5.1 房間設(shè)計(jì)io.to(auctionId)只推相關(guān)用戶Socket.IO提供了房間room)能力。用戶進(jìn)入拍賣詳情頁(yè)時(shí)前端發(fā)一個(gè)joinAuctionRoom事件后端把socket加入到auction_${auctionId}房間內(nèi)。這樣出價(jià)成功時(shí)只需io.to(auctionRoomId).emit(bid:update, data)所有在線用戶都能收到不在這個(gè)頁(yè)面的人則不會(huì)被廣播干擾。有幾百萬(wàn)人在線時(shí)全局廣播會(huì)造成巨大壓力。按房間推送能把消息量限制在真正關(guān)注當(dāng)前拍品的用戶范圍內(nèi)。5.2 斷線重連與狀態(tài)同步保住用戶的“現(xiàn)場(chǎng)感”網(wǎng)絡(luò)抖動(dòng)是常態(tài)用戶刷新頁(yè)面也會(huì)觸發(fā)socket重新連接。Socket.IO默認(rèn)會(huì)自動(dòng)重連但重連后前端頁(yè)面上的價(jià)格和倒計(jì)時(shí)可能已經(jīng)過(guò)期。我寫了一個(gè)reqState事件socket連接建立后前端主動(dòng)請(qǐng)求當(dāng)前拍品的完整快照當(dāng)前價(jià)、截止時(shí)間、領(lǐng)先者、最近的出價(jià)記錄服務(wù)端從Redis Mongo組裝返回。這樣用戶不管什么時(shí)候進(jìn)來(lái)看到的都是準(zhǔn)實(shí)時(shí)狀態(tài)不會(huì)顯示一個(gè)過(guò)期的死頁(yè)面。5.3 倒計(jì)時(shí)的前端算法不要依賴服務(wù)端的“剩余秒數(shù)”前面說(shuō)了服務(wù)端返回絕對(duì)時(shí)間戳。前端用一個(gè)統(tǒng)一的時(shí)間源來(lái)做倒計(jì)時(shí)更新function formatRemain(endTime) { const remain Math.max(0, Math.floor((endTime - Date.now()) / 1000)); const h Math.floor(remain / 3600); const m Math.floor((remain % 3600) / 60); const s remain % 60; return ${h}:${String(m).padStart(2, 0)}:${String(s).padStart(2, 0)}; }這里有一個(gè)細(xì)節(jié)如果用戶本地時(shí)鐘和服務(wù)端差了幾秒倒計(jì)時(shí)顯示會(huì)不準(zhǔn)確。雖然不是嚴(yán)重的問(wèn)題但競(jìng)拍最后幾秒用戶會(huì)很敏感。嚴(yán)謹(jǐn)?shù)淖龇ㄊ沁B接建立時(shí)服務(wù)端下發(fā)一個(gè)serverTime前端計(jì)算本地時(shí)鐘偏移量之后用Date.now() offset作為時(shí)間基準(zhǔn)。5.4 出價(jià)按鈕的防誤觸設(shè)計(jì)出價(jià)操作是不可撤銷的誤觸一次就可能花冤枉錢。前端在按鈕點(diǎn)擊后要加一個(gè)確認(rèn)彈窗顯示本次出價(jià)后的新價(jià)格。同時(shí)按鈕在收到“出價(jià)成功”或“出價(jià)過(guò)低”的socket響應(yīng)前應(yīng)處于loading狀態(tài)防止快速連點(diǎn)造成沖突。后端也不怕連點(diǎn)因?yàn)閮r(jià)格裁決在Redis的Lua里是原子操作。即便前端快速發(fā)了兩次相同價(jià)格的出價(jià)第二次會(huì)因?yàn)椤皟r(jià)格未高于當(dāng)前價(jià)”被自然拒絕。6. 數(shù)據(jù)庫(kù)模型設(shè)計(jì)寧可多寫一點(diǎn)也不要留模糊地帶6.1 拍賣品集合的核心字段{ _id: ObjectId, title: String, // 標(biāo)題 description: String, // 描述 coverImage: String, // 封面圖URL startPrice: Number, // 起拍價(jià)單位分 currentPrice: Number, // 當(dāng)前價(jià)實(shí)時(shí)取Redis冗余存儲(chǔ) minStep: Number, // 最小加價(jià)幅度 deposit: Number, // 保證金分 startTime: Date, // 開始時(shí)間 endTime: Date, // 截止時(shí)間 status: String, // pending / running / ended / settled leaderId: ObjectId, // 當(dāng)前領(lǐng)先者 bidCount: Number, // 出價(jià)次數(shù)統(tǒng)計(jì)用 actualEndTime: Date, // 實(shí)際結(jié)束時(shí)間可能因延時(shí)而變化 createdAt: Date, updatedAt: Date }注意我用了“分”作為貨幣單位。浮點(diǎn)數(shù)算錢在JavaScript里是災(zāi)難雖然MongoDB支持Decimal128但單位換算成整數(shù)更省心顯示時(shí)再除以100。加價(jià)幅度、當(dāng)前價(jià)、起拍價(jià)全部存整數(shù)分。6.2 出價(jià)記錄集合{ _id: ObjectId, auctionId: ObjectId, userId: ObjectId, price: Number, // 本次出價(jià)分 createdAt: Date, isAuto: Boolean, // 是否系統(tǒng)自動(dòng)出價(jià)預(yù)留 ip: String, // 操作來(lái)源審計(jì)用 source: String, // web / admin }這個(gè)集合只做追加不修改不刪除。用戶可以在詳情頁(yè)看到所有歷史出價(jià)也是后期審計(jì)的憑證。索引{auctionId: 1, price: -1}可以讓“最近出價(jià)列表”查詢走索引。6.3 用戶與保證金保證金設(shè)計(jì)上為了簡(jiǎn)化流程我初期用一個(gè)userDeposits集合記錄用戶為某個(gè)拍品繳納的保證金狀態(tài){ _id: ObjectId, userId: ObjectId, auctionId: ObjectId, amount: Number, status: String, // paid / frozen / returned / deducted paidAt: Date, returnedAt: Date }拍賣結(jié)束時(shí)贏家需要完成付款保證金可抵扣貨款輸家的保證金自動(dòng)原路退回。這是業(yè)務(wù)上比較合理的閉環(huán)。如果沒(méi)有支付渠道可以做成“模擬支付”但數(shù)據(jù)結(jié)構(gòu)上必須有這條鏈路。7. 部署架構(gòu)與橫向擴(kuò)展從單機(jī)到多進(jìn)程的平滑演進(jìn)前面的內(nèi)容主要集中在代碼層面。這部分把真實(shí)部署時(shí)的架構(gòu)設(shè)計(jì)講清楚因?yàn)楹芏嗤瑢W(xué)做完功能后就停了忽略了“系統(tǒng)能面對(duì)多少真實(shí)用戶”這個(gè)問(wèn)題。7.1 單機(jī)起步的最小架構(gòu)初期單機(jī)方案如下一臺(tái)云主機(jī)4核8G以上。Nginx做反向代理靜態(tài)資源走緩存。Node.js起4個(gè)進(jìn)程Cluster模式監(jiān)聽同一個(gè)端口。Redis和MongoDB部署在同一臺(tái)機(jī)器上或者單獨(dú)實(shí)例。這個(gè)配置大概能支撐幾百到上千的并發(fā)在線用戶對(duì)課程設(shè)計(jì)和中小型內(nèi)部系統(tǒng)完全夠用。7.2 Socket.IO的跨進(jìn)程通信Redis Adapter是關(guān)鍵單機(jī)起4個(gè)進(jìn)程之后馬上會(huì)遇到一個(gè)麻煩用戶A連的是進(jìn)程1用戶B連的是進(jìn)程2A出價(jià)后進(jìn)程1只能給本進(jìn)程內(nèi)的socket廣播進(jìn)程2里的用戶收不到更新。解決方法是給Socket.IO配上Redis Adapterconst { createAdapter } require(socket.io/redis-adapter); const { createClient } require(redis); const pubClient createClient({ url: redis://localhost:6379 }); const subClient pubClient.duplicate(); io.adapter(createAdapter(pubClient, subClient));配好之后每個(gè)進(jìn)程的Socket.IO實(shí)例通過(guò)Redis互相傳遞廣播消息room的概念也自動(dòng)變成全局的。這樣“房間內(nèi)廣播所有在線用戶”是基于全集群的而不只限于單個(gè)進(jìn)程。7.3 Nginx的升級(jí)策略與負(fù)載均衡當(dāng)在線用戶數(shù)增長(zhǎng)到幾千、上萬(wàn)時(shí)單機(jī)肯定不夠了。擴(kuò)展思路是Nginx轉(zhuǎn)發(fā)請(qǐng)求到多臺(tái)Node服務(wù)器。Socket.IO長(zhǎng)連接必須開啟ip_hash負(fù)載均衡或者使用sticky sessions否則同一個(gè)用戶的多次長(zhǎng)連接可能被分配到不同服務(wù)器重連后房間信息可能丟失。雖然Redis Adapter能解決跨進(jìn)程廣播但從用戶角度一個(gè)固定的連接能被路由到同一個(gè)后端進(jìn)程重連開銷最小。Nginx配置里upstream node_app { ip_hash; server 10.0.0.1:3000; server 10.0.0.2:3000; }一個(gè)完整的生產(chǎn)級(jí)部署會(huì)涉及CDN、靜態(tài)資源分離、MongoDB副本集、Redis哨兵等但核心架構(gòu)和單機(jī)版本一脈相承。真正的門檻在“編排和監(jiān)控”不在“功能開發(fā)”。7.4 性能瓶頸與優(yōu)化連接數(shù)比CPU更先到達(dá)上限壓測(cè)時(shí)最容易遇到的坑是EADDRNOTAVAIL或者too many open files。Linux默認(rèn)單進(jìn)程文件描述符上限是1024對(duì)一個(gè)支持幾千長(zhǎng)連接的Node進(jìn)程來(lái)說(shuō)根本不夠。必須調(diào)大ulimit -n 65535另外Socket.IO的心跳配置也需要按實(shí)際網(wǎng)絡(luò)情況去調(diào)。默認(rèn)心跳間隔和超時(shí)時(shí)間對(duì)弱網(wǎng)用戶不太友好我調(diào)整成const io new Server(httpServer, { pingInterval: 25000, pingTimeout: 20000, cors: { origin: [https://yourdomain.com] } });這兩個(gè)參數(shù)的含義是每25秒服務(wù)端發(fā)一次心跳若20秒內(nèi)客戶端沒(méi)有響應(yīng)則判定斷開。太頻繁會(huì)增加無(wú)謂流量太慢會(huì)導(dǎo)致“用戶已經(jīng)斷網(wǎng)但服務(wù)端還掛著一堆僵尸連接”。8. 踩坑實(shí)錄那些文檔里不會(huì)寫的教訓(xùn)這個(gè)系統(tǒng)前前后后寫了兩三個(gè)版本踩過(guò)不少坑。挑幾個(gè)有代表性的分享出來(lái)。8.1 并發(fā)用戶出價(jià)后數(shù)據(jù)庫(kù)里的currentPrice和Redis不一致一開始我把currentPrice放在Redis里做實(shí)時(shí)裁決但落庫(kù)時(shí)用的是Auction.updateOne({ _id }, { $set: { currentPrice: newPrice } })沒(méi)加版本控制。壓測(cè)時(shí)發(fā)現(xiàn)某個(gè)時(shí)刻數(shù)據(jù)庫(kù)里的價(jià)格低于Redis里的價(jià)格。原因很簡(jiǎn)單兩次并發(fā)更新在不同的進(jìn)程里執(zhí)行后到的寫庫(kù)請(qǐng)求可能讀到一個(gè)舊的Redis值把數(shù)據(jù)庫(kù)覆蓋成更低的價(jià)。我的修復(fù)方案是把MongoDB更新也改成條件更新只有當(dāng)傳入的新價(jià)格大于當(dāng)前數(shù)據(jù)庫(kù)價(jià)格時(shí)才更新const updateRes await Auction.updateOne( { _id: auctionId, currentPrice: { $lt: newPrice } }, { $set: { currentPrice: newPrice, leaderId: userId, updatedAt: new Date() } } );數(shù)據(jù)庫(kù)里的值就永遠(yuǎn)不會(huì)被低價(jià)格覆蓋。即便Redis和數(shù)據(jù)庫(kù)偶爾不一致數(shù)據(jù)庫(kù)對(duì)賬任務(wù)也能最終修正。8.2 服務(wù)器時(shí)鐘漂移導(dǎo)致倒計(jì)時(shí)提前清零我一開始認(rèn)為服務(wù)器時(shí)間絕對(duì)準(zhǔn)確后來(lái)發(fā)現(xiàn)云服務(wù)器啟用NTP對(duì)時(shí)后極小概率會(huì)出現(xiàn)幾秒的時(shí)鐘跳動(dòng)。當(dāng)時(shí)有一場(chǎng)拍賣明明還有10秒前端倒計(jì)時(shí)直接歸零了。排查半天發(fā)現(xiàn)問(wèn)題出在“本地服務(wù)器時(shí)間和NTP校時(shí)瞬間跳變”上。這種偶發(fā)問(wèn)題很難復(fù)現(xiàn)但拍賣系統(tǒng)對(duì)時(shí)間極度敏感。我的做法是服務(wù)端多維護(hù)一個(gè)serverTimeOffset字段校時(shí)跳變時(shí)做平滑校正不讓倒計(jì)時(shí)顯示瞬間突變。8.3 Socket.IO的內(nèi)存泄漏分清日志級(jí)別的作用有段時(shí)間線上運(yùn)行幾天后內(nèi)存占用持續(xù)上升堆快照后發(fā)現(xiàn)是console.log在打印大對(duì)象??雌饋?lái)是個(gè)小事但生產(chǎn)環(huán)境每秒鐘幾百次出價(jià)廣播每次都打一大坨JSON日志系統(tǒng)自身就會(huì)成為性能瓶頸。優(yōu)化方案是log級(jí)別區(qū)分debug級(jí)別開發(fā)環(huán)境打印完整對(duì)象。info級(jí)別生產(chǎn)環(huán)境只打印簡(jiǎn)要信息auctionId、price、userId、耗時(shí)。warn/error級(jí)別打印完整錯(cuò)誤堆棧。做技術(shù)的人容易忽視日志但日志其實(shí)是排障時(shí)的第一救命稻草。8.4 出價(jià)記錄查詢慢看懂explain()比瞎加索引管用有一個(gè)列表頁(yè)要顯示某件拍品的出價(jià)記錄數(shù)據(jù)量到了十萬(wàn)條后查詢?cè)絹?lái)越慢??磮?zhí)行計(jì)劃發(fā)現(xiàn)查詢走了全表掃描。加了聯(lián)合索引{auctionId:1, createdAt:-1}后速度從幾百毫秒降到個(gè)位數(shù)毫秒。這種問(wèn)題其實(shí)很基礎(chǔ)但真遇到了才知道索引設(shè)計(jì)不能靠直覺(jué)。9. 最后還想再聊幾句這個(gè)項(xiàng)目我從頭到尾做下來(lái)最大的感受是拍賣系統(tǒng)表面上是“一個(gè)帶倒計(jì)時(shí)的商品頁(yè)面”實(shí)際上是一套包含并發(fā)控制、實(shí)時(shí)通信、狀態(tài)機(jī)、資金流轉(zhuǎn)的完整業(yè)務(wù)系統(tǒng)。每個(gè)細(xì)節(jié)背后都有真實(shí)場(chǎng)景在推動(dòng)不是硬湊出來(lái)的功能。如果你想在這個(gè)項(xiàng)目基礎(chǔ)上繼續(xù)擴(kuò)展可以考慮這幾個(gè)方向增加代理出價(jià)功能——用戶設(shè)定最高預(yù)算系統(tǒng)代替自動(dòng)加價(jià)增加拍賣直播——把出價(jià)事件流和視頻流組合起來(lái)增加多幣種支持——后臺(tái)統(tǒng)一按分存儲(chǔ)前端按區(qū)域顯示。這些都是很自然的業(yè)務(wù)延伸。最后分享一個(gè)我做壓測(cè)時(shí)用的腳本思路不要只測(cè)“每秒能處理多少出價(jià)”更要測(cè)“最后10秒高并發(fā)下系統(tǒng)的數(shù)據(jù)一致性是否依然正確”。因?yàn)檎G闆r下可能只有幾十個(gè)請(qǐng)求但壓測(cè)如果只有高峰值的1/10很多并發(fā)問(wèn)題根本暴露不出來(lái)。每輪測(cè)試結(jié)束后跑一次對(duì)賬腳本對(duì)比Redis和MongoDB里的最終數(shù)據(jù)這樣測(cè)試的意義才完整。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
中文字幕免费观看| 97网色| 欧美刺激色黄片免费看| 好属操| 色网在线| 亚洲色9| 日本99视频| 亚洲无码成人精品| 午夜在线播放| 亚洲欧美日韩中文久久自慰| 青青草日逼视频| 91成人在线免费视频| a级成人毛片免费视频高清| 中文字幕青青草| 国产污视频麻豆传媒一区二区 | 97久久精品亚洲| 国产精品无套内谢| 无码高清操逼网址| 另类图片综合| 3P丝袜熟女 色综合| 国产精品午夜福利视频| 青青草伊人久久| 99ri精品| 国产亚洲色婷婷久久99精品91| 国产精品永久免费10000| 17c嫩草51久久91嫩草| 国产精品午夜福利| 91欧美成人色站| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 激情婷婷| 青青久日| 麻豆蜜桃视频在线观看| 乱伦图一区| 男女啪啪啪18禁网站| 偷拍亚洲情色| 黑丝制服中文字幕| 国产精品电| 男人网站婷婷| 2017天天操天天日| 日韩性色| 一级婬片120分钟试看| 欧美日韩中文视频播放| 日本一区二区不卡| 熟妇xxxxx性春色| se吧提供91精品国产91久久久久久| 综合97| 亚洲少妇视频| 老熟妇乱轮| 中国操逼无码| 福利在线观看一区二区| 亚洲AV成人无码一区二区三区在线观看| 国产亚洲精品第一最新| 欧美日不卡| 夜夜嗨AV一区天天| 欧美熟女丝袜| 亚欧美综合网| 日本熟女免费視颖| 亚洲激情网| 亚洲综合性网址| 一区 欧美 日韩 麻豆| 久久综合精品一区二区三区| 国产91专区| 亚洲 欧美 日韩另类 麻豆| 精品夜夜澡人妻无码AV| 91人妻精华帖| 天天色综合图片| 狼人综合婷婷激情四射| 久久偷偷色综合蜜桃| 韩日欧亚a级| 蜜臀久久99精品久久久久久-DVD原版全| 久久精品国产精品一区| 久久老子无码午夜伦不卡| 9久久精品| 国产天天骚| 国产妇女精品视频青青草| 欧美激色| 国产主播福利| 高清国产av无码| 中文字幕视频2区| 2017超碰| 搡老女人911熟妇老熟女| 国产免a费看黄片在线| 大香蕉97久久| 91狠狠综合久久| 亚洲国产奇米影视久久| 午夜久久一区二区无码中出| 欧美亚洲中文字幕| 国产日韩在线播放av| www.91理论| 色999;丁香五月| 国产天天骚| 怡红院久久老司机| 日韩中文字幕视频| 丰满人妻一区二区三区| 深爱伊人影院| 5278欧美一区二区三区| 欧美性区| 欧洲综合色| 国产一区二区三区视频在线看| 99色综合| 啊啊啊啊好疼视频| 草莓精品视频在线免费观看| 91色综| 成人开心网在线视频| 一级婬片120分钟试看| 成人免费不卡在线视频| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 性久久久| 97视频观看| 亚洲色综网| 黄色操人| 久久一区,青青青青草视频在线播放| 97视频一区| 激情视屏国产乱伦强奸| 欧美性爱一区二区三区四区| 欧美Ⅴ性爱| 麻豆久久视频在线地址| 91亚洲人| 欧美黑人性猛交91| 18禁精品网站在线看| 青青色综合| 日韩欧无码一区二区三区免费不卡| 超碰99热| 天天夜躁日日躁狠狠2002| 午夜激情床戏激情| 色五天伊人| 东京热毛片调教| 大香蕉专区| 久久精品人妻一区二区| 国模精品一区二区三区苹果色戒| 在线播放中文字幕| 精品国产久热在线观看| 欧美综色欧| 五月丁香六月婷综合成人综合| 天天热精品| 99精品久久久久久久婷婷| 色踪合AV| 1区2区3区在线视频| 久久9久| 涩爱AV在线| 国产精品嫩草影院免费| 精品二区三四区五电影 | 久草精品一区| 97人人超| 国产强奸乱伦欧美| 智利AV在线网| 婷婷综合五月天| 亚洲色天| 欧美在线视频观看一二三四区高清 | 国产精品女久久久久av爽| 欧美日韩国产色五月综合在线 | 日日夜夜骑| 涩五月婷婷| 亚欧色图在线激情| 欧美影音在线| 天堂岛av| 国产日韩在线播放av| 亚洲宗合网| 五月色网| 琪琪精品免费一区二区三区| 亚洲色图尤物视频| 亚洲图片 欧美电影| 欧美另类色图片| 人人操人人摸人人看人人插| 天美91| 日韩无码久久熟女一级片| 亚洲啪啪性视频| 夜草网站| 99re视频在线播放青草| 丁香婷婷激情五月天无毒不卡 | 国产成人精品日本视频| 久久国产AⅤ| AV久日| 色香阁在线| 一本一道vs波多野结衣| 天天综合网网欲色| 超碰诱惑| 精品美女人人干| 综合亚洲欧美| 色九九综合AV| 10000部十八禁看电影| wwwcaobibi| 岛国网址国产 | 精品国产乱码久久久久久日本公司| 麻豆国产尤物AV| 国产精品久久久久久片| 亚欧毛片基地国产毛片基地| 日本视频在线中文字幕| 欧美综合色,www| 超碰97久久国| 色 亚洲 91| 高树玛利亚无码流出| 五月天激情小说网| 九九性视频| 国人欧美精品一区二区| 黑人综合网| 欧美综合色图片| 精彩久久中文| 夜色97| 青青草在线视频欧美| 狠狠操狠狠插| 丁香五月天视频| 欧美一级在线观看成人| 日熟女| 野狼福利社区| 欧美99999| 久久日韩肥臀| 欧美激情1区| 欧美特黄视频网站| 嗯嗯不要 视频| 亚洲极品| 久久亚洲中文字幕视频| 美日韩男女操屄视频| 99热在线播放| 亚洲 日本 国产 综合| 亚洲图片色图欧美另类| 亚洲中文日韩精品| 99热综合| 欧洲天天在线| 日韩钢筋无码高清啾啾啾| 用力操死我| 天天看综合网| 91总综合网| 国产乱码久久久久久| 天天色踪合| 97在线播放| 蜜臀久久99精品久久久久电影| 91操熟女视频| 天天影视色香欲综合网小说| 最新国内自拍av免费| 欧美A片中文字幕| 成人免费毛片| 午夜理论片在线观看免费| 黄色性爱网网| 淫乱图区 | 做爱A级亚欧| 国产精品免费1区2区视频| 先锋激情∨在线视频播放| 亚洲精品影视老司机| 男女真人网18| 九九热精品免费视频| 无码欧美有限公司| 激情小说亚洲视频| 一区二区三区高清| 少妇一区二区三区高速| 六月激情婷婷| 亚洲成人妻日韩在线| 欧美丝袜美女电影一二三四区| 91插B网站| 26UUU欧美日本| 日韩精品中文字幕一| 综合色播| 五月开心久久AV官网| 久久伊人影院| 日本天天操| 9 9精品一区二区三区| 91热情品| 97超碰超| 日本精品不卡一二三区| 97色视频在线| 91国模| 久久精品国产亚洲AV嘿嘿| 五月天激情婷婷| 亚码人妻| 日本伦乱九九九综合| 亚洲一本大道中文字幕无码在线| 美女97超碰| 大茄子熟女AV导航| 天天操夜夜嗨| 亚洲精品一二三四区| 欧美日日人人天天| 亚洲国产成人福利在线观看| 中文字幕av色| 国产熟女一区二区| 精品亚洲国产成人AV制服丝袜| 天天淫人人妻日日色| 亚洲第一男人天堂| 91人妻素女| 爱欲AV| 五月天婷婷社区| 亚洲精品黑丝| 久久久久久人妻一区精品色欧美| 天天日夜夜爽| 99久久免费看精品国产一区| 国产精品熟女乱伦| 日韩久草| 日韩中文字幕视频在线观看| 91劲爆| 一二三四视频中文字幕在线看| 精品国产自在在线99| 97超碰9| 十八禁啪啦拍视频无遮挡| 久久99精品国产| 免费观看的av| 快播久久人人aV| 女同性恋久久| 国产成人精品网站| 丰满人妻-区二区三区免费| 久久久久成人网| 十八禁视频网站| 超碰久久综合| 激情丁香五月婷婷| 蜜臀久久99精品久久久久久-DVD原版全| 激情四射五月天| 夜夜春夜夜操| 亚洲人成网www| 色约约一区=区三区| 亚洲久热| 国产乱伦搜索结果91P| 亚码激情| a片自拍直播视频| 五月天伊人| 一级性爱视频免费在线| 国模不卡一本二本三电影| 国产精品久久久久久久AV大片| 亚洲国成人情色好看电影| 日韩在线欧美精品一区二区| 亚码人妻| 啊啊啊啊一区| 黄色香蕉视频网站一区| 97欧美色综合| 丝袜内射| 精品久久久久久中文| 天天日熟妇| 婷婷五月天色色| 97超碰9| 白丝AV网站| 91影库| 一区二区三区四区五区久久久久久| 国产高清成人传媒影视| 男人的天堂2018| 小骚逼被操的爽不爽| 丁香五月激情综合国产| 成人无遮挡毛片免费看| 抽插一区二区视频| 九九亚洲精品| 91原创在线观看| 艹精品| 精品免费囯产一区二区三区| 女人一区| 丁香九月婷婷| 手机在线人成免费视频| 一级性爱视频免费观看 | 国产美女91| 无码99| 家庭乱伦性爱av| 啊啊啊啊啊啊在线观看| 加勒比伊人影院| 视频二区美腿丝袜制服人妻欧美| 日本成人A片网站| 香港久久久| 日本一片一区| 97天天搞在线| 亚洲AV成人在线| 飘花国产午夜精品不卡| 91网站18禁| 久久视频,这里只有精品| 亚州操操穴网| 天天综合精品| 强奸a片网| 色y情视频免费看| 丰满人妻-区二区三区| 欧美国产有色电影| 高清国产性猛交xxxx乱大交| 狼人狠干| 伊色久人大在线| 亚洲美女 晚间男人天堂| 日韩啪啪啪啪啪| 国产欧美日韩精品中文| 亚洲成人性爱网站在线播放| 国产精品久久久| 一卡二卡三卡| 韩日欧亚a级| 性欧美| 综合激情一一91| 国产精品 午夜福利| 中文字幕第页| 亚洲黑丝在线| 麻豆亚洲Av成人无码一区精品| 久久久国产成人一区二区三区在线| 欧美A片中文字幕| 亚洲综合欧美| 26uuu久久| 97啪啪| 欧美日韩1234| 亚洲一区中文精品| 熟女这里只有精品6| 深夜福利黄片| 国产99精品一区二区三区免费| 人妻另类 专区 欧美 制服| 少妇被c 黄 免费观看| 美女久久久久久久久久久| 97鸡把在线视频| 夜夜高潮夜夜爽夜夜爱爱一区| 蜜桃传媒视频第一区入口在线看| 亚洲一区二区三区在线激情| 手机看片1025| 91欧美综合在线| 神马久久69| 亚洲欧美日韩电影网站一区 | 国产午夜精品在线观看| 亚洲一区二区三区不卡国产欧美| 国产av强奸美女| 操逼国产免费| 97人人模人人爽人人| 九九久久99| 又黄又爽在线观看视频 | 97国产|免费| 色www精品视频在线观看| 色视频蜜乳| 懂色aV一区二区天美传媒| 欧美少妇色图| 欧美日韩啪啪电影| 人、人、摸,人、人、草| 久操热线| 高跟伊人julia ann| 国产精品3| 亚洲熟妇A V黑人| 国产日韩精品suv| 少妇3P性爱自拍| 国产无马av| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 亚洲国产蜜臀系列在线观看| 美女好片色日本| 久草在线| 国产精品一区二区 尿失禁| 亚洲国产第一页综合视频| 男人干美女| 久热网| 蜜乳中文字幕a在线| 日韩不卡在线一区二区| 九九热九九热| 中文字幕1区2区| 国产精品无码久久久久2025| 又黄又爽在线观看视频| 亚州色阁| 无码精品久久| 嗯嗯嗯嗯啊啊啊好紧好大| 欧美性生活内射| 97精品在线视频| www.伪伪| 男人天堂站| 蜜区区视频79 | 亚洲美女自拍偷拍视频| 国产又黄又猛又粗又爽的网站| 久久爱超碰网| 欧美激情综合网| 国产av美女被艹的乱叫| 欧美激情欧美精品| 亚洲色91| 97色婷| 日韩色图 一区二区| 亚洲精品久久久久毛片A片拉屎| 亚洲男人天堂Av| 99色婷婷中文字幕乱色| 神马久久久久久| 天美麻花大全视频| 无码操逼天堂| 日韩精品在线观看观看| 亚洲日韩青青草色月| 成人性交免费视屏| 九九色逼| 久久九九97| 91 亚洲 欧美 日韩 国产 综合| 久久九九一区二区三区成人| 午夜超碰| 色性综合| 欧美色图20p| 67194国产| 久久亚洲天堂| 日本视频在线观看污污污| 亚洲精品三区在线观看| 狠狠干妹子| 第四色奇米影视777| 日韩av女优在线免费一区| 97中文字幕一区| 精品v日韩欧美国产| 青女在线| 欧美日韩亚洲一区二区在线观看| 丰满搜索结果 -第18页- 久久高清无码| 亚洲综合九九| 麻豆婷婷成人一二三| 一级婬片120分钟试看| 亚洲s在线观看| 乱操乱伦AV| 情色五月天久久久| 岛国黄| 免费99精品国产自在在线| 久久久久国产一区二| 久久久久96| 99精品热| 国产在线综合网| 色 婷97| japan日本高清乱xxxx| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 国产精品第一区第一页| 97超碰久| 婷色五月| 在线岛国新天堂8| 桃色人妻在线视频| 九九色热| 日韩综合成人免费视频| 国产精品97超碰| 麻豆国产尤物AV| 极品欧美一区二区三区| 青青青草原| 亚欧性爱无码| 视频一区二区免费在线| 一区二区三区网站日日骚| 26uuu国产亚洲综合| 国产精品第一页国产大屁股视频免费区i| 一区二区三区精品视频| 国产v亚洲v日韩v欧美v片另类| 蜜臀久久在线视频| 看日韩美女二区三区免费操逼视频| 欧美性爱精品七区| 69久久| 美女高潮视频91| 成人免费在线网站| 性爱视频免费网址| 欧美亚洲中文字幕| 男人把坤坤插入女人的下体| 婷婷五月天av| 亚洲二区精品在线观看| 欧美v日韩v亚洲v最新在线| 熟妇激情| 久久一二三四不卡| 日韩偷拍色图| 人妻熟女av国产网站| 可免费观看的av毛片中日美韩| 九九综合网| 91亚洲不卡一区| 欧美黄色片AAAAA| 国产黄色小视频网站| 超碰色97| 怡红院网站在线视频| 欧亚日韩三区| 少妇诱惑视频| 亚洲人成色9999精品久久| 97 亚洲 日韩 欧美 在线| 熟女六十路| 天天色,天天干,天天干| Sekablack无码一区| 久草午夜| 色欧洲| 91国产丝袜白虎| 啊啊啊啊好大好硬啊啊啊啊啊| 91黑丝少妇| 青青草九九九九九| 亚洲日本成人动漫| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 在线只有精品| 五月激情在线| 少妇超碰在线| 在线观看一卡二卡| 欧美美女自慰一区二区三区| 大香蕉亚洲中文| 五月丁香久久| 99色在线| 久草久热| 欧美狠狠弄| 性色高清在线| 97久久精品国产| 妇女视频网站| 婷婷五月天无码| 老熟女中文字幕高清| 裸体美女久久久| 加勒比人妻综合| 91欧美巨乳| 97在线观看视频| 午夜经典| 人人妻人人爱人人玩| 天天综合97| 91欧美大片| 亚洲人体视频在线观看| 久久成人午夜精品影院| 亚洲欧综合另类无码一区| 国产精品无码在线| 免费AV播放| 九九九综合精品| 试看福利| 91N综合网| 黄片www视频免费| 天天操人人操狠狠插| 婷婷午夜成人色中色| 亚洲aV性爱| 亚洲日本韩国极品一区二区| 98精品国产乱码久久久久久| 无码精品啪啪啪一区二区三区三州| 91中文字幕在线观看| 欧洲综合色| AV乱伦专区| 成人免费福利在线观看| 国产11页| 99re在线精品78| 欧美宗合网| 特级特黄一级毛片免费| 巨爆乳肉感一区二区三区竹菊影视 | 精品国产网站| 死我十八禁| 91狠狠综合网| 午夜寂寞欧美| 亚洲伊人久久精品狠狠在线| 九九九九九九九| 青青色在线观看| 偷拍自拍在线视频观看| 青青11操操操操操操操操| 噜噜噜亚洲精品| 女人久久久| 强奸乱伦日韩AV| 91美腿丝袜在线观看| 久久精品成人一区二区三区蜜臀| 欧美色网| 国产激情久久久| 日韩天天本| 91综合色| 丁香五月综合| 狠狠躁久久躁| 天天欧美色| 丝袜狠狠草尤物 91| 国产色图乱伦| 99免费视频| 男人天堂最新手机版在线青青草| 一级日本牲交大片好爽在线看| 91大学精品激情戏| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 欧美aⅴ99久久黑人专区| 日本Suv精品一区二区| 99久久精品无码一区二区| 亚洲AV资源| 999综合网| 婷婷五月天网| 国产美女自拍视频| 超碰在线看| 51一区二区三区| 啪一啪免费视频| 蘋果手機免費看成人Av| 久久久久久国产成人| 精品夜夜澡人妻无码| 不卡视频一区蜜桃视频| 久久99综合| 女欧美一区二三区| 国产亚洲精品农村妇女| 青青青青草av在线观看| 国产毛片毛片4p懂色| 东北丰满熟女国产一区| 91少妇香蕉久久精品| 国产日韩色综合| oumeizonghese,www| 眼镜人妻101.com| 磁力99AV| av最新免费中文字幕| 国产25页| 操操操日本的逼| 成人久久久精品| 久久精品国产亚洲AV片多多| 成人天天爽| 操比国产| 鸥美中出| 国产人妻天天干精品| 超碰97中文| 美女自卫慰黄网站免费| 色狠狠一区二区三区香蕉| 亚洲一区日韩| 亚洲日韩美女丝袜美腿人妻视频| 丝袜 亚洲 偷拍| 91久久久亚洲| 亚洲自拍一区夜夜操| 亚洲欧洲精品视频发布| 亚洲午夜蜜臀| 天天干天天拍| 免费岛国一级片| 91天天c| 亚洲AV无码黄色强奸| 日韩啪啪啪啪啪| 91一区二匹| 中文久久一区| 日本色色色视频| 天堂成人网| 欧色综合| 91人妻Pr| 久久精品国产亚洲5555| 国精综合一二三区影视| 国内毛片免费h片在线| 欧美资源| 神马影院午夜福利久久久| 天堂8在线新版官网| 亚洲色狠| 国产精品高朝久久久久久久| 亚洲欧洲偷拍一区| 欧美性爱日韩性爱| 97色综合中文网| 久久鲁夜| 中亚精品极乱| 久久av一级av少妇av高潮| 日本二区不卡| 天天干天天日天天射黄色片| 凹凸视频特色日本特黄| 欧美十八禁视频| 清纯唯美综合亚洲| 久久精品老司| 伊人久久久日韩一区| 日本日皮视频逼| 91国产操逼视频| 欧美爱国产综合、| 欧美中字二区| 综合国产97| www…国产操逼| 日韩黄片视频试看| 久久久久夜夜夜夜| 日1区2区3区2020| 欧美日韩大陆黑人少妇99| A V少妇特黄三级| 日韩av不卡在线观看| 欧美日韩午夜精品一区二区三区 | 人人操人人肉久久精品| 精品少妇人妻| 欧美夜色| 91撸色网 玖玖网 欧美| 99亚洲精品| 欧美很很操视频| 亚洲国产成人精品无码专区| 亚洲AV成人无码一二三久久| 一级一性爱免费视频| 日夜精品| 欧美色综合网| 欧美色爱综合| 亚洲图片偷拍欧美| 囯产精品强| 97碰碰日本乱偷人妻中文的| yazhousetuoumei| oumeisetu综合| 97五月天| 亚洲欧美大| 97久久久久久久久久| 欧美,日韩,中文,另类| 精品无码久久久久| 啊啊啊啊在线观看网址| 99999精品成人| 中文字幕艹艹| 东北夫妻性偷拍| 91亚洲黑人| 又大又黄国产| 国产视频三区四区| 午夜久久一区二区无码中出| 97 亚洲 日韩 欧美 在线| 97天天爽| 不卡九肏| 国产盗摄美女如厕大神作品在线观看| 久久综合av| 成人免费毛片| 久久亚州精品成人Av无| 青娱乐二区免费| 国产精品呦一区二区三区| 综合91网| 97超碰久久色| 色综合99999| 久久精品中文字幕女同| 九九九九九九免费视频| 色噜噜人妻av中文字幕| 78精品| 人妻天天爽天天爽三区| 国内毛片热久久思思热| 天天做日日做| 亚洲成av人片色午夜乱码| 伊人网av| 人人妻人人色| 玖玖综合视频| 欧美天天| 韩国黄片aaaa| 五月婷婷色| 夜夜操夜夜爽夜夜高潮| 欧美色图人妻| 国产精品久久泡妞网站| 男女日B国产| 国产三级中文有码在线视频| 婷色五月天| 人妻天天爽夜夜爽精品2| 2026国产精品视频| 欧美se综合| 国产二区视频在线观看电影| 国产精品久久久久久久久AV大片| 亚州伊人色综台| 九九自拍伦理| 高清孕妇孕交 交| 中国一级操逼视频| 久久婷综合| 天天干天天日天天射黄色片| 97人人夜| 欧美伊人久久综合网| 欧美十八禁在线看| 5252色欧美在线| 国产美女高潮视频| 国产多人在线观看视频| 神马久久久久久久久久| 欧亚揄拍偷拍精品视频 | 欧美视频一| 熟女六十路| 国产美女91视频| 高精欧美色| 奇米四色影视777久久久| 小泽玛利亚一二三| 国偷自 一区| 日本性交操一区二区不卡系列| 久久久夜夜嗨免费视频| 污污污8888| 中文字幕99999| 成人性爱电影网| 美女AV一区二区| 人人么人人操| 五月天社区| 欧美精品欧美精品系列| 一级黄色视频网| 欧美高清性猛交| 国产精品乱码久久| 精品久久久亚洲AV成人网站| 成人一区二区三区四区| 国产又猛又粗又爽又黄| 久久国色天香香蕉| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 成人免费性爱视视| 人妻AV 中文字幕的| 精品少妇一区二区三区| 综合影视国产无码| 欧美影音在线| www亚洲免费| 欧美色图天堂网m| 毛片久久| 欧美三级一级| 99久久精品国产系列| 人人乐大香蕉| 男人的天堂网页| 久久久久久久久久久六六| 中韩中文字幕在线观看| 欧美v亚洲v日韩v最新在线二区| 欧洲精品久久| xxx0国产在线播放| 北野未奈加勒比av| 天天色综亚洲91污| 欧美人妻一区二区| 一级免费啪啪片| 一本大道青青| 色五月婷婷麻豆在| 欧美91精品国产自产| 东京太热久久久| 综合久久少妇中文字幕| 蜜臀AV一区二区三区激情综合| 男啪女色黄无遮挡免费观看| 国产夜夜艹| 国产精品久久久久无码Av网曝门| 国产精品午夜成人福利| 人人干黄色| 亚洲资源网| 国模吧 一区二区三区| 久久东京热成人| 情侣开房子拍 日韩无码 女的很漂亮| 欧美超碰在线| 九九十八精品| 亚欧日韩成人| 一卡二卡在线播放| 麻豆人妻精品一区二区| 91AV入口| 日本不卡一区二区三区| 99热伊人| 国产精品成人AV片免费看网站| 91成人在线| 日本在线不卡v二区| 亚洲天堂一二| 人妻夜夜爽天天爽麻豆三区网站 | 精品69网| 日本日日色视频| 日本五十路熟女一区二区| 蜜臀99久久精品久久久久久| 91大胆欧美| 黄色片一区二区三区四区五区| Julia Annxxxxx| 国产刺激视频| 国产女人和拘做爰视频 | 欧美亚洲国产91在线| 日韩久草| 97亚洲综合电影| 欧美少妇性爱网站| 天天噜| 2017大香蕉国产精品久久| 不卡啪啪视频| 亚洲电影中字一区二区| 后入式福利| 久操高青| 韩国一级做A片免费的| 丝袜亚洲综合| 欧美精品不卡一二三四在线91| 日韩99999色| 欧美麻豆成人同性GⅤ在线| 国产精品美女视频诱惑| 熟妇一区,二区,三区。| 精品久久久久黄少妇| 香蕉久久国产AV一区二区| 国产亚洲精品无码三区| 97鸡把在线视频| 欧美色图20p| 女人18精品一区二区三区| 人人爽夜夜操| 婷婷色综合| 色久桃花影院在线观看| 12一15性XXXX粉嫩国产| 99热精品在线观看| 色女免费在线观看视频网址| 欧美日韩国第一区| 99只有精品| 久久久精品无码亚免费| 欧美精品23| 精品无码久久久久久久久果冻糖心| 成人开心网在线视频 | 精品成人动漫一区二区| 日韩无码一级黄色av片| 欧美精品激情| 后入综合久久| 蜜臀无码一区二区| 欧美日韩婷婷中文| 欧美日本久久精品一区 | 伊人久久亚洲中文字幕不卡| 国产精品无码久久久久2025| 亚洲色资源| 国产视频一区二区三区在线免费观看| 久久精品人妻一区二区三区| 免费看污网址| 久久理论字幕视频| 国产精品色色| 99热99色| 欧美日韩性爱精品| 户外裸露刺激视频第一区| 午夜超爽| 少妇一区二区三区高速| CCYY草草影院地址入口| 欧美人妻少妇| 久久春色| 日韩97| 亚洲色91| 亚洲欧美日韩激情不卡| 成人性交免费视频| 欧美色图亚洲激情| 亚洲色狠| 天天干天天舔| 最新av网站在线观看| 日本操逼aaaaa| av爱爱爱| 日韩综合无码色欲vv| 精品国产一区二区三区香蕉欧美| 人人操人人摸人人看人人插| 国产精品久久久久久久电影渣男| 中文字幕乱码人妻二区三区| 黄色激情电影在线观看| 岛国片国产成人亚洲播放| 亚洲二区精品在线观看| 亚洲精品国产精品乱码不99| 久久老子无码午夜伦不卡| 99操逼| 久操视频免费在线观看| 亚洲 欧美 另类 综合 偷拍| 国产精品网站免费| 亚洲色图 图片| 蜜桃网熟妇| 鸥美中出| 日韩欧洲操屄视频| 综合五月婷婷亚洲一区| 久久精品三级影视| 亚洲综合小说另类图欧美视频激情小说色五月天 | 色色色色综合网| 99热精品在线| 99re69| 偷拍亚洲情色| 亚洲国产成人精品女人久久久| 91精品人妻偷情| 国产精品嫩草影院免费| 激情综合五月丁香| 亚洲91色在线| 夜夜爽夜夜摸夜夜操免费视频| 欧美熟妇精品黑人巨大91| 精品国产av一区二区三区四区入口| 国产精品亚洲天堂网址| 久/久精品99看9| 亚洲色欲一区二区三区| 国产人人干| 亚洲欧美综合| 亚洲成人久久一区二区| 久久久九97| 欧美激情色婷婷花野真衣一区二区| 激情另类激情| 亚洲密乳AV| 婷婷五月丁香五月| 伊人991| 东京热双插| 亚洲一卡2卡3卡4卡乱码网站| h在线看免费版在线看| 91五月天| 91狠狠| 蜜乳AV色欲AVAV无码| 色爱欲亚洲| www欧美91| 亚洲一级特黄大片在线播放91| 国产av尤物| 亚洲区限制级 99| 精品人妻视频入口| 婷婷五月天成人| 欧美日韩人妻婷婷一区| 亚洲啪啪综合?v一区综合精品区| 在线人人人人人人精品超| 高树玛利亚无码流出| 91精品人妻一品二品三品| 综合操逼| 少妇极品熟妇人妻无码| dy888午夜老子影视达达兔| 黄片不用下载在线观看| 丰满精品人妻少妇久久字幕| 亚州综合色| 狠狠色丁香| 九九九九九九九| 人人贴人人摸| 人人污日韩一区二区| 亚洲一二三四区| 色色综合网站| 男人天堂最新手机版在线青青草| 日韩免费在线视频观看| 97超碰无码网| 女沟厕偷窥piss小便| 亚洲精品男人的天堂| 婷婷人妻激情| 国产一区96在线| 精品人妻久久久久一区二区三区| 视频国产精品未满十八禁止在线观看| 久久欧洲| 欧美一区二区三区互相| 91欧美长吊| 亚洲国产美女久久久久| 男人亚洲91首页在线| 亚洲丝袜综合| 射 色综合| 国产精品熟女一区二区三区| www.91色综合| 91精片| 九九玖玖精品| A 天堂| 78p欧美| 欧美一二三级精品在线| 欧亚第一综合网| 国产乱伦亚洲色图高清无码| 色情亚洲日本成人| 嫩呦国产一区二区三区AV| 亚洲中文电影| 老司机深夜影院18未满| WWW美腿丝袜香蕉中文| 国产激情av女片自拍| 日韩无码服务区| 玖玖色综合| 天天综合网日韩| 嗯啊不要啊啊在线观看视频| 少妇高潮流水av免费| 91国产美女丝袜足交精品视频| 芊芊操逼视频无码| 丁香7月婷婷| 婷婷久久综合| 狠狠婷婷亚洲中文综合久久| 91中文精品日韩欧美在线| 亚洲成人免费中文字幕| 限制级中的三级片中的黑粗大屌屌日人妻熟女| 我要看免费韩日黄片| 亚洲激情视频| 天堂麻豆天美| 大香蕉一线视频| 亚洲高清色综合| 亚洲免费日韩在线一区二区| 国产精品无码久久久久2025| 亚洲脚交| 99热色这里只有精品| 强奸乱伦AV网址| 人妻少妇无码| 伊人97色天使| 国产区性爱在线视频秋霞豆| 男人的天堂99| 99www.bibizy香蕉资源国产一区二区三区高清| 中文字幕一区二区韩| 中文字幕成人乱码熟女精品国50 | 天天综合网亚洲综合网| 精品女人999| 性色生活片久久毛片婬片免费放女人一级毛片| 五月天欧美色图| 99国内精品| 国产第25页在线观看| 91亚洲电影| 91精产一区二区三区| 开心婷婷五月| 一区二区三区黄色片a| 欧美se综合| 国产成人天堂| 一道本久久棕合爱| 亚洲成人一区二区精品| 色悠久| 97久久国产精品| 刺激性视频黄页| 亚洲午夜AV| 麻花豆传媒剧国产MV出差| 久久岛国| 国产中午字一暮区| 黑人中出21连凳花野真衣| 久久艹逼视频| 亚洲成人免费中文字幕| 99re9| 青青草原香蕉日本Ap| 日韩精品作爱导航| 黄色大片一区二区密桃丝袜| 国产激情在线| 无码丰满熟妇一区二区浪潮AV| 欧美综合第一页| 中文字幕无码不卡啪啪| 亚洲色香| 国产精品肉丝自拍| 天天流夜夜操| 去干网最新版| 国产高清在线观看欧美| 手机午夜电影神马久久| 国产精品久久久久婷婷二区次| 99这里都是精品| 天天插夜夜爽| 欧美日韩少妇色情| 91黑丝少妇| 九九毛片这里只有精品| 大香网伊人久久综合| 久久精品国产72国产精品福利 | 亚洲有码 视频一区| 欧美精品999| 国模少妇一区二区三区| 国产精品无码av| 再深点灬舒服灬太大了添视频 | 中文久久一区| 中文字幕一区 二 区 三 四 五 区日 日 骚| HEYZO高无码国产精品227| 日本高清_区二区三区| 人人操人人插人人摸人人干| 国产又色又粗又黄又爽| 国产无码久久高清| 操国产逼| 婷婷月色| 日韩啪啪网| 伊人久久婷婷| 亚洲人妻AV| 狠狠综合| 熟女精品一区二区三区| 色五月婷婷中文字幕| 91久久99久久91熟女精品| 天堂种子在线www网资源| 国产在线精品偷| 久久久网站| 婷婷五月天在线观看| 伊人AAA| 69精品少妇一区二区三区蜜桃| 啊啊啊不要好疼视频| 天天综合~91入口| 婷婷五月天久久精品视频一区二区三区| 蜜臀亚洲中文| 狠狠躁天天躁日日躁|