久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

XDP與eBPF實(shí)戰(zhàn):從丟包計數(shù)到網(wǎng)絡(luò)性能調(diào)優(yōu)

XDP與eBPF實(shí)戰(zhàn):從丟包計數(shù)到網(wǎng)絡(luò)性能調(diào)優(yōu) 做高性能網(wǎng)絡(luò)加速的這幾年XDP和eBPF基本已經(jīng)成了我工具箱里最常被翻牌的兩件家伙。XDP全名是eXpress Data Path靠的是eBPF這種既安全又靈活的內(nèi)核可編程能力讓業(yè)務(wù)流量在網(wǎng)絡(luò)驅(qū)動層就被加速或過濾掉。今天這篇我不打算堆概念直接結(jié)合我自己在服務(wù)器上做流量治理和抗抖動的實(shí)際經(jīng)歷聊清楚XDP到底能做什么、怎么選、怎么搭、怎么寫、怎么調(diào)速最后送上一份能直接抄作業(yè)的排坑手冊。1. XDP到底在解決什么問題1.1 傳統(tǒng)內(nèi)核網(wǎng)絡(luò)棧的開銷在哪先說說問題本身。在Linux上做網(wǎng)絡(luò)處理默認(rèn)路徑大概是網(wǎng)卡收到報文DMA進(jìn)來驅(qū)動把包描述符寫好觸發(fā)硬中斷然后NAPI在軟中斷上下文里分配skb、把數(shù)據(jù)從ring buffer往協(xié)議棧送緊接著是IP層、TCP/UDP層最后進(jìn)socket隊(duì)列等應(yīng)用來讀。這套流程本身很成熟但代價也很明確每收一個包內(nèi)核都要分配一個skb描述符經(jīng)歷路由查找、netfilter鉤子、各種統(tǒng)計和鎖才能到達(dá)應(yīng)用。對于幾個Gbps的大流量這套路徑在多數(shù)服務(wù)器上問題不大??梢坏┡錾厦棵氚偃f級包Mpps的場景比如DDoS清洗、網(wǎng)關(guān)轉(zhuǎn)發(fā)、高頻交易的前置網(wǎng)關(guān)問題就徹底暴露了。內(nèi)核其實(shí)不是按流量算開銷也不是按字節(jié)數(shù)算開銷而是近似按包數(shù)算開銷。一個64字節(jié)的小包真正有效載荷沒多少但內(nèi)核為該包付出的CPU代價一點(diǎn)也不少——分配skb、軟中斷調(diào)度、協(xié)議棧解析、鎖競爭這些固定成本足以把CPU打滿。我以前一臺24核的機(jī)器跑滿10G線速小包時CPU軟中斷能吃掉十幾個核業(yè)務(wù)幾乎不干活了。這還只是收包如果中間還要過濾、統(tǒng)計、改包那傳統(tǒng)協(xié)議棧路徑上的每一步都是成本。這也是為什么很多人開始往XDP和DPDK這些方案上靠。1.2 XDP的位置比內(nèi)核協(xié)議棧更早一步XDP的思路非常直接不讓你走到skb分配和協(xié)議棧那一步。網(wǎng)卡驅(qū)動收到報文后在NAPI收包流程的起點(diǎn)、也就是還沒為這個包分配skb的時候先執(zhí)行一段eBPF程序。這段程序可以通過自行解析以太網(wǎng)頭、IP頭、甚至四層頭決定這個包接下來是丟棄、放行還是轉(zhuǎn)發(fā)到另一個網(wǎng)卡。這句話里有兩個關(guān)鍵點(diǎn)。第一程序執(zhí)行位置在驅(qū)動內(nèi)部報文數(shù)據(jù)還留在驅(qū)動ring buffer的內(nèi)存里沒有經(jīng)過完整協(xié)議棧也沒有產(chǎn)生skb所以單個包的處理成本可以壓到極低。第二你的處理邏輯并不是寫死的內(nèi)核代碼而是一個eBPF程序由內(nèi)核驗(yàn)證后運(yùn)行在驅(qū)動收包路徑上。這意味著你可以像寫普通C代碼一樣寫過濾、統(tǒng)計、轉(zhuǎn)發(fā)邏輯然后在不改內(nèi)核、不重啟機(jī)器的情況下動態(tài)掛到網(wǎng)卡上。對我來說它能解決一個很現(xiàn)實(shí)的問題以前遇到流量抖動想臨時加個丟包策略要么改iptables規(guī)則要么改程序發(fā)版現(xiàn)在直接在XDP層加個規(guī)則就可以瞬時生效等風(fēng)頭過了再摘掉。單憑這一點(diǎn)線上網(wǎng)絡(luò)治理的姿勢就舒服了很多。2. 核心機(jī)制四種模式、五個動作與eBPF的關(guān)鍵選擇2.1 XDP的三種執(zhí)行模式XDP不是一個單一的路徑它有幾種執(zhí)行模式我一開始也被這個繞暈過先給你列一張對照表模式執(zhí)行位置驅(qū)動要求性能典型適用場景native XDP網(wǎng)卡驅(qū)動收包路徑內(nèi)驅(qū)動必須支持XDP hook最高支持XDP的物理網(wǎng)卡如mlx5、i40e/ice、ixgbe等generic XDP內(nèi)核協(xié)議棧收包路徑中模擬執(zhí)行無特殊要求虛擬設(shè)備也能用較低接近傳統(tǒng)路徑快速驗(yàn)證、veth、不支持原生XDP的設(shè)備offload XDP網(wǎng)卡硬件/固件中執(zhí)行網(wǎng)卡需支持XDP offload不占CPU極高性能智能網(wǎng)卡、可編程N(yùn)ICnative模式是主戰(zhàn)場它掛在驅(qū)動收包的最前端性能收益最明顯。generic模式本質(zhì)是在skb已經(jīng)分配后、協(xié)議棧處理前插入一個模擬的eBPF執(zhí)行點(diǎn)性能遠(yuǎn)不如native好處是兼容性極強(qiáng)連veth這種虛擬設(shè)備都能掛。offload模式聽起來最誘人能把程序燒進(jìn)網(wǎng)卡去跑CPU完全不動但前提是你的網(wǎng)卡得支持且程序不能調(diào)用太復(fù)雜的helper和尾調(diào)用實(shí)際約束還挺多的。一般做生產(chǎn)優(yōu)化我基本默認(rèn)只看native。2.2 XDP返回動作與場景選擇eBPF程序執(zhí)行完必須返回一個int值告訴內(nèi)核怎么處理這個包。XDP的動作就五個XDP_DROP、XDP_PASS、XDP_TX、XDP_REDIRECT和XDP_ABORTED。XDP_DROP控制在驅(qū)動層直接丟包這是低成本抗DDoS、限速、丟特定來源流量的核心手段。XDP_PASS是把包交回常規(guī)內(nèi)核協(xié)議棧相當(dāng)于你的程序只做觀測、審計或攔截部分流量其余正常走。XDP_TX用于從收到該包的網(wǎng)卡上原路發(fā)送出去適合做簡單的反射/回環(huán)。XDP_REDIRECT最強(qiáng)可以重定向到其他網(wǎng)卡、其他CPU隊(duì)列或者AF_XDP socket適合做轉(zhuǎn)發(fā)、負(fù)載均衡、零拷貝到用戶態(tài)。XDP_ABORTED類似XDP_DROP但會額外觸發(fā)一個tracepoint方便把異常包記錄下來排查問題。選動作不只是寫個返回值它還直接影響后續(xù)的工程復(fù)雜度。我建議新手不要一上來就沖REDIRECT先把DROP和PASS玩明白這兩個動作讓XDP變成“可以線上做實(shí)驗(yàn)的丟包加速器”風(fēng)險也最低。2.3 為什么偏偏選eBPFXDP本身是一個hook點(diǎn)真正靈活在eBPF。eBPF程序有四個特性很適合網(wǎng)絡(luò)加速一是內(nèi)核驗(yàn)證器會在加載時做完整的安全性檢查不會讓你像寫內(nèi)核模塊一樣把系統(tǒng)搞崩二是JIT編譯后直接變機(jī)器碼執(zhí)行沒有解釋執(zhí)行的性能赤字三是用map作為內(nèi)核態(tài)與用戶態(tài)共享數(shù)據(jù)的通道可以做統(tǒng)計、配置下發(fā)四是程序支持helper調(diào)用和尾跳轉(zhuǎn)表達(dá)能力足夠覆蓋常見的包處理邏輯。這些特性疊加起來才有了“XDP eBPF”這種兼顧性能、安全和可維護(hù)性的組合。對比一下傳統(tǒng)內(nèi)核模塊雖然也能在驅(qū)動層做包處理性能同樣很好但寫錯一個指針就是panic而且還要隨內(nèi)核版本維護(hù)ABI生產(chǎn)環(huán)境沒人愿意隨便加載。eBPF的驗(yàn)證器雖然時不時會把你精心寫的代碼拒掉但這種“安全上的苛刻”恰好是它能在生產(chǎn)環(huán)境長期存在的前提。3. 動手前先確認(rèn)內(nèi)核、網(wǎng)卡與工具鏈3.1 內(nèi)核版本與網(wǎng)卡硬件確認(rèn)動手之前先把環(huán)境檢查清楚否則后面出了怪問題你都不知道往哪個方向排查。內(nèi)核版本不用追最新但要足夠支持你想用的特性基礎(chǔ)XDP和BCC在4.8之后就能用AF_XDP建議5.4以上io_uring與AF_XDP聯(lián)動則要更新版本。生產(chǎn)環(huán)境我一般建議至少5.10或更高內(nèi)核長期穩(wěn)定版本別為了一個有意思的特性上了非常新的內(nèi)核結(jié)果跟自己的應(yīng)用組件不兼容。網(wǎng)卡是否支持native XDP用ethtool -i eth0看驅(qū)動名稱再確認(rèn)一下驅(qū)動是否實(shí)現(xiàn)了XDP hook。常見的mlx5_core、i40e/ice、ixgbe、bnx2x、ena這些驅(qū)動都有不錯的XDP支持。查看網(wǎng)卡當(dāng)前隊(duì)列數(shù)用ethtool -l eth0想看有沒有丟包錯誤用ethtool -S eth0 | grep -i rx。如果沒有物理網(wǎng)卡也不影響學(xué)習(xí)可以用veth pair配合generic模式跑通全流程。veth的native XDP支持在一些新內(nèi)核上也可以測但版本差異較大所以單純?yōu)榱蓑?yàn)證邏輯generic模式是更省心的路徑。記住一句話先確認(rèn)模式再開始寫程序。3.2 開發(fā)與加載工具鏈怎么選XDP開發(fā)工具有好幾套最常見的三條路線BCC、libbpf和原生iproute2。BCCBPF Compiler Collection適合快速做原型驗(yàn)證Python封裝加上Clang后端寫起來很輕松但生產(chǎn)環(huán)境部署bcc依賴庫比較重版本間行為差異也不小。libbpf是正經(jīng)生產(chǎn)路線配合bpftool在編譯期生成vmlinux.h直接編一個自包含的.o文件運(yùn)行時不需要clang和llvm是目前社區(qū)的主流。直接用ip link set dev eth0 xdp obj xxx.o加載其實(shí)和libbpf方式殊途同歸因?yàn)閕proute2內(nèi)部就是調(diào)用libbpf做的加載。我個人經(jīng)驗(yàn)是寫原型用BCC一旦要放生產(chǎn)或者要長期維護(hù)立刻遷到libbpf這樣可以保證程序在自己服務(wù)器上只依賴內(nèi)核特性不依賴一堆用戶態(tài)庫。加載和查看狀態(tài)的命令只需要iproute2、bpftool、ethtool三件套不需要額外裝太重的東西。4. 實(shí)操從零寫一個可用的XDP丟包計數(shù)程序4.1 找一個合適的最小案例講了半天原理總要落地跑一下。我挑個最簡單的場景把來源IP為192.0.2.0/24的包直接丟掉同時用map統(tǒng)計被丟棄的包數(shù)量。為什么選這個案例因?yàn)檫壿嫼唵未a短還能順帶把map的使用演示出來。語言我選C libbpf的方式編譯出一個xdp_drop_counter.o通過ip命令加載到eth0上。程序要做的事拆一下就是三步先從網(wǎng)絡(luò)數(shù)據(jù)中取到以太網(wǎng)頭識別IPv4再從IP頭里拿出源地址然后匹配規(guī)則命中就返回XDP_DROP否則XDP_PASS。這里比較關(guān)鍵的一點(diǎn)是XDP程序里不能隨便用系統(tǒng)庫和普通內(nèi)存操作只能通過bpf helpers訪問數(shù)據(jù)包內(nèi)存所以校驗(yàn)包長度、手動計算IP頭偏移這些步驟都省不了。4.2 完整代碼與編譯過程下面是我實(shí)際跑通過的一個版本基于vmlinux.h libbpf針對當(dāng)前主流內(nèi)核做了適配#include vmlinux.h #include bpf/bpf_helpers.h #include bpf/bpf_endian.h struct { __uint(type, BPF_MAP_TYPE_PERCPU_ARRAY); __uint(max_entries, 1); __type(key, __u32); __type(value, __u64); } drop_count SEC(.maps); SEC(xdp) int xdp_drop_counter(struct xdp_md *ctx) { void *data (void *)(long)ctx-data; void *data_end (void *)(long)ctx-data_end; struct ethhdr *eth; struct iphdr *ip; eth data; if ((void *)eth sizeof(*eth) data_end) return XDP_PASS; if (eth-h_proto ! bpf_htons(ETH_P_IP)) return XDP_PASS; ip (void *)eth sizeof(*eth); if ((void *)ip sizeof(*ip) data_end) return XDP_PASS; if ((ip-saddr bpf_htonl(0xffffff00)) bpf_htonl(0xc0000200)) { __u32 key 0; __u64 *cnt bpf_map_lookup_elem(drop_count, key); if (cnt) __sync_fetch_and_add(cnt, 1); return XDP_DROP; } return XDP_PASS; } char _license[] SEC(license) GPL;這里有一個我特意保留的小細(xì)節(jié)開頭凡是訪問數(shù)據(jù)包內(nèi)存都要先做邊界檢查比一下當(dāng)前指針加結(jié)構(gòu)體大小是否小于data_end。eBPF驗(yàn)證器對越界訪問零容忍不加這個判斷程序根本加載不上。用PERCPU_ARRAY而不是普通ARRAY是為了讓每個CPU各自累加免掉鎖競爭。生成vmlinux.h一行命令bpftool btf dump file /sys/kernel/btf/vmlinux format c vmlinux.h編譯則用clang指定BPF targetclang -O2 -g -Wall -target bpf -c xdp_drop_counter.c -o xdp_drop_counter.o4.3 加載、驗(yàn)證與卸載操作編譯出的.o文件直接用ip命令加載ip link set dev eth0 xdp obj xdp_drop_counter.o sec xdp加載后想看程序有沒有真的生效用bpftoolbpftool prog show | grep xdp bpftool net showbpftool net show如果看到eth0(xdp)那一行帶prog id說明native掛載成功。想查看map里統(tǒng)計到的丟包數(shù)量可以先查到map id再用bpftool map dump查看各CPU的計數(shù)。測試方法我的習(xí)慣是單獨(dú)起一個測試網(wǎng)段做模擬流量用ping和iperf3分別從白名單和黑名單來源打過來確認(rèn)該丟的丟、該放行的放行。測試完要清理現(xiàn)場就一條命令ip link set dev eth0 xdp off這個卸載操作比改iptables鏈條更干凈因?yàn)槌绦驋煸隍?qū)動路徑上不涉及連接跟蹤和協(xié)議棧狀態(tài)切換很快回滾更快。這也是我為什么說XDP適合線上做“外科手術(shù)”式的手段。4.4 這類程序的性能變化在哪里加了這個XDP程序后性能收益主要不在吞吐峰值而在CPU消耗。同樣是10G流量下的小包風(fēng)暴如果丟包規(guī)則寫在傳統(tǒng)iptables的netfilter鉤子上每個包都要走過skb分配和部分協(xié)議棧路徑而寫在XDP上包從ring buffer進(jìn)來eBPF程序讀完頭就返回DROPCPU只花極少的指令就能消滅這個包。我自己實(shí)測過一個非常簡單的DROP程序在普通雙路服務(wù)器上單核能做到幾Mpps的處理量比走完整協(xié)議棧省下了一個數(shù)量級的CPU開銷。當(dāng)然這個數(shù)據(jù)跟機(jī)型和代碼復(fù)雜度強(qiáng)相關(guān)重點(diǎn)理解它“省在工作沒有發(fā)生”這件事上。業(yè)務(wù)邏輯越簡單收益越明顯。5. 性能調(diào)優(yōu)從能跑到線速的正確姿勢5.1 隊(duì)列、CPU綁定與RSS多隊(duì)列XDP程序默認(rèn)在每個收包的中斷CPU上執(zhí)行也就是說進(jìn)來的流量要盡量均勻地分?jǐn)偟蕉鄠€CPU核上程序才有橫向擴(kuò)展性。這就要靠網(wǎng)卡RSS多隊(duì)列了。先用ethtool -l eth0查看當(dāng)前combined隊(duì)列數(shù)量如果只有一個隊(duì)列用ethtool -L eth0 combined 8把它擴(kuò)出來。然后配合IRQ和RPS把各隊(duì)列的中斷綁定到不同物理核上盡量避免兩個隊(duì)列搶一個核。這里有個常見誤區(qū)很多人以為綁核只是“把進(jìn)程的CPU affinity設(shè)一下”就完了。但XDP的觸發(fā)點(diǎn)是軟中斷路徑而不是用戶態(tài)進(jìn)程所以真正要做的是調(diào)整網(wǎng)卡IRQ的CPU親和性讓每個隊(duì)列的NAPI線程固定跑在指定的CPU上。irqbalance這類自動均衡工具在高負(fù)載下反而會搗亂建議在關(guān)鍵機(jī)器上停掉它手工分配中斷綁定效果要穩(wěn)定很多。5.2 NAPI輪詢與Busy Poll的取舍內(nèi)核默認(rèn)的NAPI收包機(jī)制是“中斷加輪詢結(jié)合”第一個包來觸發(fā)硬中斷之后進(jìn)入輪詢一段時間盡量攢一批包一次性處理。這套機(jī)制對吞吐很友好但延遲上會有微小抖動。如果你的場景對延遲特別敏感可以調(diào)busy poll配置讓軟中斷忙等ring buffer中的包避免每次都走中斷。但這又是個權(quán)衡題busy poll讓CPU在空轉(zhuǎn)等待單個隊(duì)列的pps上去了但CPU占用也會升高。實(shí)際調(diào)優(yōu)時我不會直接全開而是在具體機(jī)器上用perf和bpftool觀察軟中斷時間占比、NAPI poll次數(shù)、每次poll處理包數(shù)量再決定要不要把net.core.busy_poll這些參數(shù)調(diào)大。生產(chǎn)經(jīng)驗(yàn)是一邊壓測一邊調(diào)調(diào)完看P99延遲和CPU空閑率兩個指標(biāo)一起建基線別只看一個數(shù)。5.3 走向XDP_REDIRECT與AF_XDP的零拷貝如果只是丟包和放行XDP其實(shí)只發(fā)揮了一小半能力。真正把它變成“加速器”的是重定向。XDP_REDIRECT可以把包從一個網(wǎng)卡收進(jìn)來后通過ndo_xdp_xmit重定向到另一個網(wǎng)卡發(fā)出去CPU在整個過程中不需要把包復(fù)制到用戶態(tài)再復(fù)制回去這對網(wǎng)關(guān)類應(yīng)用非常關(guān)鍵。還有個方向是AF_XDP。它通過XDP_UMEM在用戶態(tài)預(yù)先注冊一段內(nèi)存池驅(qū)動把收到的包直接DMA到這段內(nèi)存里再通過特殊的socket告訴用戶態(tài)“這個包可以讀了”省掉了內(nèi)核態(tài)到用戶態(tài)的數(shù)據(jù)拷貝。配合新版內(nèi)核的io_uring優(yōu)化AF_XDP在轉(zhuǎn)發(fā)、抓包、防火墻用戶態(tài)處理這些場景里已經(jīng)是DPDK之外很有競爭力的方案。當(dāng)然代價是你需要重新設(shè)計用戶態(tài)收包循環(huán)工程復(fù)雜度比單純XDP高不少適合團(tuán)隊(duì)確實(shí)有硬性能瓶頸時再去啃。5.4 XDP與DPDK怎么選這兩個方案經(jīng)常被放在一塊兒比。選型我按自己的經(jīng)驗(yàn)給個簡表維度XDPDPDK數(shù)據(jù)面位置內(nèi)核驅(qū)動層完全繞開內(nèi)核接管網(wǎng)卡CPU占用正常PASS/DROP時開銷極低REDIRECT也遠(yuǎn)小于協(xié)議棧輪詢模式會占滿對應(yīng)CPU開發(fā)維護(hù)eBPF C libbpf有驗(yàn)證器保護(hù)用戶態(tài)輪詢網(wǎng)卡配置復(fù)雜度高與內(nèi)核網(wǎng)絡(luò)棧結(jié)合天然保留PASS路徑可回退協(xié)議?;竞透邔訁f(xié)議棧隔離部署風(fēng)險相對低掛載/卸載像開關(guān)網(wǎng)卡被接管后常規(guī)協(xié)議棧失效影響面大適用場景流量治理、負(fù)載均衡、小包過濾、網(wǎng)關(guān)加速高性能轉(zhuǎn)發(fā)、DPVS、用戶態(tài)協(xié)議棧重構(gòu)一句話我常跟同事說如果目標(biāo)是“讓現(xiàn)有內(nèi)核網(wǎng)絡(luò)棧跑得更快”優(yōu)先XDP如果目標(biāo)是“干脆不用內(nèi)核網(wǎng)絡(luò)?!痹偃タ紤]DPDK的工程量。6. 常見問題速查與排坑筆記6.1 XDP程序加載失敗怎么辦最典型的錯誤是驅(qū)動不支持native XDP導(dǎo)致ip命令報“offload”或者驅(qū)動不識別之類的問題。這時候先用generic模式驗(yàn)證功能ip link set dev eth0 xdpgeneric obj xx.o sec xdp。如果generic能掛上而native掛不上基本可以斷定是網(wǎng)卡驅(qū)動不支持要么換設(shè)備要么保持generic并接受性能損失。還有一種是程序本身被verifier拒了。報錯的字符串里一般會寫明“invalid access”“R1 typectx”之類的信息這就要回到代碼檢查data/data_end邊界判斷。舊內(nèi)核上如果bpf_jit沒開也可能出現(xiàn)一些奇怪的加載失敗用sysctl net.core.bpf_jit_enable確認(rèn)一下。6.2 程序掛上了但丟包行為不生效掛載成功后丟包不生效我碰到的原因通常有幾種一是程序掛在generic模式上而流量被更高層的東西提前接管了邏輯上繞過了這個hook二是規(guī)則里對IP頭偏移算錯了比如沒考慮VLAN頭或者IPv6流量根本沒進(jìn)你的匹配分支三是被丟的包其實(shí)是在其他網(wǎng)卡或者其他CPU的隊(duì)列上處理的而你把程序只掛在了一個網(wǎng)卡。排查思路也很直接先用bpftool net show確認(rèn)prog確實(shí)掛在目標(biāo)網(wǎng)卡上再用一個最簡單的“見包就DROP”的程序做對照實(shí)驗(yàn)確認(rèn)路徑通了再逐步加規(guī)則。這樣能最快把問題邊界劃出來。6.3 verifier常見拒絕原因?qū)慩DP程序我最常踩的verifier坑是這幾個忘記檢查包長度導(dǎo)致越界讀取錯誤使用bpf_htonl/htons導(dǎo)致大端小端匹配不上在循環(huán)里使用非固定邊界或者引用了容易被誤判的變量直接把內(nèi)核指針存儲到map以及在helper參數(shù)里傳了錯誤的類型。遇到驗(yàn)證失敗最重要的事是完整閱讀verifier輸出的寄存器狀態(tài)信息它會明確告訴你“invalid mem access”發(fā)生在第幾行。另一個建議是盡量少用復(fù)雜循環(huán)多用map和helper來簡化邏輯既能讓verifier更輕松也讓程序更穩(wěn)定。6.4 性能不達(dá)標(biāo)的排查思路XDP程序性能不理想別急著懷疑XDP不行先按數(shù)據(jù)面鏈路排查先看是否真的跑在native模式再看網(wǎng)卡接收隊(duì)列有沒有打滿ethtool -S eth0里的rx_dropped是否在漲然后用bpftool prog profile或perf采樣看CPU到底在程序哪段邏輯上燃燒最后看內(nèi)存帶寬和NUMA拓?fù)淇鏝UMA訪問包數(shù)據(jù)會顯著拖慢處理。一個簡單有效的對照實(shí)驗(yàn)是把程序內(nèi)部邏輯簡化到一個計數(shù)器加XDP_PASS測一遍再把邏輯換成完整匹配再測一遍兩者的差值就是你的業(yè)務(wù)邏輯真實(shí)開銷。這樣定位問題要快很多。寫到這里XDP對我來說最大的價值不是某個具體數(shù)字而是一種“能隨時干預(yù)收包路徑、又不用冒內(nèi)核模塊風(fēng)險”的掌控感。本來還想多分享一點(diǎn)AF_XDP用戶態(tài)收包循環(huán)的細(xì)節(jié)但那個坑更長留到下次單獨(dú)展開更合適。如果你正打算在生產(chǎn)環(huán)境引入XDP我的建議是先用最簡單的DROP/PASS程序把鏈路跑通積累一兩次線上流量治理的實(shí)踐經(jīng)驗(yàn)再去碰REDIRECT和AF_XDP那些高階玩法。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
在线五区| 亚洲的天堂网| 亚洲日韩美女中文字幕乱| 色路综合| av三级电影在线播放| 老司机久久| 婷婷丁香成人| 日本丝袜人妻内射| 思思久热在线精品66| 青青草好吊| 久超超碰| 偷拍超碰| 欧美成人综合| 久久久久久久78| 婷婷五月天色色| 亚洲天堂AV在线播放| 试看日韩黄片| 国产精品播放| 国产精品美女视频诱惑| 97超碰欧美手机| 欧美91色| 97网站在线观看| 91色s| 97国产亚洲中文在线| 五月天激情综合网| 婷婷综合网站| 柠檬AV导航| 亚洲av无码成人精品国产| 欧美综合娱乐久久| 亚洲精品无码成人久久久99| 中文字幕精品一区欧美| 亚洲国产欧美另类自拍| 开心五月婷婷激情| 91美女视频在线| 日韩精彩免费| 艳尻美人妻| 97 超碰 人人做 人人爱| 久久久久13| 韩国一级婬片A片AAAAA| 日韩一级久久毛片| 久艹视频在线| 欧美少妇高潮| 91老司机在线| 国产精品直播在线观看直播| 内射夫妻三片| 亚洲伊人a线观看视频| 欧美性爱18观看| 在线观看免费视频国产| 久久免费精品视频免一| 99综合视频一体| 熟女精品一区二区三区| 亚洲色图久久成人| 免费亚洲国产精品久久一区| 亚洲加勒比色图| 国产sv美女内射| 91熟女视频| 操逼逼一区视频| 色黄色美女大长腿午夜视频| 亚洲Av无码成人精品国产| 天天躁日日躁AAAXX| 玖玖视频在线资源一区二区三区| 10000部十八禁看电影| 免费网色网站| 亚洲欧美洲综合| 91久久青青草原精品| 久久伊人亚洲AV无码网站| 偷拍亚洲熟女视频播放| 2024人人操人人摸| 午夜精品久久久99| 久久久91福利姬| 性猛交| 无码外流操逼视频| 中文字幕一区日韩精| 美女在线H91| www.男人天堂| 中文视频在线观看| 免费在线观看国内色片网站网址| 曰韩精品九九无码| 91人妻在线视频| 在线中文字幕| 97色色色| 国产一区二区精品在线视频| 国产熟女完整版中字| 天天日天天色| 狠狠爱夜夜干| 日本黄大片在线观看视频| 国产日韩欧美三级片| 老师充足的奶水小说| 色综合天天爱去电影网| 人妻日日干| 草蕉影视亚洲无码| 综合网亚洲| 九九成人| 嗯嗯嗯啊啊在线观看| 狠狠操官网| 天天干天天做| 五月天人妻综合| 男女性感激情网站| 乱子伦一区二区三区国产精品| 久久久久久久久一区二区三区| 久草视频在线视频在线视频在线观看| 97在线国产精品| 97超碰影音| 偷拍亚洲熟女视频播放| 午夜毛片高清免费不卡| 久久久久久日韩| 99re6久热只有精品6在线直播| 日本熟妇自慰性高潮一区二区三区| 小日子操bb在线看| 精品一区二区三区蜜桃| 96AV精品| 97超碰碰| 日本天天干天天操一区| 中文字幕日本久久| 日本 情色 1区2区3区| 777琪琪午夜免费A片| 欧美性,色九九| 好爽视频在线观看视频| 又黄又爽在线观看视频| 日韩免费簧片| 综合色拍| 色爱国产| 欧洲综合色图| 欧美少妇大量自拍视频在线观看| 天天综合亚洲综合| 歐美一級亂黃99在綫精品| WWW.操逼.COM| 极品粉嫩一区二区| 久久久亚洲欧美综合| 人妻丝袜肏逼| Julia在线播放亚洲久久| 欧美亚洲系列| 久久久久久九九九九-美女久久久久久久-成人AV | 亚洲色9| 性爱网站一区二区| 91亚.色| 国产欧美一区激情交| 久热热| 顶级少妇BT天堂| 国产亚洲深夜激情| 中文字幕丰满人妻日本| 欧亚揄拍偷拍精品视频| 加勒比综合| 欧美 中文字幕 一区| 中日韩免费看男女操逼大全| 操学生天天| 欧美色性爱| 欧美综合色,www| 精品久久在线区一区| 美女熟妇色| 亚洲诱惑天堂 | 男人的天堂网免费| 国模私拍一区二区三区神乳| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 嫩草91| 国产伦精品免编号公布| 成人性爱视频在线看| 亚春色色| 色情亚洲日本成人| 九九亚洲视频| 亚洲天天做日日做天天谢日日| 日本高清加勒比| 亚州伊人色综台| 国产人妖的免费的视频| 九九九免费视频| 好屌色综合| 欧美拳交在线播放| 黄片免费久久久久久久| 爽爽歪在线视频| 成人性爱av| 天天色欧美| 精品无码久久久久| www.狠狠干.coom | 黄色av一区二区在线| 日韩欧美性吧婷婷乱伦大香蕉| 中国小夫妻勾搭露脸淫荡对白| 欧美性生活综合| 20cm女自慰在线日韩欧美| 亚洲色图 图片| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 骚货 中文字幕 av| 久操影视| 北条麻妃性愛视频| 色香伊人| 加勒比人妻综合| 中文字幕一区 二 区 三 四 五 区日 日 骚| 国产又粗又长又爽又色| 男女激情黄色网址| 久久男人精品| 中国操逼无码| 狠狠久久手机视频精品| 97操| 最新亚洲黄色免费电影| 国语少妇精| 中文子幕一二三| 国产亚洲精品美女| 98精品国产乱码久久久久久| 欧美永久激情一区二区| 久久大香蕉手机高清| 久久婷婷五月综合| 99色视频| 不卡码视频| 九九热免费国产视频婷婷伊人五月 | 吉田爱美AV在线| 欧美亚洲激情小说| 97 亚洲 日韩 欧美 在线| 天天拍天天操| 久操综合在线| av在线人气| 欧美色图中文字幕| 亚洲综合另类色图| 久久香蕉国产线看观看亚洲女人 | 婷婷五月天色网| 9久9久| 中文字幕一品色图| 亚洲色性| 黑人猛交| 在线观看高清AV| 亚洲中文日韩欧美大香蕉视频| 在线观看色视频| 午夜无码精品免费看性色| 日本一区二区不卡精品| www.zbzhongsen.com| 久久99操天天日| 狠狠躁AV| 一二三卡欧美日韩人妻免费精品| 亚洲骚逼少妇| 国产乱伦性爱区| 亚洲免费成人精品电影| 色9999日韩国产| 2011国产精品| 精品中文一区二区| 999精品乱码| 黄色人人| 日本99久久| 日本少妇va7777| 日本东京热大香蕉a片| 97欧美色综合| 呦呦一区| 久久大香蕉| 69综合网| 78久久| 免费观看国产小粉嫩喷水精品午| 九九色影院| 中文字日本乱码| 天操天操夜操夜月操月年年操操| 青草成人免费视频一com| 岛国毛片在线观看免费| 香蕉综合网| 宗合情欲网| 性欧美| 亚洲欧美色图小说| 91狠| 羞答答AV中文字| 国产v亚洲v日韩v欧美v片另类| 国产精品久久久久无码A√| 91老司机在线| 国产精品自拍xxxx| 久九干| 亚洲激情在线| 性做久久久久久免费观看软件| 伊人大香蕉在线| 啊啊啊轻点在线观看| 国产精品一区二区手机看片| 长长久久88视频| 久久精品中文字幕女同| 日韩欧美福利视频看看| 97久久精品亚洲| 熟女熟妇一区二区三区视频| 色天使亚洲综合在线观看| 99国产人成精品| 天操天操夜操夜月操月年年操操| 岛国视频一二三区| 精品美女在线视频| 精品国产一区二区三区四区在线看| 丁香五月电影| 欧美激情精品久久久久久| 国产一级不卡在线观看| 亚洲情色综合网| 日韩在线性爱免费视频| 国产精品丝袜久久亚洲不卡| 日本色色视频网站| 国产久久一区二区| 99久久久无码精品国产人| 亚洲A色| 欧美精品宗合| 热久久91婷婷| 天天上日日上日韩精品| 91国产操逼视频| 日本天天操| 亚洲成成熟女人综合一区二区| 麻豆啪啪啪视频| 欧美激情久久久久| 国产中文精品一区二区在线观看| 亚洲第一色页夜| 亚洲āv网址在线观看| 97爱免费插| 一区二区高清视频| 精品人妻一区二区三区夜夜| 中国一级操逼视频| www.人人摸在线视频| 国产成人久久久精品免费AV| 天天爽天天操啊啊啊| 亚洲av在线免费观看| 人妻夜夜爽天天爽三区麻豆AV网站| 九九av| 福利视频网站| 91偷拍欧美亚洲| 人人艹亚洲| 91亚洲欧美综合高清在线| 人妻99p| 久操国产在线| 97日视频| 在线看免费无码AV天堂的| 日韩天天综合| 成人贴图日韩欧美| 亚洲色欲天天天堂色欲网女| 色亚州人久干视频在线观看免费版| 国产精品视频白浆免费| 试看日韩黄片| 黄片无码在线制服| 男人天堂新在线| 久妇网| 天天躁日日躁AAAAXXXX国产| 男人的天堂VA| 久久久久七视频| 欧美午夜视频精品久久| 国产成人91一区二区三区| 欧美乱妇狂野欧美在线视频| 婷婷五月天影院| 69XX一中文字幕人妻91| 妇女乱色二区| 99热导航| 亚洲综合激情五月久久| 呦呦影院| 日产精品久久久一区二区| 日韩AV中文字幕电影| 狠狠色狠狠色狠狠五月| 午夜精品久久99蜜桃的功能章节| 中文字幕人乱码中文字的预防方法 | 操淫穴亚洲五月丁香 | 天天插夜夜爽| 天堂蜜桃无码视频一区二区| 欧美另类综合久久| 91福利网在线观看| 国产视频第二页| 中文字幕久久精视频久久大全| 五月丁香激情综合网| 一区二区免费电影久久| 超碰九区| 大香蕉手机在线| 色爱欲亚洲| 五月婷婷激情| 91粉芽高清在线一区二区| 操逼操逼视频操逼| 另类亚洲一区二区三区| 九九热九九| 97少妇人妻中文字幕久久 | 国产无吗在线播放| 神马久久午夜| 凹凸精品熟女在线观看| 99999久久精| 国产吹潮女在线观看| 爱干爱射网啊啊啊| 日本青青草在线| 婷婷五月天激情网| 欧美一区91大爱| 这里都是精品在线观看| 久久九九网| 成人三级片无码| 亚洲中文日韩欧美大香蕉视频| yiqicaoav| 欧美狠狠干| 亚洲黄色AV电影| 亚洲成人ab| 夜夜夜夜久久久久| 91天天综合日韩欧美| 久久久精品,3| 久久久久久久久久久久97| 久久久久久中文| 激情四射婷婷六月天| 在线观看午夜婷婷久久久久清性观看| 大香蕉青青9| 色www精品视频在线观看| 麻豆人妻少妇在线免费观看| 1234区中文字幕在线观看_青青草国产在线_日韩一区二区 | 日本黄 R色 成 人网站| 在线视频日韩欧美国产| 欧美极度丰满熟妇hd| 亚洲欧洲网站免费观看| 色婷视频| 天天日日舔舔| 日夜久久久九九九久| 日日日啊啊啊| 91AV天美在线视频| 欧美综合色| 亚洲色图欧美| 欧美人与动性人交a| 亚洲成人精品在线一区| 在线播放一级无码视频| 日日夜夜草草草| 国模吧 一区二区三区| 国产精品白丝www| 91N综合网| 蜜臀久久99精品久久久久久无删减| 亚洲综合在线91| 天天肏天天干| 成人三一级一片aaa| 欧美一级黄片免费播放| 麻豆天美国美国产| 美日韩一二三区| 日日97| 97免费在线观看| 黄片视频,下载| 久久99午夜精品一区人妻| 天天插天天射| 天天日天天操VV| 亚洲天天天| 国产欧美在线观看免费观看| 美女黄频a美女大全免费皮| 蜜桃臀av在线观看| ...日韩成人一区二区三区字幕| 国产91美女视频| 囯产精品久久久久久久久久梁医生 | 91色碰| 黄色一区三区| 午夜性生活av免费在线看 | 99re在线视频| 波多野42部激情无码喷潮| 欧美国产伊人久久久久| 78p欧美| 日日97| 95自拍视频在线观看| 丁香五月电影| 亚欧操逼片在线观看| 亚洲日韩在线a不卡99精品| 欧美劲爆视频一区二区| 磁力99AV| 91色综合| 久热这里| 婷婷五月天色网| 无码一区二区精品视频久久久春药 | 久久草视频污视频| 51国产午夜精品视频| 激情五月综合网| 中国黄色特级精品一区二区三区片| 懂色aV一区二区天美传媒| av资源在线播放天堂| WWW.加勒比人妻一区不卡.com| 91丨人妻丨国产丨丝袜| 五月婷婷丁香六月| 中文字幕国产| 日本3级一区二区免费| 一直超碰| 香蕉久久AⅤ...| 97色97好| 一本精品日本在线视频精品| 亚洲人在线| w w w.久久精品| av天堂影视中文在字幕在线中文| 91精品网站| 婷婷五月天AV| 亚洲欧美清纯| 亚洲欧美精品一区天堂久久 | 国产三级电影免费观看| 91成人亚洲色图| 亚洲国产成人精品无码专区| 99热18这里只有精品| 中文字幕精品日韩中文字幕| 精品久久九| www.大香| 国产嫩草精品A88AV| 亚洲av影院在线观看| 粉嫩av一区二区三区四季| 18禁网站在线播放| 午夜福利 成人 91| 午夜天天碰综合视频| 国产女大学生AV| 久久首页| 亚洲国产蜜臀系列在线观看| 乱老女人一区二区视频| 97综合激情| 久久久爆乳翘臀一线天伦理视频| 91天天| 国产精品久久发布| 天天插夜夜操| 国产尤物在线三区| 中文字幕一区 二区三四五 区日 日骚| 97亚洲在线| www.操| 国产毛片久久久久久久| 欧美色图在线视频少妇| 婷婷五月天综合网| 家庭乱伦麻豆| 亚州欧美总和| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 人妻在线中出视频| 无码av永久免费专区网站| 自拍啪啪视频| 久久久精久久久| 草草影院日本第一页| 四虎免费视频| 伊人五月天青青草婷婷| 国模不卡| 久久人妻| 玖玖综合视频| 亚洲综合性感在线| 日韩乱伦视频| 亚洲精品自拍| 欧美,日韩,中文,另类| 热天堂一区二区| 无码高清专| 中文字幕一区二区视频在线观看| 大香蕉综合在线| 91在线页| 韩国一级做A片免费的| 日本影视久久免费| 亚洲色图片区| 天天操人人操骚逼网站| 99re6久热只有精品6在线直播 | 香蕉免费一区二区三区不读 | 亚洲欧美天| 狠插 制服 自拍| 婷婷色网| 爆操无码| 操操操日本的逼| 水多多映视AV| 伊人加勒比| 亚洲情色无码一区二区三区| AV在线资源| 91色碰| 国产动漫操逼视频| 综合操逼| 国产一区二区精品久久99| 成人线上超碰| 亚洲国产精品无石码久久 | 久久老子无码午夜伦不卡| 成人免费视瓶| 欧美18老人禁| 国产捆绑一区| 久久久久久性爱免费视频| 熟妇无码视频三区| 99热国产精品| 亚洲天堂资源| 国产99999久久精品| 一区二区三区男女操逼黄色小电影| wwwss在线观看| 一区二区三区精品视频| 在线强奷到舒服的无码视频| 一区二区三区高清天码| 亚洲一级性爱视频免费看| 四虎午夜影院| 老司机午夜精品视频| 国产精品ww久久| 少妇久久久久久| 中文字幕精品探花视频| 国产性爱强奸乱伦大全| 中文字幕在线免费观看2| 好爽视频在线观看视频 | 国产亚洲精品玖玖玖在线观看| 日本精品网站在线中文| 免费公开人人操| 国产日韩精品人妻久久久久色欲网站| 琪琪精品免费一区二区三区| 97人妻免费中文字幕| 国产三级多多影院2022国产AA一级毛片无码| 美女熟妇色| 国产精品999zyz| 亚洲日韩美国人妻| 亚洲夜夜欢无码一区二区| 精品婷婷| 人人色人人射人人妻| 精品国产91久久久久久一区黄无| 歐美性天天| 色踪合AV| 亚州男人天堂| 日本操逼aaaaa| 欧美性爱1080p| 国产成人无码网站在线视频| 99综合| 天天看综合网| 乱欲性色| 麻豆一区二区三区在线看| 欧美色图综合网| 精品蜜乳AV免费观看| 99这里只有精品国产| 亚洲无码?第一页| 天天干天天插| 美骚妇av高清在线| 久久99干一本高清| 国产中文字幕在线点播| 人妻熟女av国产网站| 国产欧美伊人| 天堂综合| 波多野结衣之双飞调教在线播放 | 亚洲熟女乱色一区二区三区久久久 | 欧美第一页| 亚洲制服aⅴ中文字幕| 亚洲AV无码久久久国产精品| 暖暖精品二区三区观看| 欧美精品,四区。五区| 国产免费内射视频| 2019天天干天天操| 亚洲精品蜜桃久久久一区二区三区| 97精品视频网站| 久久97精品久久久久久久不卡| 99久国产精品午夜性色福利| 五月丁香影院| 亚洲色图 图片| 东京热男人的天堂| 99操视频| 后入福利视频| 国产男女边吃边摸视频网站| 色情成人五月天| 国产精品视频在线播放 | 亚州操操穴网| 午夜噜噜噜| 国产高清免费不卡av| 人人澡人人爽人人精品| 人人澡人人干| 天天干天天狼在线视频| 97公开久久| JIZZJIZZ亚洲女人被躁| 五月丁香久久| 九九九不卡| 免费强奸av| 亚洲精品一卡二卡三卡福利视频网站| 九九无码| 一本一道人妻久久一区二区三区 | 亚洲天天更新| 99热这里只有精品9| 98福利在线视频| 中文字幕一区二区日韩网| 精品久久視頻在线| 国内一级精品| www.99色| 色香欲综合| 婷婷亚洲天堂| 啊啊啊好大好深| 在线观看av区| 97综合久第一页| 十八禁的黄污污免费网站| 欧美成人色| 国产精品一区二区亚洲人成毛片| 岛国小电影| 91福利网在线观看| 操我啊啊啊啊啊| 一级性爱视频免费观看| 亚洲色图a| 日本爽爽爽爽爽爽免费视频| 青青草黑寡妇男人天堂| 国产一区二区成人av在线播放| 久久9精品视频| 天天干人人看综合| 校园春色综合色| 国产乱伦亚洲色图高清无码| 九九夜精品九九在线| {男男暴菊gay无套网站| 中文字幕超碰CAO| 青娱乐亚洲自拍| 啊啊啊啊啊舒服| 黄色av一区二区在线| 欧美激情 亚洲色图| 九九在线视频| 国产乱伦视频污| 欧美熟妇操操视频| 日本无码1| 骚妻少妇精品性色无码四色A V| a级理论午夜日本| 综合色欧美| 精品夜夜澡人妻无码| 日韩欧洲操屄视频| 久久亚洲天堂| 天天日天天插| 久久久久久亚洲Av无码| 大香蕉92| 久久最新免费视频23| 影视综合无码少妇| 久久激情视频| 久久精品免费| 亚洲制服欧美另类内射| 俞拍久久国应视频| 亚洲精品欧洲精品| 爱我干综合| 国产亚洲精品一区二区三区| 丝袜色综合| 97九色人妻| 日韩 欧美 另类 人妻| 四虎在线视频| 最新精品久久蜜桃 | 亚洲av资源| 日本一片一区| 婷婷亚洲综合| 国产精品成人福利在线| 91欧美亚洲| 99福利社| 情色五月天久久久| 综合五月天| 国产绿奴视频在线观看| 干少妇视频| 综合大香蕉美。| 无码人妻丰满熟妇奶水区毛片| 国产成人精品日本亚洲语言| 国产精品一区二区a| 天天日天天干天天摸天天操| 日夜久久久九九九久| 婷婷激情五月| 近亲乱伦一区二区| 先锋影音av先锋一区| 女优大全 - 91n| 亚洲诱惑天堂| 伊人丝袜美腿高跟在线观看高清| 91啪啪| 日本123区操B视频| 亚洲系列第一页| 天美传媒婬乱| 精品无吗m| 欧美激情亚洲| 色婷婷一区二区三区久久午夜成人不| 日本午夜福利视频| 天天干天天日天天射黄色| 综合久久中文字幕综合日韩精品| 亚洲激情综合另类男同| 国语对白露脸XXXXXX| 91天堂网| v91av| 久久黄人人爽视频| 97精品一区二区视频在线观看| 欧美日韩人妻婷婷一区| 99久在线精品99re8a| 97干色天堂| 日韩AV色图| 国产精品 亚洲情色| 天天综合,91综合永久| 少妇超碰在线| 日韩精品99999| 欧美午夜精品久久久久久超碰| 亚洲 日本 一 二 三| 99色热| 色婷婷六月| 六月婷婷激情| 99热| 亚洲aw毛茸茸在线| 91暧暧| 97精品久久久久久久| 精品国产99| 麻豆伊人网| 久久精品视频一区三区小泽玛利亚| 亚欧中文字幕在线视频| 99精品伊人| 9精品久久| 人妻天天爽夜夜爽2| 中文字幕精品亚洲熟女| 91熟女视频网| 一二三区精品视频| 丁香七月婷婷| 色欲三区| 可以在线观看AV的网站| 黄片在线免费在线观看| 超碰av在线| 女人妻一区| 大乔未久88一区| 人妻少妇精品无码专区二区密桃| 亚洲狠| а√天堂资源官网在线资源| 日韩在线一区高清在线| 日韩去日本高清在| www鬼畜国产男人的天堂| 91天堂视频| 在线观看 99热| 91成人无码| 国产女人和拘做爰视频| 人人考人人摸人人干| 操人妻少妇中文 | 国产午夜无码片在线观看影视| 91狼人| 国产馆极品诱惑| 九九人妻| 亚洲国产精品久久AV| 人人操人人搞人人草| 婷婷尹人大香蕉免费| 91新在线欧美| 中文字幕人妻丝袜乱一区三区| 三上悠亚在线毛片91| 黑丝自慰喷水网站| 99国内精品| 色香综合天天影视综合 | 亚洲丝袜色| 欧色性第一页| 欧美97爱| 曰韩av中文字幕专区| 欧美无圣光在线| 日韩99999| 欧美丰满少妇xx高潮| 午夜人妻精品综合在线| 亚洲综合性网址| 精品国产乱码久久| 国产激情综合| 九九九精品一区二区无码| 亚洲一区二区三区婷婷| 日本精品高清一二区一本到| 人妻出轨一区二区三区| 久草这里只有精品 | 9 9无尺码天堂网| 91免费看一区二区三区| 大香蕉丝袜一级片| 综合激情一一91| 成人精品久久久午夜福利| 五月丁香婷婷综合| 蜜桃臀一区二区aV| www.伪伪| 日日夜夜青青草母狗| 欧美日本成人一区二区| 五月婷丁香| 九99久久| 国产精品久久久久无码AV会牛| 欧美大香蕉97| 精品人妻视频入口| 97天天爽| 淫荡网址| 日本高清电影欧美色图| 日日躁夜夜躁狠狠躁超爽| 中文字幕123| 中字一区| 国产男人又猛又粗又爽| 330dv亚洲成年视频网| 亚川综合视频| 91夜夜蜜桃臀1区2区3区| 2024黄色视频| 91肏屄网| 亚洲一区中文精品| 吉田爱美AV在线| 影视综合无码少妇| 欧美精品91| 91丨豆花丨熟女| 夜夜福利| 在线a v| 日产成人久久| 很很热性爱视频| 久久激情四射婷婷丁香五月天| 国产18精品亚洲精品| 熟女露脸激情自拍视频| 天天躁日日躁AAA片李宗瑞| 精品9999| 91啪啪| 午夜小电影在线插入淫高潮| 色诱avtt| 91精品女厕偷拍视频| 欧美美女后入| 超碰人妻在线| 国产农村妇女精品| 色天使大香蕉| 国产乱人伦AVA麻豆软件.| 久草色在线观看| 亚洲色五月| 国产偷人伦激情在线观看| 欧美老妇女内射网址| 日韩图区 偷拍| 日韩成人人妻网站| 日韩有码一区三区| 亚洲图片激情综合另类| 亚洲涩图欧美| 久操九九九九| 狠狠中文字幕| 欧美综合自拍亚洲综合图| 婷婷五月综合在线| 精品欧美不卡在线播放| 亚洲综合伊人| 精品国产一区二区三区av在线资源| 亚洲福利影院一区久久| 国产熟女精品区| 综合激情五月天| 韩国三级一线观看久| 内射卯月麻衣| AV色天香在线| 欧美一级久久久久久久大片动画| 人妖欧美一区二区| 精品一区96| 亚洲砖码砖专无区2023| 国产农村妇女精品| 91欧美性| 有码人妻系列| 亚洲熟女av日韩熟女| 久9re热视频这里只有精品| 中字一区| 美女久久久久久久| 人、人、摸,人、人、草| 一中国女人毛片水真多| 另类欧美| 国产精品久久久蜜臀| 激情丁香婷婷| 亚洲欧洲综合av在线| 久久αⅴ| 久久久久久久综合,国产| 国产精品肉丝自拍| 色播五月丁香| 天堂中文资源在线bt| 免费a v| 夜夜久久久| 我中文字幕6区| 色综合中文字幕不卡| 欧美日韩性爱视屏免费看了| 久热在线精品免费观看| 亚洲另类春色| 岛国天天午夜影院传媒网| 新视频sss国产| 日韩精品三区四区| 久久婷婷五月综合| 亚洲av淫乱| ,成人免费啪啪视频| 91情色| 99999精品| 伊人宅男大香蕉| 久久精品中文字幕女同| 精品176精品2| 国产精品久久发布| 婷婷四五区| 日本大片日本一区二区免费高清| 日本理论在线| 黄片com.| 美女操逼福利视频| 精品毛片av一区二区| 欧美日韩国产成人高清| 国产精品 视频| 91精品国产综合久久久蜜臀酒店| 少妇熟女视频一区二区三区| 91网站在线播放| 狠狠爱夜夜干| 亚洲九九视频在线观看| 秋霞福利网| 9999久久久久| 日韩中文9| 99re在线视频| 久久网亚洲| 日本免费二区三区| 亚州五月| 不卡视频一区蜜桃视频 | 香蕉在线一区二区三区| 99久热| 人妻少妇一区二区| 中文字暮97| 99自拍B亚洲| 欧美大香蕉97| 试看福利| 大香蕉日亚洲日本亚大| 小电影欧美91| 78精品| 神马午夜久久| 日韩熟女操逼| 尤物网址| 国产 v乱码一区二| 99只有精品| 爽爽歪在线视频| 伊人成人情色综合| 无码人妻精品一区二区三区九九| 99蜜桃臀久久久欧美精品网站| 丝袜美女诱惑 91 视频| 91天天爽| 久久精品一区二区三区四区五区| 亚洲一区二区三区在线激情| 中文字幕日韩电影人妻| 操逼视频亚洲| 激情五月天网站| 91红杏| 人妻大香蕉| 好爽视频在线观看视频 | 天天操女人| 亚洲精品一卡二卡三卡福利视频网站| 欧美草草| 久草加勒比一区在线| 波多野结衣一级视频| 熟女视频久久| 亚洲美欧999| 人妻大香蕉| 国产呦精品系列在线观看| 日韩亚洲精品一区二区| 久久9视频| julia在线观看久久| 97超碰免费生活| 一区二区三区不卡视频| 18禁精品网站在线看| 超碰九色| 国产av热热色| 天久久久噜噜噜久久国产精品爽爽 | 日本午夜久久电影| 亚洲 图片 欧美 色图| 情色五月天就去干| 思思久热在线精品66| 欧美成人黄网色网站| 亚洲情色婷婷五月天| 欧美色图97| 亚洲中文日韩精品| 啊啊啊啊在线观看网址| 欧洲天天在线| 亚欧无码在线| 婷婷五月天色网| 国产h片在线观看视频| 小泽玛利亚一二三| 亚洲视频二区| 国产呦精品系列在线观看| 亚洲操逼无码| 久插综合| 蜜臀久久99精品久久久电影| 午夜欧美女人操逼| 乱老熟女一区二区三区| 啊啊啊久久| 三级片网站在线播放| 9久久美女首页| 思思热一热婷婷热一热| 九九九精品色乱九九九| 狠狠操使劲操| 午夜天堂啪啪| 欧亚日韩综合精品国产| 一级性爱视频免费观看 | 久久综合婷婷| 亚州欧美综合| 黄色片,com| 亚熟在线| yiqicaoav| 东京热亚洲一区二区| 老熟妇一区二区三区| 色五天伊人| 天天综合香 ld视频| 亚洲欧美另类激情小说| 91啪啪| 99热欧美| 亚卅熟女乱色| 蜜桃臀AV在线| 91成人久久 | 天天92av| 天天日天天插| 成人小电影网站tex| 狠狠色色| 天天综合色图| 另类图片五月天| 欧美色乱| 国产精品老熟女一区二区| 九久9精品| 六月丁香啪啪啪| 999久久久国产精品| 日本一级一级一级一级| 水滴偷拍| 亚洲 日本 一 二 三| 夜夜精品视频| 江都AV在线| 秋霞一级鲁丝片A片| 东北老女人的激情视频| 亚洲国产精品99久久久| baiduhicn.com。| 亚洲精品xxx| 蜜桃精品视频一区二区三区| 91强热人妻| 91碰碰| 精品69网| 欧美久久婷| 91影库| 国产乱不卡| 五月婷视频| 超碰色综合| 麻豆伊人网| 欧日a| 色色九区| 歐美一級亂黃99在綫精品| 在线观看高清AV| 亚洲女人毛茸茸91| 久久久久人妻| 超碰97人妻免费在线| 熟女网站最新| 97婷婷色| 久久性爱视频99| 男人的天堂久久狠| 天天日日夜夜| 欧美日韩*字幕一区| 色臀aV| 色五91| 久久久久久亚洲中文| 97ai亚洲| 中文字幕加勒比海高清无码免费视频| 超碰在线观看av不卡| 五月天婷婷社区| 婷婷五月天久久精品视频一区二区三区 | 99久久久无码国产精品性啊聊| 日韩精品第3页| 人妻AV在线| 青青青国产手线观看视频2| 乱操9999| 久久9精品视频| 一级性爱aaaa| 婷婷色色五月天福利| 91亚.色| 97色色国产视频| 色婷婷电影网| 免费公开人人操| 啊啊啊啊网站| 久久久9 9 9精品| 一区二区三区日韩欧美 | 天堂国产AV| www.91久久| 日韩av不卡在线看| 91东北熟女| 久久久一二三四区| 亚洲棕合电彰| 日本 欧美 亚中文字幕| 91艹B视频| av网站免费看| 久久久无码精品人妻二区| 操B久久| 精精夜夜| 五月婷色| 国产超碰人人爽人人做| 中文字幕一区二区三区字幕| 大香蕉狠狠爱| 激情情色五月天| 美骚妇av高清在线| 天天摸天天插天天日| 色啪网| 丰满少妇乱子伦精品无| 午夜福利一区二区影院| 男人的午夜天堂| 91天天综合在线| 91美女国产在线| 330dv亚洲成年视频网| 超碰激情808| 久久亚洲影院一区二区| 99热在线观看| 国产亚洲综合欧美一区| 日韩欧美一级特黄大片| 日小BB小视频| 妇女性内射冈站HDWWWCOM| 久久久97| 亚洲综合电影| 九热中文字幕| 精品一区二区三区丰满熟女-亚洲欧美一区| 尤物视频偷拍免费| 91路www| 97超视频在线观看| 久久女同性恋一二区| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 性爱视频啪啪啪啪| 久久丁香久草综合网| 高清国产精品福利网站| 青娱乐国产剧情av一区| 日韩AV色图| 蜜臀在线免费观看在线免费观看| 97综合在线观看| 中文字幕一二三区| 国产性刺激| 青春草A| 天美传媒Av在线| 亚洲的天堂网| 搡老女人老91妇女熟女| 亚洲男人天堂2| 天美传媒麻豆一区二区三区国产精| 久久婷婷一区| 大香蕉淫人| 国产h小视频在线观看免费| 最新亚洲黄色免费电影 | 91操人| 精品少妇高潮久久| 亚洲色人阁|