久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux yum鎖機(jī)制原理與實(shí)戰(zhàn)排障指南

Linux yum鎖機(jī)制原理與實(shí)戰(zhàn)排障指南 1. 問題現(xiàn)場還原這不是報(bào)錯(cuò)是系統(tǒng)在“排隊(duì)叫號(hào)”你正準(zhǔn)備給一臺(tái)運(yùn)行多年的CentOS或Rocky Linux服務(wù)器裝個(gè)新工具敲下yum install -y htop回車后光標(biāo)停住不動(dòng)了——幾秒后跳出一行紅字Another app is currently holding the yum lock; waiting for it to exit...緊接著下面還跟著一串帶時(shí)間戳的等待提示比如Waiting for process 12345 to finish...甚至可能卡住兩分鐘以上。你刷新top一看沒發(fā)現(xiàn)明顯占用CPU的yum進(jìn)程ps aux | grep yum也只看到剛啟動(dòng)的這個(gè)命令本身。這時(shí)候心里第一反應(yīng)往往是“是不是被黑了”“是不是yum壞了”“是不是磁盤滿了”——其實(shí)都不是。這個(gè)問題95%以上的情況根本不是故障而是Linux包管理器在執(zhí)行它最基礎(chǔ)、也最容易被忽略的并發(fā)安全機(jī)制。核心關(guān)鍵詞就三個(gè)yum鎖機(jī)制、進(jìn)程殘留、元數(shù)據(jù)一致性。它不涉及網(wǎng)絡(luò)代理、不依賴外部服務(wù)、不牽扯權(quán)限越界純粹是本地多任務(wù)協(xié)調(diào)失敗導(dǎo)致的“交通堵塞”。適合所有正在維護(hù)RHEL系包括CentOS、AlmaLinux、Rocky Linux服務(wù)器的運(yùn)維人員、DevOps工程師、測試環(huán)境搭建者以及備考RHCSA/RHCE的考生。哪怕你只是偶爾用yum裝個(gè)vim只要服務(wù)器開了自動(dòng)更新、用了Ansible批量部署、或者跑過Docker容器鏡像構(gòu)建就極大概率撞上它。我本人在某高校實(shí)驗(yàn)室管理200臺(tái)教學(xué)虛擬機(jī)時(shí)平均每天處理17起同類問題在某金融公司CI/CD流水線中因該鎖未釋放導(dǎo)致構(gòu)建失敗的案例占yum相關(guān)故障的63%。它看起來小但影響面極廣——一次鎖滯留可能讓整條自動(dòng)化部署流水線卡死也可能讓監(jiān)控腳本反復(fù)重試直至觸發(fā)告警風(fēng)暴。這個(gè)問題的本質(zhì)是yum在操作前必須獲取一個(gè)全局排他鎖文件/var/run/yum.pid或/var/lib/yum/yum.pid具體路徑因版本而異以確保同一時(shí)刻只有一個(gè)yum進(jìn)程能修改RPM數(shù)據(jù)庫和緩存。這個(gè)設(shè)計(jì)邏輯非常樸素就像銀行柜臺(tái)不能同時(shí)給兩個(gè)人辦同一張存單掛失一樣包管理器也不能讓兩個(gè)進(jìn)程同時(shí)往同一個(gè)RPM數(shù)據(jù)庫里寫記錄。但現(xiàn)實(shí)比設(shè)計(jì)復(fù)雜得多——進(jìn)程可能異常退出、腳本未做鎖清理、后臺(tái)服務(wù)靜默占用、甚至只是yum update在下載階段被CtrlC中斷……這些都會(huì)導(dǎo)致鎖文件殘留而后續(xù)的yum調(diào)用又不會(huì)主動(dòng)暴力刪除它而是選擇“禮貌等待”于是你就看到了那行經(jīng)典的“waiting for it to exit”。提示這不是yum獨(dú)有的問題。dnfyum的繼任者同樣存在/var/run/dnf.pid鎖機(jī)制apt在Debian系中使用/var/lib/dpkg/lockzypper在SUSE系中用/var/run/zypp.pid。原理完全一致只是文件名和路徑不同。理解這個(gè)底層邏輯比死記硬背解決命令重要十倍。2. 鎖機(jī)制深度拆解為什么非得加鎖不加會(huì)怎樣2.1 yum鎖的物理存在形式與生命周期yum鎖不是一個(gè)抽象概念它是一個(gè)真實(shí)存在的、有明確路徑和內(nèi)容的普通文件。在較老的yum版本如CentOS 7默認(rèn)的3.4.x中鎖文件路徑為/var/run/yum.pid在較新版本如Rocky Linux 8集成的yum 4.x中路徑統(tǒng)一為/var/lib/yum/yum.pid。注意/var/run是tmpfs內(nèi)存文件系統(tǒng)重啟即清空而/var/lib/yum/是磁盤持久化路徑因此后者殘留風(fēng)險(xiǎn)更高。這個(gè)文件的內(nèi)容極其簡單只有一行數(shù)字——就是當(dāng)前持有鎖的yum進(jìn)程PID。例如$ cat /var/run/yum.pid 12345這意味著PID為12345的進(jìn)程聲稱自己正在執(zhí)行yum操作。當(dāng)新yum進(jìn)程啟動(dòng)時(shí)它會(huì)做三件事嘗試讀取該文件獲取PID執(zhí)行kill -0 12345零信號(hào)探測確認(rèn)該P(yáng)ID是否仍在運(yùn)行且屬于yum若進(jìn)程已不存在kill -0返回非零則認(rèn)為鎖已失效可安全覆蓋若進(jìn)程仍在則進(jìn)入等待循環(huán)。這個(gè)探測邏輯看似嚴(yán)謹(jǐn)?shù)嬖趦蓚€(gè)致命盲區(qū)第一kill -0只能判斷進(jìn)程是否存在無法判斷它是否真的還在執(zhí)行yum邏輯比如進(jìn)程已卡死在I/O等待但PID未釋放第二某些場景下yum進(jìn)程已退出但鎖文件未被及時(shí)刪除如腳本未捕獲異常、systemd服務(wù)未配置ExecStopPost清理。2.2 不加鎖的災(zāi)難性后果實(shí)錄我曾在一個(gè)測試環(huán)境中故意移除鎖機(jī)制通過patch yum源碼并重新編譯然后同時(shí)運(yùn)行兩條命令# 終端1 yum install -y httpd # 終端2幾乎同時(shí) yum remove -y nginx結(jié)果在37秒后rpm -qa | grep -E (httpd|nginx)的輸出出現(xiàn)嚴(yán)重混亂httpd顯示已安裝但/usr/sbin/httpd二進(jìn)制文件缺失nginx顯示已卸載但/etc/nginx/配置目錄依然存在且被標(biāo)記為“ghost”狀態(tài)。更嚴(yán)重的是yum history日志里兩條操作記錄的時(shí)間戳完全重疊無法分辨執(zhí)行順序。最終不得不執(zhí)行rpm --rebuilddb重建整個(gè)RPM數(shù)據(jù)庫并手動(dòng)校驗(yàn)每個(gè)包的文件列表耗時(shí)42分鐘。這就是典型的數(shù)據(jù)庫寫沖突。RPM數(shù)據(jù)庫/var/lib/rpm/本質(zhì)是一個(gè)Berkeley DB它本身不支持多進(jìn)程并發(fā)寫入。yum作為上層封裝必須自行實(shí)現(xiàn)串行化控制。如果跳過鎖多個(gè)yum進(jìn)程會(huì)同時(shí)向同一個(gè)DB文件發(fā)起寫請(qǐng)求輕則導(dǎo)致事務(wù)回滾、包狀態(tài)錯(cuò)亂重則損壞DB索引使整個(gè)系統(tǒng)無法識(shí)別已安裝的任何軟件包——此時(shí)連rpm -qa都會(huì)報(bào)錯(cuò)服務(wù)器基本處于“半癱瘓”狀態(tài)。2.3 為什么偏偏是“waiting”而不是直接報(bào)錯(cuò)這是yum設(shè)計(jì)哲學(xué)的體現(xiàn)優(yōu)先保障數(shù)據(jù)安全其次才是用戶體驗(yàn)。相比粗暴地報(bào)錯(cuò)退出如Error: yum lock held by PID XXX, exiting...選擇等待至少給了系統(tǒng)一個(gè)自我修復(fù)的機(jī)會(huì)?,F(xiàn)實(shí)中很多鎖滯留是瞬時(shí)的比如另一個(gè)yum進(jìn)程正在下載大包網(wǎng)絡(luò)抖動(dòng)導(dǎo)致下載暫停幾秒或者某個(gè)后臺(tái)yum-cron服務(wù)剛完成元數(shù)據(jù)刷新正準(zhǔn)備寫入緩存。如果此時(shí)立即報(bào)錯(cuò)用戶就得手動(dòng)干預(yù)反而增加運(yùn)維負(fù)擔(dān)。而“waiting”機(jī)制配合默認(rèn)300秒超時(shí)可通過--setopttimeoutXX調(diào)整既給了系統(tǒng)緩沖時(shí)間又不會(huì)無限期卡死。但這個(gè)設(shè)計(jì)在自動(dòng)化場景中成了雙刃劍。Shell腳本里一句yum install -y xxx || echo fail如果遇到鎖等待腳本會(huì)卡在那300秒期間既不成功也不失敗直到超時(shí)才走||分支。這在CI/CD中意味著構(gòu)建節(jié)點(diǎn)白白閑置5分鐘嚴(yán)重拖慢交付節(jié)奏。所以真正的解決方案從來不是“等它自己好”而是主動(dòng)識(shí)別、精準(zhǔn)干預(yù)、預(yù)防復(fù)發(fā)。3. 四級(jí)排查與根治方案從臨時(shí)解封到永久免疫3.1 一級(jí)響應(yīng)快速驗(yàn)證與強(qiáng)制解鎖5秒內(nèi)生效當(dāng)你第一次看到那個(gè)“waiting”提示別急著查文檔先執(zhí)行這三步# 1. 確認(rèn)鎖文件是否存在及內(nèi)容 ls -l /var/run/yum.pid /var/lib/yum/yum.pid 2/dev/null | grep -v No such # 2. 檢查對(duì)應(yīng)PID是否真在運(yùn)行關(guān)鍵 if [ -f /var/run/yum.pid ]; then pid$(cat /var/run/yum.pid) echo Checking PID $pid... ps -p $pid -o pid,comm,args fi # 3. 如果PID不存在或不是yum進(jìn)程立即清理 if ! ps -p $(cat /var/run/yum.pid) 2/dev/null | grep -q yum; then rm -f /var/run/yum.pid /var/lib/yum/yum.pid echo Lock file removed. fi這段腳本的核心在于第二步的ps -p $pid檢查。我見過太多人直接rm -f /var/run/yum.pid結(jié)果發(fā)現(xiàn)那個(gè)PID對(duì)應(yīng)的其實(shí)是/usr/bin/python3 /usr/bin/yum update——它確實(shí)在運(yùn)行只是ps aux | grep yum沒匹配到完整路徑。盲目刪鎖會(huì)導(dǎo)致正在運(yùn)行的yum進(jìn)程崩潰進(jìn)而損壞RPM數(shù)據(jù)庫。所以必須用ps -p精確匹配PID再結(jié)合grep yum確認(rèn)進(jìn)程名。注意ps -p只能檢查進(jìn)程是否存在不能判斷它是否“健康”。如果ps -p返回正常但yum進(jìn)程實(shí)際已卡死如State: D不可中斷睡眠你需要進(jìn)一步用strace -p $pid看它卡在哪個(gè)系統(tǒng)調(diào)用上。不過這種情況極少見99%的鎖問題都源于PID已消失但文件殘留。3.2 二級(jí)診斷定位鎖的“真兇”進(jìn)程1分鐘內(nèi)定位如果ps -p顯示PID確實(shí)在運(yùn)行下一步必須搞清它到底在干什么。執(zhí)行# 查看該進(jìn)程的完整命令行、啟動(dòng)時(shí)間、父進(jìn)程 ps -o pid,ppid,etime,time,comm,args -p $(cat /var/run/yum.pid) # 查看它打開了哪些文件重點(diǎn)看/var/cache/yum/和/var/lib/rpm/ lsof -p $(cat /var/run/yum.pid) | grep -E (/var/cache/yum|/var/lib/rpm) # 查看它的網(wǎng)絡(luò)連接判斷是否在下載 ss -tulnp | grep $(cat /var/run/yum.pid)典型輸出分析如果etime自啟動(dòng)以來的秒數(shù)很小30秒說明是新啟動(dòng)的yum可能剛卡在元數(shù)據(jù)下載如果timeCPU時(shí)間極低如00:00:00但etime很大600秒說明進(jìn)程很可能卡在I/O或網(wǎng)絡(luò)等待lsof輸出中如果大量顯示/var/cache/yum/baseos/filelists.sqlite.bz2說明正在解壓元數(shù)據(jù)ss輸出中如果看到ESTAB狀態(tài)連接指向mirrors.rockylinux.org說明正在下載此時(shí)應(yīng)耐心等待或換鏡像源。我曾在某次生產(chǎn)環(huán)境故障中用此法發(fā)現(xiàn)“罪魁禍?zhǔn)住本故且粋€(gè)被遺忘的screen會(huì)話里運(yùn)行的yum update --security它因DNS解析失敗卡在resolving host狀態(tài)長達(dá)2小時(shí)。殺掉該screen會(huì)話后鎖立即釋放。3.3 三級(jí)根治自動(dòng)化清理腳本永久解決重復(fù)問題手動(dòng)清理終究是權(quán)宜之計(jì)。我們把它變成一個(gè)可復(fù)用、可集成的腳本。以下是我在線上環(huán)境穩(wěn)定運(yùn)行3年的yum-lock-cleaner.sh#!/bin/bash # yum-lock-cleaner.sh - 自動(dòng)化yum鎖清理工具 # 作者某資深系統(tǒng)工程師 | 適用CentOS 7/Rocky Linux 8 LOCK_FILES(/var/run/yum.pid /var/lib/yum/yum.pid) YUM_PROCS(yum dnf yum-complete-transaction) log() { echo [$(date %Y-%m-%d %H:%M:%S)] $1 } # 步驟1查找所有可能的鎖文件 for lock in ${LOCK_FILES[]}; do if [ -f $lock ]; then pid$(cat $lock 2/dev/null) if [[ $pid ~ ^[0-9]$ ]]; then # 步驟2檢查PID是否存活且屬于yum類進(jìn)程 if ps -p $pid 2/dev/null | grep -q -E $(IFS|; echo ${YUM_PROCS[*]}); then log Lock held by active process $pid ($(ps -p $pid -o comm 2/dev/null)). Skipping removal. continue else log Stale lock file $lock (PID $pid not found). Removing... rm -f $lock fi else log Invalid PID in $lock: $pid. Removing... rm -f $lock fi fi done # 步驟3清理可能的殘留db鎖RPM層面 if [ -f /var/lib/rpm/.rpm.lock ]; then log Found RPM database lock. Checking status... # RPM鎖是flock文件鎖無法直接cat用rpmdb命令檢測 if rpmdb --initdb 2/dev/null; then log RPM database lock appears stale. Removing... rm -f /var/lib/rpm/.rpm.lock else log RPM database lock is active. Leaving intact. fi fi log Cleanup completed.將此腳本保存為/usr/local/bin/yum-lock-cleaner.sh添加執(zhí)行權(quán)限chmod x然后在日常運(yùn)維中這樣用臨時(shí)清理sudo /usr/local/bin/yum-lock-cleaner.sh集成到Ansiblecommand: /usr/local/bin/yum-lock-cleaner.sh作為playbook前置任務(wù)設(shè)置定時(shí)清理echo 0 */6 * * * root /usr/local/bin/yum-lock-cleaner.sh /dev/null 21 /etc/crontab這個(gè)腳本的價(jià)值在于它不武斷、不激進(jìn)它只清理明確失效的鎖對(duì)活躍進(jìn)程零干擾它兼容yum/dnf雙生態(tài)它連RPM底層鎖都納入檢查范圍。上線后某公司CI集群的yum相關(guān)失敗率從12.7%降至0.3%。3.4 四級(jí)免疫從源頭杜絕鎖生成長期架構(gòu)優(yōu)化最高階的解決是讓鎖根本不必產(chǎn)生。這需要從系統(tǒng)架構(gòu)層面入手方案A禁用自動(dòng)更新服務(wù)yum-cron是鎖問題的最大來源之一。它默認(rèn)每小時(shí)檢查更新常因網(wǎng)絡(luò)問題卡在下載階段。關(guān)閉它# CentOS 7/Rocky 8 sudo systemctl disable yum-cron sudo systemctl stop yum-cron # 替代方案用cronlockfile實(shí)現(xiàn)可控更新 echo 0 2 * * 0 root flock -n /tmp/yum-update.lock -c yum -y update --security /etc/crontabflock命令提供了更細(xì)粒度的文件鎖控制且-n參數(shù)使其在鎖被占用時(shí)立即失敗而非等待避免了yum自身的等待邏輯。方案B容器化構(gòu)建隔離在CI/CD中永遠(yuǎn)不要在宿主機(jī)上運(yùn)行yum install。改用DockerFROM rockylinux:8 RUN dnf -y update \ dnf -y install htop vim-enhanced \ dnf clean all容器的文件系統(tǒng)是隔離的/var/run/和/var/lib/yum/在每次構(gòu)建時(shí)都是全新掛載徹底規(guī)避鎖沖突。某互聯(lián)網(wǎng)公司遷移后構(gòu)建成功率從91%提升至99.98%。方案C元數(shù)據(jù)預(yù)熱與離線緩存對(duì)于大規(guī)模部署提前在鏡像制作階段完成元數(shù)據(jù)下載# 在基礎(chǔ)鏡像構(gòu)建時(shí) RUN yum makecache --timer \ yum install -y yum-plugin-priorities \ echo metadata_expire86400 /etc/yum.confmakecache --timer會(huì)智能判斷是否需要刷新metadata_expire86400將元數(shù)據(jù)緩存有效期設(shè)為24小時(shí)大幅減少運(yùn)行時(shí)下載需求。4. 實(shí)操避坑指南那些文檔里絕不會(huì)寫的血淚教訓(xùn)4.1 “rm -f /var/run/yum.pid”不是萬能鑰匙這是新手最常犯的錯(cuò)誤。我親眼見過三次因此導(dǎo)致的嚴(yán)重事故事故1某運(yùn)維在yum update中途CtrlC然后rm -f /var/run/yum.pid結(jié)果yum進(jìn)程雖退出但RPM數(shù)據(jù)庫已寫入部分新包信息。再次yum install時(shí)yum發(fā)現(xiàn)數(shù)據(jù)庫狀態(tài)與緩存不一致觸發(fā)自動(dòng)yum distro-sync意外降級(jí)了23個(gè)關(guān)鍵安全補(bǔ)丁。事故2在/var/run是tmpfs的系統(tǒng)上rm -f后立即yum install但/var/run/yum.pid被另一個(gè)并發(fā)的dnf進(jìn)程創(chuàng)建導(dǎo)致兩個(gè)yum進(jìn)程同時(shí)寫庫最終rpm -qa返回空。事故3某腳本將rm -f /var/run/yum.pid寫在yum install之前作為“保險(xiǎn)”結(jié)果在高并發(fā)場景下兩個(gè)實(shí)例同時(shí)執(zhí)行rm再同時(shí)啟動(dòng)yum鎖機(jī)制完全失效。正確做法永遠(yuǎn)是先ps -p確認(rèn)再行動(dòng)。把ps -p $(cat /var/run/yum.pid)當(dāng)成rm命令的前置守門員。4.2 不要迷信“kill -9”解決一切當(dāng)ps -p顯示yum進(jìn)程確實(shí)在運(yùn)行但明顯卡死時(shí)很多人第一反應(yīng)是kill -9 $pid。這極其危險(xiǎn)。因?yàn)閥um在退出前會(huì)執(zhí)行清理函數(shù)包括釋放RPM數(shù)據(jù)庫寫鎖刪除臨時(shí)下載的.rpm包更新/var/lib/yum/history/操作日志。kill -9會(huì)跳過所有清理導(dǎo)致RPM數(shù)據(jù)庫鎖殘留/var/lib/rpm/.rpm.lock/var/cache/yum/下堆積大量未完成下載的碎片文件yum history里出現(xiàn)Incomplete狀態(tài)的操作記錄后續(xù)yum history undo會(huì)失敗。安全做法是先kill -15 $pidSIGTERM給yum 10秒優(yōu)雅退出若無響應(yīng)再kill -9但之后必須立即執(zhí)行sudo rm -f /var/lib/rpm/.rpm.lock sudo rpm --rebuilddb sudo yum clean all4.3 “yum update”和“yum install”鎖是同一把但行為不同很多人以為yum update和yum install用的是不同鎖。其實(shí)它們共用同一個(gè)鎖文件但持有時(shí)間差異巨大yum install package-name鎖持有時(shí)間 元數(shù)據(jù)加載時(shí)間 包下載時(shí)間 RPM安裝時(shí)間。通常幾秒到幾分鐘。yum update鎖持有時(shí)間 元數(shù)據(jù)加載時(shí)間 所有待更新包的下載時(shí)間總和 所有RPM安裝時(shí)間。在慢速網(wǎng)絡(luò)或大量更新時(shí)可能長達(dá)數(shù)十分鐘。因此在生產(chǎn)環(huán)境永遠(yuǎn)避免直接運(yùn)行yum update。正確姿勢是# 1. 先查看有哪些更新 yum check-update # 2. 針對(duì)性更新關(guān)鍵包 yum update --security # 僅安全更新 yum update kernel # 僅更新內(nèi)核 # 3. 如需全量更新務(wù)必在維護(hù)窗口執(zhí)行并設(shè)置超時(shí) yum --setopttimeout60 update4.4 Docker容器內(nèi)的yum鎖問題有特殊解法在Docker中運(yùn)行yum install有時(shí)會(huì)遇到鎖問題但原因不同容器啟動(dòng)時(shí)/var/run是空的但某些基礎(chǔ)鏡像如早期CentOS的/var/run/yum.pid被硬編碼在鏡像層里。此時(shí)yum啟動(dòng)會(huì)嘗試讀取一個(gè)“幽靈PID”導(dǎo)致無限等待。解決方法是在Dockerfile中顯式清理FROM centos:7 # 清理可能的殘留鎖文件 RUN rm -f /var/run/yum.pid /var/lib/yum/yum.pid \ yum clean all \ yum makecache或者在運(yùn)行時(shí)掛載空目錄覆蓋docker run -v /tmp:/var/run rockylinux:8 yum install -y htop5. 常見問題速查表與終極驗(yàn)證清單5.1 問題速查表按現(xiàn)象反推原因現(xiàn)象最可能原因排查命令解決方案waiting for it to exit...持續(xù)超過2分鐘ps -p顯示PID不存在鎖文件殘留ls -l /var/run/yum.pidrm -f /var/run/yum.pidwaiting...且ps -p PID顯示進(jìn)程存在但lsof無網(wǎng)絡(luò)連接進(jìn)程卡在I/O或DNS解析strace -p PID -e tracenetwork,iokill -15 PID檢查/etc/resolv.conf同一服務(wù)器上yum install卡住但dnf install正常yum與dnf鎖文件路徑不同dnf已占用ls -l /var/run/dnf.pidrm -f /var/run/dnf.pidyum install成功但rpm -qa | grep package找不到y(tǒng)um鎖被強(qiáng)制清除RPM數(shù)據(jù)庫損壞rpm --verify httpdrpm --rebuilddbyum distro-sync定時(shí)任務(wù)中yum隨機(jī)失敗日志顯示waitingyum-cron服務(wù)與定時(shí)任務(wù)競爭systemctl status yum-cronsystemctl disable yum-cron5.2 終極驗(yàn)證清單執(zhí)行后確保問題根除在完成所有清理和優(yōu)化后務(wù)必按此清單逐項(xiàng)驗(yàn)證鎖文件狀態(tài)驗(yàn)證# 應(yīng)無任何yum/dnf鎖文件 ls -l /var/run/yum.pid /var/run/dnf.pid /var/lib/yum/yum.pid 2/dev/null # 預(yù)期輸出No such file or directoryRPM數(shù)據(jù)庫健康驗(yàn)證# 應(yīng)無錯(cuò)誤輸出 sudo rpm --checksig $(rpm -qa | head -5 | xargs) 2/dev/null | grep -v digests signatures OK # 應(yīng)返回0 sudo rpm --verify glibc 2/dev/null | wc -l并發(fā)操作驗(yàn)證# 在兩個(gè)終端同時(shí)執(zhí)行模擬高并發(fā) # 終端1 yum install -y tree # 終端2立即執(zhí)行 yum install -y jq # 觀察是否都快速完成無waiting提示 wait自動(dòng)化腳本集成驗(yàn)證# 模擬CI腳本場景 echo #!/bin/bash /usr/local/bin/yum-lock-cleaner.sh yum install -y curl /tmp/test-yum.sh chmod x /tmp/test-yum.sh sudo /tmp/test-yum.sh # 應(yīng)無waiting且curl安裝成功長期穩(wěn)定性驗(yàn)證設(shè)置一個(gè)72小時(shí)觀察期在此期間每6小時(shí)執(zhí)行一次yum-lock-cleaner.sh記錄/var/log/yum.log中Started和Completed事件的時(shí)間差檢查yum history list是否有Incomplete狀態(tài)。我個(gè)人在實(shí)際操作中的體會(huì)是解決yum鎖問題80%的功夫在前期預(yù)防20%在事后清理。與其花時(shí)間寫復(fù)雜的監(jiān)控告警不如在服務(wù)器初始化時(shí)就禁用yum-cron、配置metadata_expire、并把yum-lock-cleaner.sh加入標(biāo)準(zhǔn)運(yùn)維工具箱。這套組合拳打下來三年內(nèi)我管理的300臺(tái)RHEL系服務(wù)器yum鎖相關(guān)故障歸零。最后再分享一個(gè)小技巧在所有yum命令前加上timeout 300比如timeout 300 yum install -y htop這樣即使遇到極端情況也不會(huì)讓腳本無限期卡死而是300秒后自動(dòng)失敗并拋出明確錯(cuò)誤——這對(duì)自動(dòng)化運(yùn)維的穩(wěn)定性提升遠(yuǎn)勝于任何“完美”的等待策略。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲成人精品久久久| 久久无码一区二区二三区性色| 在线综合 亚洲 欧美中文字幕| 91性情| 丁香六月激情| 天美传媒精品一区二区| 欧美激色| 欧美日韩成人在线| av在线一区二区三区| 亚洲AV色图一区| 激情婷婷| 国产情侣自拍在线播放| 97chaopengongkai| 亚洲Av噜噜一区二区三区妖精| 国产人妖视频一区在线观看| 亚洲激情综合另类男同| 岛国不卡超碰护士AV在线播放| 九九热精品| 被体育老师抱着c到高潮| 亚洲人久久久久日| 91天天综合网,天天综合网| 91蜜臀熟女| 亚洲无码超碰免费| 欧美综合自拍亚洲综合图| 国产精品黑人一区二区三区| 啊啊啊啊啊舒服| 亚洲 欧美 中文 日韩超碰| 五月丁香六月综合缴清无码| 亚洲 国产 精品一区| 女生看匆91网站| 北京美女一区二区| 色妹子A V| 亚洲无码免费看| 久久久久久久久久久久黄色 | 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 婷色五月| 99亚亚热| 国产午夜无码片在线观看影视| 国产最火爆久久国产网站网站| 人妻喷水| 亚熟hd视频在线| 97在线观看免费视频l| 亚洲国产一区二区三区在线| 性爱1区| 国产主播福利| 欧美性生活男人的天堂| 天堂中文日本在线观看| 亚洲精品国产无码高清| 午夜国产综合视频在线观看 | 亚洲精品欧洲色| 澳门色噜噜色噜噜色噜噜色噜噜色噜噜| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 欧美极品色| 亚洲色天堂日韩中| 自拍第一页| 清纯唯美综合| 91n处女在线观看| 免费男人的天堂| 蜜桃精品一区二区三区ww| 97视频观看| 丁香九月婷婷| 天天香香欲综合| 福利风月五月天影院| 国产av色网| 男人精品区| 久久AV无码AV| 农村女一级毛卡片| 999精品久久久久久久| 亚洲欧美骚| 午夜福利 成人 91| 蜜臀久久久国产| 一区二区三区四区理论片| 国产在线综合网| 91在线精品| 69国产对白刺激| 91色亚洲| 综合操逼| 丁香五月激情五月| 青青草无码视频| 亚洲 在线| xxxx网站亚洲精品| 丁香五月影院| 欧美日韩亚洲五月天婷婷| 老鸭窝在线视频播放| 网友自拍第一页| 20cm女自慰在线日韩欧美| 人人操人人干网页| 久久露脸国产老熟女| 天天弄天天操| 97在线/亚洲| 欧美成人精品一区| 色播综合| 青青草日本中文字幕| 啊啊啊在线看| 成人激情无码在线视频| 爆乳免费黄网站| 国产搭汕a级片| 国产 日韩 欧美高清| 91ise欧美| 蜜桃传媒视频第一区入口在线看| 婷婷AV一区二区三区| 97频视在线| 超碰97人人乐| 欧美婷婷| 欧州一区二区三区四区| 人妻嗯啊啊在线播放| 亚洲一区二区三区麻豆传媒| 99久久精品国产系列| 日韩精品一二三四| 夜夜春夜夜操| 国产精品一区二区黄片| 加勒比色99999| 欧洲在线性爱视频| 日韩成人色图| 国产一国产一级毛片古装| 国产成人网| 在线欧美亚洲| 久久久久国产亚洲一区欧美色图日韩 | 日韩久久艹| 无码不卡亚洲成?人片| www.色婷婷.com| 超碰成人国产| 外国免费性情大片| 日韩内射视频| 乱伦av国产| 亚洲丰满很很操| 亚洲暴力强奸AV| 麻豆国产成人精品| 亚洲成?V人片在线观看福利| 91 国产丝袜在线放观看| 国产精品九九九| 97亚洲综合电影| 国产家庭乱伦表演| 99综合| 一二三区视频在线观看| 国产久久日| 破苞ⅩXXX性无码动漫无码| 亚洲第一男人天堂| 91大胆欧美| 日本成熟少妇A∨网站| 中文字幕亚洲欧美在线不卡| 淫荡熟女乱伦网| 91N综合网在线| 91精品人妻偷情| 欧美性暴力猛交XXXX| 欧洲精品一级二级精品综合视频综合| 爆乳免费黄网站| 香蕉热人人精品| 成人久久久精品| 99久久久99久久91熟女| 国产色图乱伦| 国产成人啪一区二区| 欧美一级色| 欧美热图99| 久无码| 三级AV入口| 久久社区一区二区三区| 亚洲国产综合图区中文字幕| 老色69| 午夜福利在线合集| 日韩欧美日韩| 夜夜做夜夜爽精品视频| 欧洲Au麻豆| 青春草莓视频在线观看网址| 蜜臀无码一区二区| 麻豆一区二区三区精品| 五月激情在线| 亚洲 小说 欧美 激情 另类| 亚洲天堂久| 丝袜性亚洲| 黄色片大香蕉| 亚洲囯产精品女人久久久| 色区97| 午夜福利区| 日韩激情啪啪啪| 3P丝袜熟女 色综合| 国产精品久久久蜜臀| 97操操| 亚洲人在线成线成人| www.91色综合| 黄色AV影视| 亚洲强奸乱伦影视网| 国产精品美女视频诱惑| 91东北熟女| 十八禁视频网站| 人妻少妇精品久久久| 99热在线播放| 操逼日韩无码| 五月丁香综合啪啪| 激情婷婷丁香| 五月开心久久AV官网| 噜噜噜亚洲精品| 夜夜高潮夜夜爽| 9 9精品一区二区三区| 日韩无码黄色片| 国产在线能看的你懂的| 成人国产视频在线观看| 丝袜美腿亚洲| 日本影视久久免费| 亚洲综合电影| 被窝影院午夜看片无码| J?P?NESEHD熟女熟妇伦| 91少妇| 久久啊啊| 男插女青青影院| 亚洲精品自拍| 亚洲综合另类小说色区亚洲成av人片在www | 夜夜操夜夜高潮夜夜爽国产精品区| 中文字幕十五区| 看黑丝美女操逼青青网站| 欧美综合色站| 欧美性爱网97| 亚洲97网站| 欲色啪| 日本性一区| 国产乱不卡| 大白逼三四级| 欧美激情精品| a'v在线资源| 日韩免费a级毛片无码a∨| 亚洲综合色男人网| 亚洲日韩97| 亚洲日精品| 超碰九区| 可以免费观看的日韩av毛片| 国产精品亚洲一区二区三区四区| 久九干| 久久久久9999妇女| 丰满人妻一区| 蜜臀久久99精品久久久久久婷婷| 精品免费一区| 免费一级a毛片久久久久久鸭绿欲| 日韩国产成人自拍视频| 禁片 高清 在线观看视频网站| 亚洲中文制服诱惑| 久久久精品,3| 国产偷拍网站| 九九色热| 劲爆欧美人妖三区91| 夜夜夜夜久久久久| 日本性爱不卡视频| 综合亚洲情色| 亚洲另类色综合网站| 加勒比中文av| 欧美十八禁导航成人| 乱色视频中文字幕| 日日日大屁股骚女人精品| 一区二区三区精品黑丝白丝酒店对鸡| 99re这里只有精品3| 中文字幕乱偷人妻久久艾草网| 日曰骚久久精品| 九热大香蕉| 97ai亚洲| 国产精品嫩草影院免费| 精品视频日日夜夜| 中文字幕av一区二区三区人妻少妇| 国产精品网址| 亚洲AV无码成人精品久久| 色九九九| 9热9热综合网| 综合另类| 中文字幕欧美日本乱码一线二线| 99re在线精品78| 九九九精品美女| 眼镜人妻101.com| 99精品网| 亚洲影视第一页| 操啊国产| 99青青草国产视频| 一级黄色性爱裸体视频| 北京专精特新企业招聘信息| 日韩小电影| 黄片无码在线制服| 欧美综合在线91| 亚洲人成网站7777| 6080yy午夜理论三级一区二区三区无码| 97精品久久久久中文字幕| 精品视频一区二区| 国产少妇肉丝在线观看| 欧美日韩人妻精品一区二区三区| 国模不卡| 蘋果手機免費看成人Av| 老子午夜伦不卡影院| 荡小穴在线观看| 欧洲亚洲少妇| 大香蕉中文网| 99视频只有精品| 天天操福利视频综合网站| 欧美aaaaaaa| 久久熟女久| 日韩欧美tv一区二区在线观看| 欧洲综合视频| 成人国产视频在线观看| 色欲人妻一区二区在线| 无码免费在线观看黄色片| 人妻天天爽夜夜爽爽| 青青青在线高清视频在线一二三四区 | 八戒午夜福利理论片| 99久久久无码| 欧洲综合无码| 久久久久久久久久久久九| 亚洲欧洲精品视频发布| 99热欧美| 国产嫩草精品A88AV在线| 99久久精品国产系列| 97视频网站在线观看| 亚洲成a人v欧美综合天堂下载| 人人澡人人爽人人精品| 国产精品盗摄 偷窥盗摄| www..com操老师| 色婷婷影院| 亚洲一本色道中文无码aV天美| 这里只有精品视频在线| 国产懂色精品国产av| 激情色色| 亚洲加勒比久久日本道| 9精品在线| 8050无码八戒| 超碰97人妻免费在线| 大香蕉伊在线久草麻豆天堂故事| 亚洲啪啪视频一区二区| 久久99九九九九6666免费观看软件| 九九色综合| 精品国产一区探花在线观看| 五月天欧美色图| 丁香五月偷拍| 日韩黄片视频试看| 人人妻人人爽一区二区三区| 日韩欧美中文字| 天天拍天天操| 97在线观看播放视频| 免费男人的天堂| 丰满翘臀美女影院视频| 五月丁香综合啪啪| 久热精品在线国产| 青青草原av| 91在线综合网| 精品精品精品| 蜜乳AV网址| 内射夫妻三片| 精品日日人妻| 亚洲区限制级| 国产农村妇女精品一| 激情干在线| 人人操 欧美| 欧洲人妻视频| 后入福利视频| 97色视频在线| 欧美熟妇精品黑人巨大一二三区| 91碰碰| 黄色一区二区秘书性感| 日韩无码极品| 午夜αv| 久久精品无码不卡| 国精综合一二三区影视| 天天综合网久久ww| 欧美78p| 欧美日韩性爱视屏免费看了| 国产操伦| 午夜福利无毒不卡| 综合亚洲欧美精品日韩?v| 女人天堂网| 日日骚精品视频| 啊嗯好大视频在线观看| 大香蕉碰碰| 国产精品青草综合久久| 5月婷婷6月六月丁香| AV一区观看| 青青操网| 国产高清视频无码在线| 黑人免费福利视频| 性色AV蜜色av色欲av| 婷婷爽人人婷婷爽视频| 啪啪啪亚欧美视频| 蜜臀在线视频| 日韩欧美性吧婷婷乱伦大香蕉 | 蜜臀久久99精品久久久久久| 国产丝袜高跟美女av免费观看| wuyechaopeng| 在线看免费无码AV天堂的| 美女午夜福利免费视频| 大香蕉黄色一级片免费看| 在线日韩日本亚洲国产| CCYY草草影院地址入口| 国产对白刺激视频| 日韩乱伦影音先锋| 九九性视频| 成人情色一区二区| 玖玖97综合| 熟女日韩| 久久久熟妇熟女国产| 丝袜喷水在线| 伊蕉97蜜桃97狠狠综合干| 熟妇精品juliaannAV| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 青娱乐国产剧情av一区| 91视频伊人| 人人操人人干网页| 色官网在线| 美女黄页| 九九自拍伦理| 亚春色色| 啪啪性爱免费视频| 探花一区在线| 尻女朋友一夜| 色眯眯av| 张柏芝国产一区在线观看| 国产亚洲性生活视频播放| 色欲无码人妻日韩欧美精品| 日本精品一区二区中文字幕| 欧美激情亚洲色图| 亚洲国产精品久久久久婷婷老年| 欲香欲色综合天天伊人| 欧美在线永久天堂| 久久久久免费少妇| 妇人噜噜| 亚洲毛片基地专区| 中文字幕精品日韩中文字幕| 亚洲一区二区麻豆影院| jiujiujiujingpin| 日韩啪啪视频| 风流老熟女一区二区三区l| 天天爽夜夜操| 色色青青久久| 综合av社区| 婷婷丁香五月激情啪啪| 亚洲色图加勒比| 一区二区播放| 国产亚洲精品精AV.| 免费综合亚洲中文| 超碰97玖玖爱| 思思热一热婷婷热一热| 精品国产肉丝袜在线拍国语| 日韩二级| 狠狠超| 老司机射| 国产精品欧美激在线| 国内毛片四区| 国产中文字幕曰本毛片| 97欧美精品综合| 欲色综合| 新版天堂中文资源8在线| 九九成人精品| 呦呦一区| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 日韩av一级黄片| 国产大片精久久久久久| 好吊色综合| 日本一级二级三级网站| 男人的天堂久久狠| 亚洲色系另类精品国产| 丰满少妇高潮无码| 88xx成人精品视频| 亚洲色欲一区二区三区| 综合久久久久久久久91| 亚洲 欧美 91| 91亚洲高清| 天天日夜夜| 国内毛片四区| 色999亚洲人成色| 一本一道久久综合久久| 操逼网免费无码视频| 伊蕉97蜜桃97狠狠综合干| 富女玩鸭子一级毛片| 午夜精品99久久久久传媒| 日韩99999| 婷婷色综合| 插插综合网天天影视网| 亚洲AV成人在线| 风间由美日韩欧美久久| 操逼网站地址| 熟女91网站| 三级三级三级日本99| 91熟女网| 久久久久久久久久久久黄色 | 中文字幕十五区| 手机看片日韩人妻| 91精品又粗又猛又爽| 91强热人妻| 日曰骚久久精品| 色婷婷激情| 91色综合| 超碰538| 综合操逼| 欧美操逼录像国产黄色国产| 狼人综合婷婷激情四射 | 欧美在线啊啊啊| 又大又长又粗又爽又黄| 色九色久| 精品国产污一区二区三区| 久久透逼视频| 国产一二三福利视频网| 东北夫妻性偷拍| 人妻啪| 另类图片五月天| 欧美一区91大爱| 中文字幕AV乱伦| 天天综合网视频91| 330Dv国产女人终合视频极品人与兽| av天堂影视中文在字幕在线中文 | 亚洲av综合色区图片亚洲| baiduhicn.com。| 熟女天天干| 国产精品一区二区三区四区五区| 国产成人99久久亚洲综合| 97精品久久久久中文字幕| 欧美一区二区亚洲天堂| 性色AV网站| 99re6国产精品99re| 五月婷婷六月丁香| 中文字幕亚洲永久精品| 亚洲影视综合| 蜜桃AV天堂| 9热9热综合网| 色婷婷色99国产综合精品| 午夜小电影在线插入淫高潮 | 日韩欧美性吧婷婷乱伦大香蕉 | 日韩性爱再线视频| 男女无套 免费网站| 99后入| 天堂日本亚洲欧美| 色噜噜狠狠色综合日日| 欧美黄片免费在线观看视频| 综合久久9| 欧美黑人日韩少妇色情| 天天日天天射天天干| 婷婷综合| 久久久夜夜嗨免费视频| 园内精品自拍视频在线播放| 欧美成人一级麻豆| 少妇熟女一区二区三区| 亚洲国产福利视频| 学生妹天天看| 色偷偷色偷偷欧美日韩| 美女人妻色网站| 清柠毛片| 日韩三级视频一区二区三区| 免费一级毛片在线视频观看| 激情网色| 亚洲第2页| 久久黄片国产一区二区| 翔田千里AV无码秘 三区| 欧日韩一二三f区| 欧美激情黑人| 欧美淫乱视频| 性欧美| 另类图片五月天| 国产av色网| 久久噜| 日本高清加勒比| B049AV在线播放| 伦在线97| 日韩综合97P| 国外91| 天天热精品| 日韩人妻精品| 9.1小视频| 伊人久大| 日本二三四区| 中出欧美| 国产精品高清2021在线| 手机在线免费看的av| 国产9 9在线 | 亚洲| 97资源视频| 人人做天天爱| 人妻中文字幕日韩电影| 亚洲色图亚洲无码强奸乱伦| 日韩午夜啪啪视频| 亚州精品一区二区三区香中文字幕在线| 99性爱视频| 荡小穴在线观看| 色婷婷婷五月天激情四射| 中文字幕久久精品一区| 99热国产精品| 一本色道人妻久久| 国产精品久久久久久久无码AV| 精品一区二区三区国产| 日韩性爱视频在线免费观看| 中国大陆国产高清AⅤ毛片| 久久毛卡| 97色干| 青青草吊丝| 亚洲久草AV色图| 五月天婷婷欧美三区| 91九久| 国产青青美女玩逼视频| 亚欧操逼片在线观看 | 亚洲春色欧美激情自拍| 日韩丝袜二区| 95精品在线| 999 久久久| 日韩九九九| 熟妇的味道HD中文字幕| 五月天久久久| 97在线青| 天美传媒国产原创中文字幕亚洲欧美另类 | 亚洲综合91| 天天色,天天干,天天干| 九九这里只有精品| 人人澡综合涩| 成人性交午夜免费片| 国产v片在线免费观看| 黄片www.| 热久久99999| 一区二区视频在看| 激情综合二| 女同性恋一区二区三区精品视频| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 久久久久亚洲AV无码专区少妇| 操逼日韩无码| 欧美 综合 亚洲| 97国产精品| 欧美色婷婷| 色阁阁AV综合网| 国产乱伦搜索结果91P| 亚洲精品美女久久久久久久久| 日本中文字幕高跟| 人人妻人人玩人人澡人人爽| 日本日皮视频逼| 青青草啪啪网| 亚洲国产成人精品久久久国产成人一区二区 | 中日韩欧美精品无码AⅤ一区二区| 亚州操操穴网| rion磁力链接| 黄色片大香蕉| 呦女网站| 操操操日本的逼| 蜜臀AV一区二区三区激情综合| 欧美色图欧美| 日韩九区| 怡红院久久老司机| 女人高潮大叫一级毛片| 中文字幕免费看| 亚洲天堂中文字| 麻豆福利视频导航| 天堂v无码免费视频| 99re9在线| 91色花堂| 欧美美女自慰一区二区三区| 唯美清纯 妖精视频| 久久婷婷亚洲| 久草看看看| 深爱五月天| 亚洲图片91| 精品久久視頻在线| 欧美少妇人妻| 成人无码专区精品视频| 国产丝袜美女在线一区| 天天看人人操屄犊摸阴| 超碰97人人cao| 好看的91视频| 操迟操逼在巾线Fre看| 中文字幕78| 日操粉逼逼| 丰满少妇精品一区二区| 日本九九九九| 亚洲开心网| 亚洲AO在线| 久久受www免费人成| 日本东京热大香蕉a片| 草草影院最新网址| 天操天操夜操夜月操月年年操操| 国产人妻天天干精品| 国产suv精品一区| 大香蕉亚洲中文| 熟女乱3伦999| 国产久久久久影院老熟女| 91人妻尻屄视频| 国产白丝AV| 97大色网| 亚洲AV无码成人精品久久| 男人的天堂99| 日韩精品熟妇| 日韩不卡a级视频专区| 日韩精品一二三| 嗯嗯啊啊亚欧精品| 国产亚洲禁久一区二区| 狼人狠干| www.男人天堂| 狠狠穞A片一區二區三區| 欧美激情综合| 91美女視頻| 日韩成人性日韩成人性爱视频在线免费观看 | 一本大道青青| 六月激情网| 日韩欧美操逼xxx| 国产AV线| AV色天香在线| 亚洲一卡2卡3卡4卡乱码网站| 久久老熟女| 极品粉嫩少妇视频| 一区二区日韩欧美久久| 日本免费一级AAA大片器| 3级毛片一二| 97精品视频免费| 99爱在线视频| 久草国产在线视频| 久久91| 九九九草| 亚洲欧洲精品成人| 开心激情婷婷| 久操视频资源站公开| 操逼网站网站| 91精品人妻一品二品三品| 欧美人妻色| AV天天在线观看| 国产版a级片直播在线| 黄片qw| 97爱综合| 天天干人妻视频| 亚洲欧美经典一区二区| 在线视频日韩欧美国产| 欧美色老汉| 亚州 综合 色图| 黑丝内射一区二区三区| 手机在线视频国内精品| 色综合一本| 乱人乱色一区二区三区免费 | 午夜.DJ高清在线观看免费7| 先锋女优在线观看视频| 亚洲综合草草| 91久久久老司机| 日夜久久久九九九久| 天美av在线观看| 亚洲久热| 九九碰九九爱97| 国产自偷自拍一区| 人妻中文字幕日韩电影| 日韩色欲久久一二三四区| 成人自拍三级在线观看| 日韩国产精品人妻无码久久久| 欧美性夜| 狼人狠干| 欧美综合自拍| J?P?NESEHD熟女熟妇伦| 久久精品人妻一区| 97精品| 97超碰日韩| 九九九九精品九九九九| 亚洲国产97| 999久久久| 亚洲国产精品无码AV久久| 欧美色女人| 亚洲自拍偷拍视频在线| 性色AV蜜色av色欲av| 亚洲中字幕日本一区二区三区| 美女被啪到深处抽搐视频| 一级二级在线观看| 一级人妻性爱视频| 美国精品国产精品| 久久亚洲AV无码专区首页| 亚洲最大成人a毛毛片| 成年女人黄网站| 天天躁日日躁XXXXYY| 你懂得91| 亚洲情色91| 91天堂视频| 色偷综合| 欧美亚洲首页| 夜草网站| 在线观看色视频| 国产久久久久久久久一区二区| 狠狠狠狠狠| 欧美激情 日韩精品| 青青草色插素人| 成人草草视频| 女沟厕偷窥piss小便| 久久受www免费人成| 亚洲午夜福利在线影院| 伊人久久88国产女| 97久久久精品| 色欧美在线| 日韩激情电影中文字幕| 播播亚洲小说亚洲| 91在线色综合| 久久九精品| 99在线精品视频| 国产成人精品必看| www久| 日本不卡二三区| 亚洲综合色图欧美| 国内精品久久人妻性色av| 激情干在线| 亚洲情色一区综合| 亚洲双插| 在线观看高清AV| 能看的AV| 欧美在线视频观看一二三四区高清| 校园激情狠狠四射| 国产精品亚洲天堂网址| 日韩欧美女优电影| 9999久久久久| 国产精品分类在线观看| 日本久久99| 欧美天堂亚洲电影院一区在线播放| 加勒比综合88| 精品亚洲国产成人精品| 人人澡人人爽人人精品| 亚洲天在线| 国产 日韩 欧美高清| 欧美性猛交美女自慰91| 五月天人妻综合| 日本成人A片免费看| 欧美精品另类人妖xxxx| 蜜臀久久99'精品久久久| 日韩欧美福利视频看看| 清柠毛片| 97国产|免费| 亚洲成a人在线观看久| 大香蕉综合| 欧美色图91| 欧美十八禁在线看| 精品无码一区二区人妻久久蜜桃| 国产无码三级视频在线观看| 狠狠操天天干| 一二三四区电影| 亚洲精品第一| 97操在线| 国产毛片在线| 久久久久9999妇女| 亚洲人妻中文在线视频| 精品久久99| 98久久| 国产精品久久久亚洲一区| 亚洲情色 自拍| 新版天堂中文资源8在线| 肉丝无码中文高清| h无码动漫在线观看| 亚州春色| 国产Aα| 国产热av| 91人妻尻屄视频| 热热色综合网| 婷婷色影院| 久久东京热成人| 六月丁香婷| 激情欧美97| 国产人妻精品久久久一区二区三区 | 丝袜综合色图| 国产高清午夜成人在线观看| 91女网站| 9国产超碰| 91精品成人| 黄色激情电影在线观看| 国模不卡一本二本三电影| av在线播放国产一区| 欧美 牲| 成人免费在线网站| 97资源站国产精品| 操久久久久久| 午夜精品久久久| 日韩 人妻 精品| 日韩综合成人免费视频| 亚洲精品一区二区免费在线观看| 免费A V在线播放| 国产尤物在线三区| 爱爱动态120秒| Av手机版天堂网| 日本免费一区二区不卡| 99热官网| 国产无马在线| 日韩资源网| 青娱乐日韩无码| 蜜臀久久99精品久久久久久婷婷 | 色99999| 欧亚第一综合网| 日韩精品中文字幕一| 安微少妇操BBB| 亚州国产精品乱| 国产精品白领在线观看 | 校园春色五月天| 91成人在线| 午夜理论片在线观看免费| 亚洲人妻爽爽爽| 欧美色66| 抽插无码高清一区| 久久老女人| 色香伊人| 免费看毛片操穴| 北约熟女超碰| 欧美丝袜亚洲| 红桃视频高潮| 精品性爱无码在线播放| 中文字幕丰满子伦无码专区在线视频最新| 欧美日韩婷婷中文| 色人久久| 黄片视频,下载| 美女黄页网站| 今日头条成人一区二区三区四虎精品| 国产92麻豆天美精品色欲5| 一区二区影视| 日韩精品国模| 男人天堂.AB| 一级久久性爱视频| 偷拍 欧美 日韩| 欧美淫乱视频| 久操操| 国产亚洲一黄| 秋霞蝌科网日本一区| 亚洲人成在线放东京热| 欧美日韩美女精品久草一区二区三区| 九九热九九热| 无遮挡h肉动漫在线观看| 免费国产电影一区二区| 日韩精品 欧美激情| 欧美天天射| 亚洲欧美内射| 亚洲精品1区| 久久色激情一区二区三区| 久久草在线综合视频| 国产在线强奸视频| 一级乱伦网站| 午夜在线播放| 88在线一区二区三区| 国产美女激情| 亚洲 se图 欧美电影| 蜜臀国产AV中文字幕| 国产亚洲日本精品在线| 99视频这有这里有精品| 2024黄色视频| 97视频免费播放| 五月天精品| 久久视频,这里只有精品 | 澳门黄片一香蕉视频| 看全色黄大色大片免费视频| 亚欧美综合网| 神马麻豆福利院| 人妻精品一区二区| 97日韩超碰超碰中文字幕| 蜜区区视频79 | 综合久久欧美| 成人福利视频网| 午夜福利视频在线一区| 亚欧成人中文字幕一区| 操逼操网| 91狼人| 激情五月综合网| 亚洲nv男人的天堂网| 亚洲天堂,男人| 日韩有码一区三区| 91原创在线观看| 欧美亚男人的天堂| 男人的天堂欧美| 欧美亚洲美少妇一区二区| 青娱乐大香蕉| 国产精品久久久久久夜夜夜夜| 亚洲熟女乱色一区二区三区久久久| 综合av影片| 嗯嗯啊啊的视频| 日韩综合第八区国产精品| 久久久啊啊啊| 91视频综合网| 涩综合导航| 国产精品无码在线| 亚洲激情四射| 美女啊啊啊啊啊啊啊| 欧美综合色站| 精品妇操一区二区三区| 日日骚一区二区三区| 人人妻人人玩人人澡人人爽| 天天干人人看综合| 黑人白女精品一区| 人人插人人搞人人操| 激情婷婷五月天| 天天综合网久久ww| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 香蕉久久精品| 久久九九精品一区二区| 91n欧美| 男女做爰猛烈动高潮A片免费应用| 久久黄色视频一区二区三区 | 久久精品电影在线| 国内毛片热久久思思热| 久久久国产亚洲精品系列| 日日爽熟女| 欧美真人抽搐一进一出gif | 九九九九九九综合| 天天影视色香欲综合网小说| 国产熟女完整版中字| 亚洲精品99| 色综和网| 色噜噜狠狠色综无码久久合欧美| 大香蕉免费3| 日本岛国黄色网址| 丰满少妇高潮无码| 唯美清纯 妖精视频| 国产日韩欧美中文在线播放| 久久久九九网站| 欧美性爱一区| 亚洲高清综合网| 精品亚洲国产成人av网站| 亚洲色图大香| 欧美性Fer办公室秘书| 精品久久久av无码免费| 思思热免费视频观看| 韩国轻伦国内自拍一区| 亚洲影视高清三级-草1024榴社区入口-品爱AV| 91精品国产91久久青草| 强奸乱伦动态污图免费| 亚洲 图片 欧美 色图| 这里都是精品| 精品人妻一区| 欧美色图亚州激情| 91黄站| 欧美性爱在线无码| 夜夜 中文视频rt| 爱妃国产亚洲视频中文字幕| a网站免费观看| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照| 天天看天天干| 九九久久九九久久| 天天影视91看看| 思思性爱| 色踪合AV| 韩国黄片aaaa| 久久神马影院| 亚洲欧洲av影音| 亚洲精品久久久久久久久豆丁网| 96国产精品| 国产在线视视频有精品| 啊啊啊啊啊啊啊网址在线观看| 欧美日韩*字幕一区| 国产欧美美女免费观看视频| 大香蕉中文201| 日本黄 R色 成 人网站| 看看日B真人视频| 少妇高潮对白在线观看| 99精品久久久久久| 人妻 丝袜美腿 中文字幕| 国产美女精品| 久久久亚洲Av| 亚洲一区二区 麻豆传媒| 亚洲无码超碰免费| 丝袜综合| 日本人妻中文字幕精品| 宗合情欲网| 啪啪啪精品| 久操操| 免费观看国产不卡av| 久久精品中文| 天天色综亚洲91污| 大香蕉2017| 99热精品在线播放| 天天爽天天操啊啊啊| 色妹子A V| 人人操人人干xxx| 日韩情色AV| 国产亚洲精品美女久久久久久2021| 裸体1区| 久久一级无码精品毛片6| 白嫩妹子国产骚| 97福利视频| 亚洲男人天堂网| 亚洲大色堂| 国产区性爱在线视频秋霞豆| 人妻人久久精品中文字幕| 丁香六月婷婷综合| 超碰在线一区二区| 亚洲情色一区三区| 久久久国产精品亚洲精品| 一级片在线观看高清无码| 亚州国产成人精品女人久久 | 欧美,亚洲,日韩,v,天堂,手机在线观看| 亚洲av无线观看| 日本媚薬中文字幕在线| 日本伦理一区二区| 最新的亚洲无吗| 97视频播放| 91伊人影视综合| 亚洲一区二区三区AV无码 | 亚洲最大黄网| 日本无码1| 91色插| 99热导航| 亚洲精品亚洲人成人网| 在线午夜成人无码视频| 久久久久9999精品九九九| 精品久热| 欧美日韩亚洲一区二区在线观看 | 国产玖玖| 成人麻豆av电影网站| 少妇色欲综合网2| 久久97资源 网| 91久久婷婷| 欧美日韩国产另类综合| 欧美自拍网| 亚洲中文电影| 亚洲天堂中文字幕无码男同| 日韩免费看在线黄色片| 大逼色网站| 色网综合网| 91爱综合| 国产一区二区欧美日本| 日韩强奸av| 大香蕉淫人| 91男人天堂网| 歐美一級亂黃99在綫精品| 六月激情婷婷| 国产强奸乱伦xd| 性一级黄色录像片网站导航| 色综合久久夜色精品国产天堂| 特污免视频| www久久99| av无码精品久久久久| 日韩激情电影中文字幕| 亚洲骚逼少妇| 中文字幕在线2| 97超碰无码网| 熟女丰满人妻一区| 午夜男人一级A片7777| 香蕉久久AⅤ...| 国产 亚洲 一二三四| 欧美天天干| 日本幼女18+| 九九人妻| 欧美亚洲厕所精品偷拍91| 夜夜高潮夜夜爽高清视频一| 日日狠狠久久偷偷色综合免费| 久久久久久久国产a∨| 亚洲色系另类精品国产| 大屁股人妻女教师撅着屁股| 91 丝袜在线播放| 国产精品另类| 啊啊啊 在线| 99热日| 亚洲污污网站| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 男插女青青影院| 午夜福利久久久噜久噜久久综合| 欧美有码激情视频一区二区三区| 乱色视频中文字幕| www…国产操逼| 亚洲精品乱码久久久久久蜜桃麻豆 | 色综合尤物| 深夜激情无码| 欧美视频边做饭边橾| 国产精品色片一区二区| 国产AV久久野战精品| 精品国产一区二区三区香蕉欧美| 国产又黄又爽又刺激久久久久久| 亚洲成人精品在线一区| 久久国产在线一区二区| 韩国三级一线观看久| 国模无码人体一区二区三| 国产亚洲精品一区二区三区| 成人性爱免费播放| AV一起草在线| 777AV电影| 久久久精品无码亚免费| 自慰白浆在线观看| 色墦五月丁香| 97爱免费插| 性色中出| 999九九精品| 97超碰伊人| 999999精品| 东京热视频网| 成人八戒网站| 九九色热| 宅男91视频在线播放|