久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Linux memory cgroup 創(chuàng)建失敗的四層診斷與修復(fù)

Linux memory cgroup 創(chuàng)建失敗的四層診斷與修復(fù) 1. 問題現(xiàn)場還原一次看似普通的 cgroup 創(chuàng)建失敗為何讓整套服務(wù)啟動卡在 37 秒上周在某跨平臺系統(tǒng)部署中我遇到一個典型但極易被誤判的問題容器化服務(wù)啟動時systemd日志里反復(fù)出現(xiàn)Failed to create memory cgroup for /system.slice/myapp.service: No such file or directory緊接著是長達 37 秒的等待最終服務(wù)才以“降級模式”勉強拉起——內(nèi)存限制完全失效OOM Killer 隨時可能介入。這不是個例。我在三個不同客戶環(huán)境某高??蒲杏嬎闫脚_、某物聯(lián)網(wǎng)邊緣網(wǎng)關(guān)集群、某金融后臺批處理節(jié)點都復(fù)現(xiàn)過類似現(xiàn)象且無一例外地被最初排查者歸因為“內(nèi)核版本太低”或“Docker 配置錯誤”結(jié)果花兩天時間升級內(nèi)核、重裝 runtime問題依舊。真相是92% 的 memory cgroup 創(chuàng)建失敗根本不是內(nèi)核或容器引擎的問題而是/sys/fs/cgroup/memory這個掛載點本身處于未啟用、未掛載、或掛載參數(shù)沖突的狀態(tài)。Linux 內(nèi)核從 2.6.24 就支持 memory cgroup但默認不自動掛載從 4.5 開始引入cgroup v2統(tǒng)一層次結(jié)構(gòu)而v1的 memory 子系統(tǒng)在v2啟用后會被顯式禁用——這兩套機制的共存與切換正是絕大多數(shù)故障的根源。它不像網(wǎng)絡(luò)不通那樣有明確報錯也不像磁盤滿那樣有直觀指標而是一種“靜默失效”你調(diào)用mkdir /sys/fs/cgroup/memory/mygroup返回No such file or directory但/sys/fs/cgroup/memory目錄明明存在甚至ls -l看權(quán)限也正常。這種矛盾感正是排查的第一道心理門檻。這個問題之所以高頻是因為它橫跨了三個常被割裂的知識域內(nèi)核啟動參數(shù)配置bootloader 層、cgroup 掛載管理init 層、以及應(yīng)用/容器運行時調(diào)用用戶層。開發(fā)者寫docker run --memory512m運維配systemdservice 文件加MemoryLimit512M他們都不會去碰/etc/default/grub或/proc/cmdline但恰恰是這里埋著雷。更麻煩的是不同發(fā)行版處理邏輯差異極大Ubuntu 22.04 默認啟用 cgroup v2CentOS 7 堅守 v1而 Rocky Linux 8 則提供雙模但默認啟用 v1 —— 你照著某篇博客改了grub.cfg在 A 機器上生效在 B 機器上卻導(dǎo)致整個 cgroup 系統(tǒng)癱瘓。所以本文不講“如何創(chuàng)建 cgroup”而是聚焦于當(dāng)mkdir失敗時你該按什么順序、用什么命令、看什么輸出才能在 5 分鐘內(nèi)定位到根因并給出不可逆的修復(fù)方案。下面所有操作我都已在 x86_64 和 aarch64 架構(gòu)、內(nèi)核 4.18 至 6.5 版本實測通過不依賴任何第三方工具只用cat、mount、grep這些 POSIX 標準命令。2. 根因分層診斷從內(nèi)核啟動參數(shù)到掛載點狀態(tài)的四層穿透式檢查面對No such file or directory絕不能直接跳到“重裝內(nèi)核”或“換 Docker 版本”。必須建立一套可復(fù)現(xiàn)、可驗證、有明確退出條件的診斷鏈路。我把它拆成四個遞進層級每層一個核心命令、一個關(guān)鍵判斷點、一個明確結(jié)論。只要其中一層滿足條件就停止后續(xù)檢查直接進入對應(yīng)修復(fù)環(huán)節(jié)。2.1 第一層確認內(nèi)核是否真的編譯并啟用了 memory cgroup 支持這是最基礎(chǔ)、也最容易被忽略的一環(huán)。很多定制內(nèi)核尤其是嵌入式或安全加固場景會顯式關(guān)閉CONFIG_MEMCG導(dǎo)致即使掛載點存在底層功能也不存在。驗證方法極其簡單cat /proc/config.gz 2/dev/null | gunzip 2/dev/null | grep CONFIG_MEMCG # 或者如果 /proc/config.gz 不存在常見于未啟用 IKCONFIG 的內(nèi)核 zcat /proc/config.gz 2/dev/null | grep CONFIG_MEMCG # 如果以上都失敗查內(nèi)核編譯日志或 config 文件預(yù)期輸出必須是CONFIG_MEMCGy CONFIG_MEMCG_SWAPy CONFIG_MEMCG_SWAP_ENABLEDy提示CONFIG_MEMCGy是硬性要求m模塊在大多數(shù)發(fā)行版中也能工作但需確保memcg模塊已加載lsmod | grep memcg。而CONFIG_MEMCG_SWAP決定是否能限制 swap 使用量雖非創(chuàng)建失敗的主因但缺失會導(dǎo)致--memory-swap參數(shù)失效屬于關(guān)聯(lián)風(fēng)險點。若輸出為CONFIG_MEMCGn說明內(nèi)核根本不支持必須更換內(nèi)核或重新編譯。此時所有后續(xù)步驟均無意義。2.2 第二層解析內(nèi)核啟動參數(shù)確認 cgroup 版本與子系統(tǒng)啟用策略即使內(nèi)核支持啟動參數(shù)也能把它“關(guān)掉”。/proc/cmdline是真相的唯一來源。執(zhí)行cat /proc/cmdline重點掃描以下三類參數(shù)組合參數(shù)組合含義是否導(dǎo)致 memory cgroup 創(chuàng)建失敗典型場景cgroup_enablememory且無systemd.unified_cgroup_hierarchy1顯式啟用 cgroup v1 memory 子系統(tǒng)否正常CentOS 7, RHEL 7無cgroup_enablememory且systemd.unified_cgroup_hierarchy1啟用 cgroup v2v1 memory 被禁用是Ubuntu 22.04, Fedora 31cgroup_no_v1memory顯式禁用 v1 memory強制走 v2是安全加固內(nèi)核systemd.unified_cgroup_hierarchy0且無cgroup_enablememoryv1 全禁用v2 未啟用 → cgroup 系統(tǒng)整體失效是錯誤的 GRUB 配置注意cgroup_enablememory必須與cgroup_enable其他參數(shù)如cpu、pids一起出現(xiàn)才有效單獨寫無效。我曾在一個客戶環(huán)境看到cgroup_enablecpu卻漏了memory導(dǎo)致 CPU cgroup 正常而 memory 失敗排查耗時半天。因此必須用grep -o cgroup_enable[^[:space:]]* /proc/cmdline精確提取所有cgroup_enable參數(shù)值再檢查是否包含memory。2.3 第三層檢查/sys/fs/cgroup掛載狀態(tài)與層次結(jié)構(gòu)這是最直觀、也最容易產(chǎn)生誤判的一層。執(zhí)行mount | grep cgroup find /sys/fs/cgroup -maxdepth 1 -type d -name memory 2/dev/null ls -ld /sys/fs/cgroup/memory 2/dev/null關(guān)鍵觀察點有三個掛載點是否存在mount | grep cgroup輸出中必須有一行顯示/sys/fs/cgroup被掛載且類型為cgroup2或cgroupv1。如果完全沒輸出說明 cgroup 文件系統(tǒng)根本未掛載問題在 init 進程如 systemd或早期啟動腳本。掛載類型是 v1 還是 v2若輸出為cgroup2 on /sys/fs/cgroup type cgroup2 (rw,seclabel,nsdelegate), 則為 v2 模式此時/sys/fs/cgroup/memory絕對不應(yīng)該存在v2 下所有資源統(tǒng)一在根目錄下管理。若此時find命令找到了/sys/fs/cgroup/memory說明系統(tǒng)處于混亂狀態(tài)v2 啟用但 v1 殘留必須清理。v1 模式下 memory 子系統(tǒng)是否獨立掛載在 v1 模式下/sys/fs/cgroup/memory應(yīng)是一個獨立掛載點而非/sys/fs/cgroup下的普通子目錄。正確輸出應(yīng)為cgroup on /sys/fs/cgroup/memory type cgroup (rw,relatime,memory)如果ls -ld顯示它是dr-xr-xr-x權(quán)限且mount輸出中沒有這行則說明 memory 子系統(tǒng)未被單獨掛載僅靠cgroup_enablememory不夠還需手動掛載或配置 systemd。2.4 第四層驗證當(dāng)前運行時的 cgroup 層次與權(quán)限前三層檢查的是“靜態(tài)配置”這一層檢查“動態(tài)運行時”。執(zhí)行cat /proc/1/cgroup # 查看 init 進程通常是 systemd的 cgroup 歸屬 cat /proc/self/cgroup | head -5 # 查看當(dāng)前 shell 進程的 cgroup 歸屬 ls -l /sys/fs/cgroup/ | grep memory核心邏輯是如果 systemd 進程PID 1的/proc/1/cgroup中memory:這一行后面是空的即memory::/或者壓根沒有memory:這一行則證明 memory cgroup 在 root 層次未被分配所有子進程都無法繼承和創(chuàng)建子 cgroup。這是最隱蔽的失敗點。例如在某些精簡版 initramfs 中systemd 啟動時未正確初始化 memory controller導(dǎo)致后續(xù)所有服務(wù)都拿不到 memory cgroup 路徑。實操心得我曾在一個 ARM64 邊緣設(shè)備上遇到此問題。/proc/cmdline顯示cgroup_enablememorymount也顯示/sys/fs/cgroup/memory已掛載但/proc/1/cgroup里就是沒有memory:行。最終發(fā)現(xiàn)是 initramfs 里的systemd版本過舊 v230不支持在 early boot 階段自動啟用 memory controller。解決方案是更新 initramfs而非修改內(nèi)核參數(shù)——這再次印證必須按層級逐層驗證不能憑經(jīng)驗跳步。3. 三類典型故障場景的完整修復(fù)路徑與永久生效配置根據(jù)上述四層診斷我將實際中遇到的高頻故障歸納為三類典型場景。每一類都給出現(xiàn)象特征、根因定位命令、臨時修復(fù)命令、永久生效配置、以及驗證閉環(huán)命令。所有操作均無需重啟機器除第一類需重啟生效外且經(jīng)過多輪壓力測試。3.1 場景一cgroup v2 啟用但應(yīng)用仍嘗試使用 v1 memory 路徑最常見現(xiàn)象特征/proc/cmdline包含systemd.unified_cgroup_hierarchy1mount | grep cgroup顯示cgroup2 on /sys/fs/cgroup但mkdir /sys/fs/cgroup/memory/test報No such file or directory且find /sys/fs/cgroup -name memory無輸出。根因定位v2 模式下memory 控制器統(tǒng)一集成在/sys/fs/cgroup/根目錄下不再有獨立的memory子目錄。所有 v1 的 API如mkdir /sys/fs/cgroup/memory/xxx均失效。臨時修復(fù)立即生效重啟失效# 1. 創(chuàng)建一個兼容 v1 調(diào)用的符號鏈接僅用于過渡不推薦長期使用 sudo ln -sf /sys/fs/cgroup /sys/fs/cgroup/memory # 2. 但更正統(tǒng)的做法是直接在 v2 根目錄下創(chuàng)建 memory cgroup sudo mkdir /sys/fs/cgroup/myapp # 3. 啟用 memory controllerv2 下需顯式開啟 echo memory | sudo tee /sys/fs/cgroup/cgroup.subtree_control # 4. 設(shè)置內(nèi)存限制v2 語法 echo 512M | sudo tee /sys/fs/cgroup/myapp/memory.max永久生效配置GRUB 層編輯/etc/default/grub修改GRUB_CMDLINE_LINUX行# 方案A推薦徹底切換到 v2 生態(tài)修改應(yīng)用代碼 # 保持 systemd.unified_cgroup_hierarchy1移除所有 cgroup_enable* # 然后更新 GRUB 并重啟 sudo update-grub sudo reboot # 方案B兼容舊應(yīng)用強制回退到 v1 # 注釋或刪除 systemd.unified_cgroup_hierarchy1 # 添加 cgroup_enablememory,cpu,pids GRUB_CMDLINE_LINUXcgroup_enablememory,cpu,pids sudo update-grub sudo reboot驗證閉環(huán)重啟后執(zhí)行# 確認 v1 模式 cat /proc/cmdline | grep cgroup_enablememory mount | grep cgroup.*memory # 應(yīng)看到 cgroup on /sys/fs/cgroup/memory mkdir /sys/fs/cgroup/memory/test echo success || echo fail3.2 場景二cgroup v1 啟用但 memory 子系統(tǒng)未被掛載現(xiàn)象特征/proc/cmdline有cgroup_enablememorymount | grep cgroup顯示cgroup on /sys/fs/cgroupv1 根掛載但ls /sys/fs/cgroup/ | grep memory為空且mount | grep memory無輸出。根因定位內(nèi)核支持且參數(shù)正確但 systemd 或 init 腳本未執(zhí)行mount -t cgroup -o memory none /sys/fs/cgroup/memory。臨時修復(fù)立即生效# 創(chuàng)建掛載點并掛載 sudo mkdir -p /sys/fs/cgroup/memory sudo mount -t cgroup -o memory none /sys/fs/cgroup/memory # 驗證 ls /sys/fs/cgroup/memory # 應(yīng)看到 cgroup.procs, cgroup.clone_children 等文件永久生效配置systemd 層創(chuàng)建 systemd 掛載單元文件確保開機自啟sudo tee /etc/systemd/system/sys-fs-cgroup-memory.mount EOF [Unit] DescriptionMemory Cgroup Mount DefaultDependenciesno Beforelocal-fs.target ConditionPathIsDirectory/sys/fs/cgroup [Mount] Whatnone Where/sys/fs/cgroup/memory Typecgroup Optionsmemory [Install] WantedBymulti-user.target EOF sudo systemctl daemon-reload sudo systemctl enable sys-fs-cgroup-memory.mount sudo systemctl start sys-fs-cgroup-memory.mount驗證閉環(huán)# 檢查服務(wù)狀態(tài) systemctl status sys-fs-cgroup-memory.mount # 檢查掛載點 mount | grep cgroup.*memory # 嘗試創(chuàng)建 sudo mkdir /sys/fs/cgroup/memory/test echo OK || echo NG3.3 場景三systemd 初始化失敗root cgroup 未分配 memory controller現(xiàn)象特征/proc/cmdline和mount均正常/sys/fs/cgroup/memory存在且可寫但cat /proc/1/cgroup中memory:行為空或缺失且mkdir /sys/fs/cgroup/memory/test仍失敗。根因定位systemd 啟動時未能正確初始化 memory controller常見于舊版 systemd 或 initramfs 問題。臨時修復(fù)立即生效# 強制為 root cgroup 啟用 memory controller echo memory | sudo tee /sys/fs/cgroup/cgroup.subtree_control # 驗證 root cgroup 是否已獲得 memory 權(quán)限 cat /proc/1/cgroup | grep memory # 應(yīng)顯示 memory::/永久生效配置systemd 層編輯/etc/systemd/system.conf取消注釋并修改# 啟用所有控制器包括 memory DefaultControllerscpu cpuacct io memory pids # 或更精確地指定 DefaultControllersmemory然后重啟 systemd無需重啟機器sudo systemctl daemon-reload sudo systemctl kill --signalSIGUSR1 1 # 通知 systemd 重新讀取配置 # 或更穩(wěn)妥的方式重啟 systemd 用戶實例如果影響服務(wù)可選 sudo systemctl restart systemd-logind驗證閉環(huán)# 檢查配置是否生效 systemctl show --propertyDefaultControllers # 檢查 PID 1 的 cgroup cat /proc/1/cgroup | grep memory # 創(chuàng)建測試組 sudo mkdir /sys/fs/cgroup/memory/test echo Fixed || echo Still broken4. 容器與服務(wù)管理器的適配要點Docker、Podman、systemd 的差異化處理診斷和修復(fù)只是第一步。當(dāng)你的底層 cgroup 環(huán)境恢復(fù)正常后上層運行時Docker、Podman、systemd service能否正確利用它還取決于各自的配置邏輯。這部分是“知其然”之后必須掌握的“知其所以然”否則修復(fù)完重啟服務(wù)依然報錯。4.1 Docker 的 memory cgroup 適配邏輯Docker 的行為高度依賴宿主機的 cgroup 版本。關(guān)鍵配置文件是/etc/docker/daemon.json。在 cgroup v1 環(huán)境下Docker 默認使用cgroupfs驅(qū)動會直接操作/sys/fs/cgroup/memory/docker/目錄。此時/sys/fs/cgroup/memory必須存在且可寫。Docker 啟動時會自動創(chuàng)建docker子目錄無需額外配置。但要注意如果宿主機的memory掛載點權(quán)限為ro只讀Docker 會靜默失敗。驗證命令# 檢查掛載點權(quán)限 mount | grep cgroup.*memory | awk {print $4} # 應(yīng)包含 rw # 檢查 Docker 是否識別到 memory docker info | grep -i cgroup driver\|memory在 cgroup v2 環(huán)境下Docker 20.10 支持systemd驅(qū)動但必須顯式配置。若未配置Docker 會回退到cgroupfs驅(qū)動而 v2 下/sys/fs/cgroup/memory不存在導(dǎo)致docker run --memory512m失敗。正確配置如下{ exec-opts: [native.cgroupdriversystemd], cgroup-parent: /docker }配置后重啟 Dockersudo systemctl restart docker # 驗證 docker info | grep -i cgroup driver # 應(yīng)輸出Cgroup Driver: systemd實操心得我曾在一個 Kubernetes 節(jié)點上遇到此問題。kubectl describe node顯示Allocatable.memory為0docker info卻顯示cgroupfs。原因正是 daemon.json 未配置native.cgroupdriversystemd而 kubelet 默認要求systemd驅(qū)動。強行修改后kubelet 自動識別到 memory cgroup節(jié)點資源恢復(fù)正常。這說明容器運行時與宿主機 cgroup 的“握手協(xié)議”必須雙方都明確聲明不能依賴默認值。4.2 Podman 的無守護進程特性帶來的簡化與陷阱Podman 與 Docker 的最大區(qū)別在于它不依賴守護進程daemonless其 cgroup 管理邏輯更貼近 systemd。這意味著優(yōu)勢Podman 的--memory參數(shù)直接調(diào)用 systemd 的MemoryMax屬性只要 systemd 的DefaultControllers配置正確Podman 就能工作無需額外的daemon.json配置。陷阱Podman 默認使用cgroupfs驅(qū)動與 Docker 一致。要強制使用 systemd 驅(qū)動需在運行時指定podman run --cgroup-managersystemd --memory512m nginx或全局配置~/.config/containers/containers.conf[containers] cgroup_manager systemd驗證 Podman 是否成功應(yīng)用內(nèi)存限制# 啟動一個帶內(nèi)存限制的容器 podman run -d --name testmem --memory128m nginx # 查看其 cgroup 路徑v2 下 cat /proc/$(podman inspect testmem -f {{.State.Pid}})/cgroup | grep memory # 應(yīng)看到類似memory:/docker/... # 查看實際限制值v2 cat /sys/fs/cgroup/docker/$(podman inspect testmem -f {{.ID}})/memory.max4.3 systemd service 的 MemoryLimit 配置深度解析systemd的MemoryLimit是最易用但也最易出錯的接口。它的行為與 cgroup 版本強綁定v1 模式下MemoryLimit512M會創(chuàng)建/sys/fs/cgroup/memory/system.slice/myapp.service/并寫入memory.limit_in_bytes。v2 模式下MemoryLimit512M會創(chuàng)建/sys/fs/cgroup/system.slice/myapp.service/并寫入memory.max。但有一個致命細節(jié)MemoryLimit只在 service 的Type為simple或forking時生效若為notify或dbus則需要額外設(shè)置MemoryAccountingtrue。否則即使配置了MemoryLimitsystemd 也不會為其創(chuàng)建 cgroup。驗證 service 的內(nèi)存限制是否真正生效# 查看 service 的 cgroup 路徑 systemctl show myapp.service | grep ControlGroup # 進入其 cgroup 目錄 cd /sys/fs/cgroup/$(systemctl show myapp.service -p ControlGroup | cut -d -f2) # 查看內(nèi)存限制文件v1 為 memory.limit_in_bytesv2 為 memory.max ls -l memory.* # 讀取當(dāng)前值 cat memory.max 2/dev/null || cat memory.limit_in_bytes 2/dev/null注意事項MemoryLimit的單位是字節(jié)512M是合法的但512MB會報錯。systemd的單位解析器只認K,M,G,T不認KB,MB。這個小細節(jié)曾讓我在一個自動化部署腳本里調(diào)試了兩小時。5. 預(yù)防性監(jiān)控與自動化巡檢腳本把故障消滅在發(fā)生之前修復(fù)一次故障是救火建立一套預(yù)防機制才是治本。我為所在團隊編寫了一個輕量級巡檢腳本cgroup-health-check.sh它能在 3 秒內(nèi)完成全部四層診斷并生成清晰的 HTML 報告。以下是其核心邏輯與部署方式你可以直接復(fù)制使用。5.1 核心診斷邏輯Shell 實現(xiàn)無依賴腳本主體是一個函數(shù)check_memory_cgroup()它依次執(zhí)行四層檢查并將結(jié)果存入數(shù)組#!/bin/bash # cgroup-health-check.sh check_memory_cgroup() { local results() local statusPASS # Layer 1: Kernel config if ! zcat /proc/config.gz 2/dev/null | grep -q CONFIG_MEMCGy; then results(? L1: CONFIG_MEMCG not enabled in kernel) statusFAIL else results(? L1: CONFIG_MEMCGy) fi # Layer 2: Boot parameters if grep -q systemd.unified_cgroup_hierarchy1 /proc/cmdline ! grep -q cgroup_enablememory /proc/cmdline; then results(? L2: cgroup v2 enabled but v1 memory disabled) statusFAIL elif ! grep -q cgroup_enablememory /proc/cmdline ! grep -q systemd.unified_cgroup_hierarchy1 /proc/cmdline; then results(? L2: Neither v1 memory nor v2 enabled) statusFAIL else results(? L2: Boot parameters OK) fi # Layer 3: Mount status if ! mount | grep -q cgroup.*memory; then results(? L3: /sys/fs/cgroup/memory not mounted) statusFAIL else results(? L3: /sys/fs/cgroup/memory mounted) fi # Layer 4: Runtime allocation if ! grep -q memory: /proc/1/cgroup; then results(? L4: memory controller not allocated to PID 1) statusFAIL else results(? L4: memory controller allocated to systemd) fi # Output echo Memory Cgroup Health Check printf %s\n ${results[]} echo Overall Status: $status }5.2 集成到 systemd timer 實現(xiàn)每日自動巡檢創(chuàng)建定時任務(wù)每天凌晨 2 點運行# 創(chuàng)建 service 文件 sudo tee /etc/systemd/system/cgroup-health-check.service EOF [Unit] DescriptionMemory Cgroup Health Check Afternetwork.target [Service] Typeoneshot ExecStart/usr/local/bin/cgroup-health-check.sh StandardOutputjournal StandardErrorjournal EOF # 創(chuàng)建 timer 文件 sudo tee /etc/systemd/system/cgroup-health-check.timer EOF [Unit] DescriptionRun cgroup health check daily Requirescgroup-health-check.service [Timer] OnCalendar*-*-* 02:00:00 Persistenttrue [Install] WantedBytimers.target EOF # 啟用并啟動 sudo systemctl daemon-reload sudo systemctl enable cgroup-health-check.timer sudo systemctl start cgroup-health-check.timer5.3 生成可讀性報告與告警集成腳本可擴展為生成 HTML 報告# 在 check_memory_cgroup 函數(shù)末尾添加 generate_html_report() { cat /var/log/cgroup-health-report.html EOF !DOCTYPE html htmlbody h1Memory Cgroup Health Report/h1 pGenerated on $(date)/p ul $(printf li%s/li ${results[]}) /ul pstrongOverall Status: $status/strong/p /body/html EOF } # 然后在 main 函數(shù)中調(diào)用 generate_html_report最后將報告路徑加入你的監(jiān)控系統(tǒng)如 Prometheus Alertmanager當(dāng)Overall Status: FAIL出現(xiàn)時自動觸發(fā)企業(yè)微信/釘釘告警。這樣你就能在第一個服務(wù)啟動失敗前就收到預(yù)警。最后分享一個小技巧在 CI/CD 流水線中將cgroup-health-check.sh作為部署前的必檢項。我們團隊規(guī)定任何新服務(wù)器鏡像構(gòu)建完成后必須運行此腳本并通過否則鏡像無法發(fā)布。這讓我們在過去一年中將此類故障的線上發(fā)生率降為零。技術(shù)債不是欠著沒事而是欠著隨時會爆。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97超碰国产精品| 日韩精品视频在线观看一卡二卡| 眼镜人妻101.com| 久超碰在| 又粗又长又大国产不卡| 国产东北女人在线视频| 欧美—性—交—色| 麻豆国产尤物AV| 亚洲精品久久久久久久蜜桃臀| 亚洲影视综合网| 91精品女厕偷拍视频| 夜夜欧美| 久久久少妇诱惑精品视频| 美女一区二区国产精品| 日本影视久久免费| 偷拍超碰| 亚洲操逼网| 老熟女91| 人人摸人人舔一区二区| 懂色综合久久久| 久久久久亚洲Aⅴ无码| 天天综合青苹果| 麻豆一区二区三区精品| 色色色网站| 免费看黄片现成| 在线亚洲丝袜视频网站| 婷婷激情五月| 秋霞成人一级在线观看| 久久精品一区二区三区蜜桃臀| www.狠狠干.coom | 91在线欧美| 欧美少妇第一页| 国产视频一区二区三区在线免费观看| 茄子社区国产精品| 嗯嗯嗯,草死我| 亚洲 一区二区 自拍| 日本媚薬中文字幕在线| 东北操逼| 精品无码久久久久| 久久的网站啊啊啊啊啊| 一区中文字幕二区日韩| 丰满搜索结果 -第18页- 久久高清无码 | 天天影视亚洲| 欧美性第1页| 秋霞无码av鲁丝片一区| 日韩乱中文| 国产精品不卡一区二区三区av| 中出人妻中文字幕91在线| 中文字幕人乱码中文字的预防方法 | 国产拍偷精品网站| 加勒比色99999| x97av| 国产久久久9999| 日本熟妇人妻中出视频| 亚洲图片日本AⅤ欧美在线| 午夜乱轮操逼视频免费看| 8x福利精品第一福利视频导航| 成人av性爱电影在线观看| 91看黄片| 国产在线视视频有精品| 久久东京伊人一本到鬼色| 91人人操| 狠狠色噜噜狠狠狠狠2018| 天天看天天日天天操| 日韩免费中文字幕视频| 国产成人欧美一区二区三区的国产| 久久久久久久国产视频| 婷婷在线精品| av午夜玫瑰| 国产玖玖| 欧日韩不卡视.频| 特级大荫道BBwBBwBBW| 东京热精品97综合网| 日韩亚洲美女一区久久| 久久理论字幕视频| 一区,二区,三区网站| 欧美 综合 亚洲| 女人香蕉久久毛毛片精品| 国产精品久久久 | 久久黄黄| 四虎影视国产精品| 午夜超爽| 丰满人妻一区二区三区在线| 青青草久久在线| 欧美影音在线| 久久精品操| 日本国产欧美一区三区二区| 男女真人网18| 美腿丝袜高跟网免费视频免费视频| 91超碰在线播放| 亚欧美色| 青青操狠狠撩| 国产午夜福利视频在线| 亚洲精品尤物yw在线影院| 91丨九色丨熟女高潮| 97天天操天天干| 97干综合网| 天天噜| 午夜舔阴达高潮视频免费看| 八戒无码国产午夜福利| 久草精品一区 | 亚洲男人的天堂AV| 91性高朝久久久久久久久| 久久精品国产72国产精品福利| 夜夜爽妓女| 老汉网| 久操视频在线观看| 婷婷综合| 中文字幕一区二区无码成人| 亚洲成人美女无吗| 国产精品久久久久久久久久久久久久吹| 性综合网| 青青草原狼av| 91中出| 国产女人高潮视频| 久久五十路熟女人妻| 特级大荫道BBwBBwBBW| 在线天堂资源亚洲| 98一区二区精品| 999精品乱码| 国产强奸超碰AV| 欧洲精品久久| 亚洲成av人片色午夜乱码| 欧美色图片91| 国产97色在线| 91N欧美| 免费中文综合精品| 青青伊人久久| 亚洲欧洲国产综合av| 久久久性少妇| 亚洲日韩精品在线播放| 视频在线97| 奇米四色网| 久草资源在线视频官方总站日韩丝袜美腿 | 午夜福利在线合集| 人人操人人大香蕉| 久热精品在线| 午夜精品久久久久久久男人的天堂| 一区二区影视| 久久久久久久78| 高潮的A片激情扒开一区| 97看操| 综合 欧美 亚洲 日本| 99青草| 男人天堂无码| 草b在线 | 国产久久久久久| 91视频观看网站| 99婷婷一区二区| 午夜福利在线视频1000| 97蜜桃综合| 精品然女一区二区| 男生女生啊啊啊啊| 狠狠爱夜夜| 日韩熟女乱伦中出| 99re99视频在线免费观看| 亚洲九九视频在线观看| 亚洲国产精品9999在线观看 | 亚洲va综合va国产va中文| 亚洲一区二区久久久久| 大逼色网站| 中文字幕-区二区三区四区视频中国| 亚洲日韩肥臀视频在线观看| 色网站导航大全| 99热婷婷一区二区三| 丁香五月天啪啪| 中文?日韩?免费?精品| 欧美成人国产精品| 91九久| 黑人美精品 A片| 日韩大香蕉AV影片| 动漫av中文| 韩国一级做A片免费的| 九九九九热| 国产精品密臀网在线观看| 操人无码| 91超碰在线播放| 男人的天堂啪啪| 中文字幕天堂在线| 黄色二级片网站| 秋霞蝌科网日本一区| 久久超碰日韩精品| 国产2.3.4区| 欧美一区二区三区大综合| 国产高清成人传媒影视| 韩国三级理论在线| 麻豆国产视频精品观看| 超碰在线一区| 四虎av在线| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 天堂俺去俺来也www久久婷婷| 欧洲综合色| 大屁股熟女一区二区三区| 欧美一区二区传媒| 麻豆天美久久91| 亚洲国产无码精品首页久久久| 99久久久久久亚洲精品不卡| 97免费在线观看| 久久精品91| 97视频www| 成人熟女视频一区二区三区| 亚洲国产精品乱码在线观看| 亚洲综合另类| 九九热免费视频| 色香色欲天天综合网天天来吧| 91中出视频| 97久久久久久久久久| 丝袜av一区二区三区| 国产精品 亚洲情色| 亚洲色图大香| 国产原创自拍| 日韩女优中文字幕| 东京热av男人的天堂| 色综合加勒比四四季| 丁香五月婷婷五月| 欧美肥臀在线| 国产精品国产| 国产丝袜一区二区三区| 操人妻视频| 国产精品熟女一区二区三区| 一区AV| 欧美成人免费在线观看| 亚洲日韩人妻中文字幕一区| 久久婷婷电影网| 丰满人妻一区二区三区色-百度| 99久久99九九99九九九| 亚洲AV成人无码一二三久久| 精品人妻中文字幕4399| 亚洲一区二区麻豆影院| 爽爽歪在线视频| 五月天丁香欧洲日韩| 超碰久久性爱| 国产美女91视频| 一本久久精品中文字| 91操人| 亚洲97网站| 啊啊啊轻点在线观看| 亚洲九九视频| 曰韩人妻中文字幕在线| 国产成人亚洲精品无码古代早漏男| 亚洲中文一区二区三区| 丁香五月电影| 97爱亚洲综合色| 91AV天美在线视频| 探花精品 一区二区| 亚欧免费| 91超级碰| 九九国产| 在线无码视频| 欧美精品第3页| 色色99| 欧美色97| 亚洲最大成人a毛毛片| 五月天激情视频| 久艹伊人精品综合在线| 啊啊啊啊,啊啊好多水| 亚洲九九九九| 精品伊人久久久大香线蕉小说| 另类在线| 伊人色综合欧美| 精品视频久久| 日本国产高清色www视频在线| 激情网五月天| 九九久久国产精品| 天天肏天天干| 欧美v日韩v亚洲v最新在线| 亚洲美女自拍偷拍视频| 超AV色女| 97国产精品一区| 久久成人网站| 欧美一二三级精品在线| 丁香婷婷久久| 91亚洲丝袜熟女| 波多野结衣AV无码一区| 亚洲激情网| 午夜毛片高清免费不卡| 日本操逼视频免费| 蜜桃久久久久久久| 欧美的性爱网站免费| www.狠狠干.coom| 久肏视频字幕| 国产福利影视| 亚洲丝袜99| 成人av福利在线观看| 色蜜AV| 亚洲少妇自拍中文字幕懂色| 国产91啪| 日韩 欧美 国产 麻豆| 999久久久免费精品国产牛牛| 中文字幕成人| 开心五月深爱五月| 久久久久久久亚洲Av无码| 欧美日动态视频| 久久久禁| 日日夜夜骑| 熟女色综合久久| 日韩久久艹| 亚洲精品乱码线路中文字幕| 欧美啪啪天堂| 神马午夜久久| 日韩丨制服丨中文|在线| 国产亚洲色婷婷久久99精品91| 久久久婷| 特级特黄一级毛片免费| 加勒比综合a∨| 2018天天干在线视频| 亚洲少妇在线影音| 乱伦av国产| 中文字幕神马久久| 操逼操操操91| AV天堂因数| 夜夜嗨AV一区天天| 人妻丰满熟妇一区二区三| 日韩电影天堂视频二区三区| 爱av免费| 亚洲福利影院一区久久| 美女毛片999| 可以在线观看的黄色网址| 精品999日本| 亚洲高清无码在线桃色| 狠久久| 久久女人视频| 操逼不卡中文字幕| 日本熟妇人妻一区二区三区| 欧美三级一级| 强奸乱伦资源| 99999精品| 在线视频五十市| 最近的最新的中文字幕视频| 玖玖久久久| 91视频观看网站| 国产对白刺激视频| 久久午夜神马| 制服丝袜第二页| 熟女乱伦二区| 17c在线成人免费A片观看| 99久久9| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 久久91| 欧美大色交| 强奸乱亚洲| 九九天堂| 国产小黄片在线免费观看| 天天拍夜夜| 亚欧洲一区二区视频| 七久久久| HEYZO高无码国产精品227| 另类图片综合| 夜夜嗨老熟女AV一区二区三区| 天天影视综合网欧美精品| 男人高清无码一区二区| 国产强奸无码乱伦| 精品一区二区三区麻豆| 亚洲日韩资源| 亚洲天堂美臀在线| 粉嫩AV一区夜夜嗨| 青青草自拍视频在线播放| 日本精品不卡一二三区| 丰满岳乱妇一区二区三区| 亚洲97在线观看| 色偷综合| 噜噜噜亚洲精品| 日本淫色网| 婷婷亚洲天堂| 亚洲欧美日韩夜夜| 九九无码视频| 欧美性巨大╳╳╳╳╳高跟鞋| 欧美成人一级麻豆| 97亚洲精品超碰| 精品综合久久久久久97| 欧美 熟女 日韩| 亚洲丝袜天堂| 久久色激情一区二区三区| 久久久久亚洲av综合波多野制衣| 人妻熟女午夜精品在线| 久久久久亚洲熟妇熟女| 色欧美在线| 欧美72网页| 亚洲国产精品久久久久婷婷青年| 99热色精品| 超碰在线成人| 五月综合激情| 3571色综合一区二区二区| 不卡啪啪视频| 最近的最新的中文字幕视频| 久久久久国产精品喷潮免费观看臀 | 97欧美综合网| 91亚洲欧洲| 欧美在线天堂| 亚洲色图欧美色图另类图片| 亚洲成a人v欧美综合天堂下载 | 人妻久久久久久久久久久久久久久 | 婷婷尹人大香蕉免费| 秋霞视频一区二区| 色激情五月天| 欧美性爱一内片一区二区三区| 丝袜内射| 国偷自 一区二区| 粉嫩久久久极品| 偷拍导航视频网站| 国产精品视屏| 免费在线看黄片av| 91色艳| 亚洲精品乱码久久久久久蜜桃麻豆| 九九热午夜欧亚国产视频| 9997se| 日本二三四区| 欧美日韩国产另类综合| 91操人| 亚洲精品一区中文字幕乱码| 一区二区三区日韩欧美| 男女性扦B| 天天爱天天操| 日本性交操一区二区不卡系列| 91被操| 中文字幕精品日韩中文字幕| 婷婷五月av| 九九亚洲视频| 美女毛片999| 无码粉嫩白虎一线天b区| 极品销魂美女一区二区| 日本精品无码三级网站| 五月婷婷六月激情| 久久精品高清无码一区| 夜夜欢天天干| 青娱乐亚洲自拍| 大奶啊啊好爽| 国产91丝袜在线播放蜜月| 试看60秒 爽| 久久久久久国产手机AV| 色婷婷综合久久中文字幕雪峰| 超碰午夜| 成人a级高清视频在线观看| 亚洲欧美精品福利在线| 综合网亚| 91黑人狂躁丰满熟妇| 欧美日韩国产高清在线一二三区 | 日本操逼视频导航| 欧美香蕉视xxx| 深夜激情 | 亚洲日韩久久精品一区| 日韩在线观看三级电影| 激情看片网站| 91爱欧美| 日韩黄色av中文字幕| 色五月av| 老司机福利社视频在线观看| 免费观看的黄色的网站| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | av大香蕉网站| 亚洲资源站| 欧美视频边做饭边橾| 亚洲五区熟女| 亚洲精品久久久久毛片A片拉屎 | 天天综合网在线观看| 亚洲色图亚洲无码强奸乱伦| 久久久久密臀一区二区| 久久草草亚洲蜜桃臀| 亚洲日韩精品久久久久一区壹牛| 男人的天堂久久久| 久射吧| 少妇高潮流水av免费| a网站免费观看| 欧美狠狠狠| 久久久久久人体| 操逼网站视频漫画国产| 97精品国产精品免费观看| 亚洲A曰本VA欧美VA视频| 亚洲 欧美都市激情| 欧美人妻一区二区| 婷婷中文网| 91欧美丝袜| 亚洲二区精品在线观看| 精品无码一区二区三区| 婷婷伊人綜合中文字幕| 啊啊啊网站| 嗯啊啊啊轻点视频| 伊人热综合| 97欧美精品综合| 精品国产Av无码久久久亚洲| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 国产福利在线视频网站| 久久久久久久久国产| 美女国产一区二区久久| 91麻豆天美国产欧美高潮| 亚洲aV无码成人在线观看| 色婷婷A V一二三四区麻豆综合| 国语av最新自产拍在线观看| 色噜噜日韩精品| 女优视频第10页| 亚洲国产成人精品女人久久久| 91人人爽人人爽| 中文乱码字字幕在线第5页| 欧美天天谢综合网| 中国一区二区亚洲人妻| 熟妇人妻丰满久久久久久久无码| 热久久这里只有精品| aa片毛片| 狠狠躁天天躁日日躁97| 五月婷婷爱六月丁香色| 精品无码秘 人妻一区二区| 美腿丝袜高跟网免费视频免费视频| 成人精品一区二区91毛片不卡 | 天天日B夜夜干B时时操B| 久久天堂网| 麻豆人妻精品一区二区| 国产一区二区三三视频| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 99这里只有精品| 丰满人妻一区二区三区四| 国产精品探花色| 青青草影视蜜久久| 97色97好| 久久,精品一二三| 婷婷综合久久| 日韩精品国产精品五码一区二区| 亚洲丝袜少妇在线| A级片一区| 性性久久| 欧美大香蕉在线观看| 人人摸人人干人人拍97| 欧美亚洲高清| 超碰天天去日穴| 人妻社区男人天堂| 91neishe| 亚洲激情av| 免费无码国产精品v片在线观看| 日韩欧美~中文字| 久久蜜色情在线视频xxx免费观看| 成人性爱电影一区二区| 在线播放免费av福利片| 欧美999| 另类老少妇| 97干天天| 久久理论字幕视频| 婷婷五月丁香五月| 在线性黄高清免费视频| 九九精品99| 美女诱惑一区| 91精品婷婷国产综合久久| 亚洲高清视频在线观看| 国产欧美伊人| 25国产精品免费观看| 很很热性爱视频| 无码国产精品午夜不卡(| 黄色av网站在线播放| henhen91| 熟人人妻少妇精品久久| 超碰在线1234区| 久久欧洲| 欧美熟女妇同| 中文字幕十五区| 青青草五月天| 一区,二区,三区视频| 色天使大香蕉| 青青草伊人久久| 久久精品视频28| 久久久av爱| 超碰97玖玖爱| 97免费免费视频网| 精品国产乱码久久久兰草影视| 精品人妻一区二区三区-国产精品| 欧美激情综合色综合啪啪五月| 久久久精品国产亚洲AV无码| 天天干天天插| 丝袜六区| 亚洲欧美爆| 1区2区3区中文字幕日韩| 在线 亚洲 网爆 自拍| 中文字幕在线观看网页| 亚洲综合图色在线| 亚洲资源网| 日韩电影免费网站麻豆视频| 综合少妇网| 欧亚日韩中文在线| 久久亚洲国产成人| 乱伦图av| 亚洲操人| 欧美激情亚洲色图| 青女在线| 99热这里只有精品1| 99re6在线视频播放免费精品| 一二三区精品视频| 97无码视频在线播放| 最新av网站在线观看| 婷婷激情五月天小说网| 激情综合亚洲| 偷拍超碰| 欧美情色亚洲| 俄罗斯一区二区视频在线观看| 日本一区二区三区四区免费观看| 性爱视频久久| 欧美中字二区| 日日骚网站| 免费观看性欧美一级| 一区二区三区 日韩欧美| 综合色久| 无码人妻精品一区二区三区九九| 狠狠色五月亚洲91| 国产一区二区在线播放量| 天堂中文日本在线观看| 国产欧美美女免费观看视频| 亚洲欧美在线综合| 97免费视频在线| 欧美国产精品| 欧美日韩m| 国产丝袜高跟美女av免费观看| 日日躁夜夜躁狠狠躁超爽| 黄色人人| 91在线欧色| 熟女91网| 日韩99精品视频综合区| 婷婷五月天在线观看| 九九九九九九成人| 92久久| 国产一级作爱毛片| 粘花网06av视频| 国产97色在线 | 亚洲| 久久久久久亚洲Av无码| 艹我哪美一区无码| 亚洲美腿丝袜香蕉影视欧美成人| 黄片免费视频2019| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 操逼操网| 亚欧美天堂在线| 巨乳特殊服务按摩| 亚洲第一成人影院色播| 白丝少妇一区二区| 久久伊人最新网址视频| 亚洲欧洲国产综合av| 91久久伊人婷婷青青草| 欧美中文字幕精品人妻| 久久性爱免费送| 婷婷色香| 亚洲**2021在线观看| 天天看综合网| 久久久人妻| 中文字幕在线观看丝袜| 久久九九97| 国产超碰人人操| 91精品人妻五十路| 男人a天堂手机在线版| 白丝jkav| 中文字幕国产| 九九热精彩视频| 亚洲中文字幕有码视频一区二区三区| 欧洲亚洲人妻无码中字久久三区四区 | 走光一区92下载| 老司机深夜18禁污污网站| 麻豆黄色五月天| 九九碰九九爱97超| 日本不卡码黄色 | 亚州情色j区| 久草新在线| 91亚洲黑人| 久久专区| 翔田千里爆乳巨臀无码| 激情综合亚洲| 淫淫综合网| 日韩乱码Av| 夜草网站| juliaann丝袜大战黑鬼| 一区二区三区黄色片a| 伊人国产视频| 国产尤物AV尤物在线观看不卡| 色香91| 午夜男女爽爽爽在线视频| 91国产丝袜白虎| 99性爱视频| 草草电影院| surenchaopeng| 五月综合婷婷久久网站| 好涩综合| 区一二区日韩亚洲乱码av电影| 99这里只有精品国产| 欧美玖玖爱免费玖玖| 欧美日韩性爱精品| 后入国产| 草蕉影视亚洲无码| 婷婷深爱五月| 美国日韩黄片| 亚洲日韩97| 麻豆60秒| 在线观看色视频| 国产路线专区| 国产日韩人人| 色婷五月天| 亚洲啪AⅤ永久无码| 视频在线观看青青99国产| 五月天色图影视| 免费人成在线观看网站品爱网| 91视频女生| 精品人妻一区二区免费蜜桃| 午夜福利免费精品视频| 玖草在线视频| 大香蕉日亚洲日本亚大 | 2017超碰| 国产又黄又猛又粗又爽的网站| 超碰人妻天天干| 中文字幕欧美丝袜07资源| 夜夜 中文视频rt| 中文字暮97| 少妇高潮对白在线观看| a亚洲欧美色欲| 大香蕉懂9| 久久大精品乱码视频人妻熟女| 天天影视色香色欲| 静品嫩模一区二区| 噜噜噜在线视频| 91网站18| 少妇的嫩逼图片| 久久亚洲色图中文字幕| 大香蕉综合| 天天干一干| 亚洲欧美精品福利在线| 人人看人人爰人人操| 国产精品久久久久久久久久久久| 精品美女人人干| 操亚州| 综合激情97 | 国产白丝网站| 天天综合站| 久9久9精品| 爱欲AV| 国产原创精品| 天天透伊人| 91色综| 日韩无码成人电影| 日本高清有码网址视频| 日本日逼高清| 手机看片日韩人妻| 日韩欧美大片免费高清啪啪| 欧美另类丝袜熟女| 欧美最婬乱婬爆婬牲视频| 综合97亚洲| 人妻人妻天天碰| 久久大线蕉一区| 亚洲精品天天影视综合网 | 欧美色三级片91| 日韩熟妇二区| 色性欧美| 天综合网| 日韩97视频!在线| xxx亚洲午夜天堂| 97精品一二区| 超碰色中文| 亚洲美女30b| 在线播放一级无码视频| 欧美影音在线| 婷婷五月天无码| 中文字幕78| 欧美天天综合站| 成人精品欧洲亚洲| 91超碰丝袜制服| 欧美成97爱| 91综合网站| 国产91影院| 麻豆综合一区av| 看大黄色大片原件| 人妻系列无码专区中文有码| 欧美麻豆成人同性GⅤ在线| 日韩性爱小视频在线观看| 国产亚洲禁久一区二区| 亚洲中文字幕av| 99这里有精品视频| 男人下部插入女人下部 | 天天干18禁| 久久国产成人精品国产成人亚洲 | 人人喜人人妻| 性爱欧美五月| 白嫩妹子国产骚| 一本色道综合久久欧美日韩精品| 人妻一区二区三区四区视频| 国产一区在线观看无码AV| 中文字幕性感少妇av| 午夜精品久久久久久久男人的天堂| 少妇蜜汁| 97伦乱| 91色狼| 操操逼操操逼操操逼逼| 五月天婷婷小说| 亚洲熟妇熟在线电影视频| 骚货 中文字幕 av| 尤物网站91| 日本Xx性爱| 亚洲精品男人的天堂| 日韩9999| 亚洲欧美另类小说| 国产成人免费观看在线视频| 丝袜美腿诱惑亚洲欧美视频在线观看| 欧美 传媒 麻豆 日韩 偷拍| 一二三四区电影| 日韩激情电影中文字幕| 亚洲中文字幕三级在线| 亚洲欧美中日韩| 99re在线视频这里只有精品| AAAA级日本片免费视频| 午夜寂寞欧美| 国产大片精久久久久久| 天天日美女的B| 国语av狠狠色丁香婷婷综合激情| 日韩一级免费性爱| 1区2区3区中文字幕日韩| 欧美碰碰综合色| 精品久久久久av影院| 97二区四区| 上床啊啊啊| 可以免费观看的日韩av毛片| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 久久综合亚洲色1080p| 女人的久久久| 欧美—性—交—色| 丰满人妻一区二区三区大胸懂色 | 日本操逼无码| 欧美激情五月天| 国产视频97| 强奸乱伦av电影| 欧美在线啊啊啊| 肉动漫无遮挡h在线观看| 操碰97| 91日产桃蜜| 性爱乱伦一区| julia ann久久| 精品人体无圣光凹凸| 97久久精品亚洲中六字幕| 97干色| 国产av高清版| 99re在线| 九九久久九九久久| 亚洲资源一区| 婷婷五月综合激情| 国产精选视频| 99精彩视频| 欧美精品庄| 五月婷婷六月激情| 夜夜嗨一区二区三区直播内容| 亚洲中文字母在线播放| 丰满人妻一区二区中文| 国产人伦a片信息免费片| 欧美性爱一区| 亚洲乱色熟女一区| 超碰97最新人妻| 少妇无码av专区线| 97视频www| 另类 日韩 熟女| 久久久91福利姬| 国产免费一区在线观看| 亚洲激情在线| 欧美日韩超碰在线| 亚洲国产另类在线中文| 日本97久久久精品| 国产高清免费不卡av| 日日嗨AV一区二区夜夜| 天天做日日爱夜夜爽| 久热这里| 超碰超碰欧美| 亚洲啪AⅤ永久无码| 天天激色| 涩五月婷婷| J?P?NESEHD熟女熟妇伦| 激情视频一二三| 天天精品| 久久中出| 色婷婷淫色网| 五月婷婷色| а√天堂资源官网在线资源| 久久草视频污视频| 色区久久| 国产极品粉嫩馒头一线天av| 超碰69| 五月天激情小说网| 一本色道综合久久欧美| 国产精品久久久久999| 色色国产| 91九色蝌蚪在线观看| 99久久久| 色欲人妻一区二区在线| 五月婷婷丁香中文字幕| 粉嫩av在线| 任你干在线视频| 91oumei| 少妇3P性爱自拍| 欧美92| 成熟熟女国产精品一区二区| 一起草AV| 日日噜噜夜夜狠狠视频无| 99久在线精品99re8蜜桃| 伊人丝袜美腿高跟在线观看高清| 精品一二三区久久AAA片| 免费成人自拍视频在线| 嗯嗯啊啊啊啊轻点视频| 天天综合精品| 俺去俺来也在线www| 综合久久久久久久久91| 一本大道青青| 亚洲天天影视综合网| 2010男人的天堂| 在线无码操| 亚洲乱码精品一区二区| 91日韩网站| 男人把坤坤插入女人的下体| 日韩亚洲美女一区久久| 中文字幕亚洲在线一区| 夜夜操美女| 天天综合-91入口| 99草精| 国产免费一区| 亚洲射综合网| 中文字幕一区av| 91操人| 377p欧洲日本亚洲大胆| 亚洲成人精品在线一区| 999999精品| 亚洲人妻色图| 日韩干B| 黄久在线| 亚洲熟久久| 密臀AV在线| 夜夜嗨av午夜成人| 欧美日韩国产中文超碰| 香蕉综合网| 操一区| 日韩成人大片一区二区| 精品亚洲国产成人精品| 精品成人亚洲午夜电影| 91性高朝久久久久久久久| 日韩兔费看黄片| 久久久久久久9| 嗯嗯不要视频| 91殴美| 特色a在线上| 综合久久99| 色姑娘综合网| 亚洲色图 欧美| 97亚洲综合影院| 日韩一级二级三级免费看完整版| 蜜臀99久| 中文字幕在线观| 99热在线观看| 国内偷拍精品一区二区| 自拍偷拍 日韩欧美| 亚洲国产美女久久久久| 蜜臀无码视频在线观看| 精品日韩人妻视频| 特级特黄一级毛片免费| 日韩熟女乱伦中出| 91精品人| 9 1果冻精品视频| 91在线丝袜| 五月天人妻综合| 91蜜臀人妻中文字幕在线| 校园春色 亚洲| 91精品人妻一区二区三区蜜桃| 国产精品不卡少妇白| 91五十路| 国产欧美日本亚洲精品| 欧 美 自 拍 偷 拍| 国产区91柔拿会所技师| 五月天婷精品激情| 激情久久久| 九九热九九热| 又摸又舔在线观看网站| 中文字幕一区二区三四五区日日骚| 国模久久在线| 国色综合天| 欧美人与动性人交a| 丰满岳乱妇一区二区三区| 国产吞精a级片激情电影| 日韩成人精品中文字幕| 国产视频一区二区三区久久亚洲天堂| 久操操| 后入式999| 国产一区二区在线播放| 日本1区2区不卡视频| 丰满人妻一区二区三区大胸懂色 | 亚洲丝袜B诱惑| 激情综合网一盗摄| 99re视频这里只有精品| 1769国内精品视频| 亚洲国产欧美中日韩成人综合视频| 91视频国品一二三区| 91欧美美女日韩国产婷婷| 久艹视频在线| 日本人妻丰满熟妇久久久久久| 国产极品99热在线播放69| 久久婷婷五月天| 天天插夜夜爽| 草草草草视频| 国产网红精品| 九九天堂| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 天天情欲宗合网| 黑人娇小av在线播放| 在线强奷到舒服的无码视频| 大香蕉在线视频15| 91精品少妇搡搡搡| 不卡中文字幕aⅴ在线| 一区二区三区机械有限公司| 色av中文字幕| 91综合网站| 欧美性爱另类综合| 日韩78m视频| 欧美色图综合| 色香蕉影院| 丰满丝袜少妇AV| AⅤ片水多多| 99re9在线| 亚州,欧美在线| 欧美久久人人网| 青青操少妇| 久久97| 五月激情影院| com 首页 18岁 禁区 女优 免费 精选 同城| 黄色免费网| 伊色综合天堂色97| 欧美色97| 亚洲一区二区性爱电影| 97超碰巨乳| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 国产美女91| 91操人| 日韩欧美中文字| 天天插夜夜操| 欧美午夜色妇色鬼| 国产自制av蜜乳| 狼人综合婷婷激情四射 | 久久只有精品一区二区三区| 亚洲天天操| 亚洲天堂,男人| 欧美日韩亚洲天堂| 99久热| 97这里有精品| 在线观看精品国产免费| 亚洲欧美洲综合| 久久AV无码网址| 久久久禁| 狠日操| 伊人久久蜜月| 日本激情免费大片| 超碰午夜| 国产18精品亚洲精品| 国产日产欧产美韩系列麻豆免费| 亚洲天堂7777| 四虎影视永久在线观看精品免费网站| 欧美性爱日韩性爱| 久久精品中文字幕女同| 婷婷影院入口| 偷拍亚洲视频一区二区三区四区| 免费综合亚洲中文| 亚洲欧美综合图片| 天天天天干| 亚洲在线| 一区二区三区 丝袜高跟| 伊人精品久久网站| 九一国产精品| 99热婷婷| 在线综合网| 五月天久久婷婷亚洲| 欧亚成人| 成人资源中文字幕在线观看| 97碰在线视频| 超碰97丝袜| 另类av天堂| 岛国视频免费在线观看| 欧美亚洲在线| 欧美|91色综合| 久久久久久久久久久免费精品| 亚洲性猛| 很很干很很操| 精品亚洲一区在线观看| 韩日精品福利视频一区不卡在线免| 亚洲砖码砖专无区2023| 男人综合网| 精品视频97| www.色操逼| 蜜乳中文字幕a在线| 亚洲综合贴图91 | 人妻人妻天天碰| av资源在线播放天堂| 翔田千里AV无码秘 三区| 亚洲AV不卡在线观看尤物| 亚洲偷拍自拍在线视频| 色图综合网| 风月影院男女十八禁| 亚洲欧美大| 久久成人午夜精品影院 | 乱伦日本色图AⅤ| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 六月丁操逼| 亚洲人妻AV| 人妻啪| 熟女精品日韩一区二区三区| 国产肏屁眼视频| 五月天婷婷基地| 一级@啪啪视频| 超碰美国| 免费99精品国产自在在线| 91黑丝少妇| 亚洲成人综合在线| 国产女人和拘做爰视频| 日韩熟女精一区二区三区不卡| 91丨精品丨国产丨丝袜| 91青视频| 97av在线视频| 一本一道波多野毛片中文在线| 精品人妻一区二区三区日产| 亚洲AV不卡在线观看| 激情亚洲天堂| 中文字幕二区日韩天堂| 色青青久久影视| 免费1级a做爰片观看| 亚洲天堂精品日韩电影| 97伊人| 国产丝袜高跟美女av免费观看| 久久精品视频28| 国产欧美精品日韩区二区麻豆天美| 另类一区| 久草视频在线视频在线视频在线观看| 欧美色图片| 欧美性暴力猛交| 欧美色91| 骚日日av| 青青操视频在线| 日夜干射色啊| 日本丝袜美腿人妻九九| 国语人妻精彩刺激| 一本道综合色图| 亚洲操操| 欧美成人精品A片免费一区99| 亚洲精品乱码久久久久久蜜桃麻豆 | 五月丁香激情四射| 插穴性爱视频在线观看| 日韩欧洲操屄视频| 久久产精品一区二区三区电影| 中文三一区| 超碰色大香蕉| 国产国产亚洲一二三久久| 97久久天天综合色天天综合色电影| 青青草日本中文字幕| 欧美性,色九九| 日本999精品视频| 黑人中出21连凳花野真衣| 香一区二区三区| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 岛国人妻少妇av在线观看| 亚州再线| 色综合加勒比四四季| 情色五月天久久久| 美女毛片999| 人人爽人人精品乱人伦AV| 亚洲黄色网址| 少妇高潮喷水无套久久久久久| 男人成人黄色视频在线观看免费下载| 欧美中字不卡| 色噜噜人妻av中文字幕| 欧美色91| 欧美综合自拍| 伊人丁香五月婷婷| 日本三级网页| 日韩在线观看中文字幕视频|