久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

Zabbix交換機(jī)監(jiān)控模板實(shí)戰(zhàn):SNMP協(xié)議與LLD端口發(fā)現(xiàn)避坑指南

Zabbix交換機(jī)監(jiān)控模板實(shí)戰(zhàn):SNMP協(xié)議與LLD端口發(fā)現(xiàn)避坑指南 簡(jiǎn)介面向Zabbix網(wǎng)絡(luò)運(yùn)維人員的交換機(jī)監(jiān)控模板資源解決手動(dòng)配置SNMP監(jiān)控項(xiàng)繁瑣、效率低的問(wèn)題。壓縮包內(nèi)共2個(gè)XML模板文件整體僅3KB分別適用于SNMP v1與v2公共協(xié)議便于兼容不同交換機(jī)的SNMP配置環(huán)境。模板預(yù)設(shè)了端口入/出帶寬、接口狀態(tài)、丟包率、錯(cuò)誤統(tǒng)計(jì)等常見(jiàn)監(jiān)控項(xiàng)導(dǎo)入Zabbix并關(guān)聯(lián)主機(jī)后即可自動(dòng)生成對(duì)應(yīng)指標(biāo)采集、閾值觸發(fā)器和可視化圖形幫助運(yùn)維團(tuán)隊(duì)快速掌握設(shè)備運(yùn)行狀況既可用于日常健康監(jiān)測(cè)也可在故障排查時(shí)快速定位異常端口。模板基于公共社區(qū)字符串設(shè)計(jì)默認(rèn)端口161可批量納管多臺(tái)交換機(jī)通過(guò)預(yù)定義告警規(guī)則能對(duì)接口宕機(jī)、帶寬突增等異常及時(shí)發(fā)送通知。資源同時(shí)提示SNMP版本差異若網(wǎng)絡(luò)環(huán)境安全要求較高建議優(yōu)先采用具備身份驗(yàn)證與加密能力的v3而v1/v2適用于內(nèi)網(wǎng)或低敏感場(chǎng)景。目前已有2790人學(xué)習(xí)下載文件結(jié)構(gòu)清晰、體量輕量適合需要快速上手Zabbix交換機(jī)監(jiān)控的入門(mén)運(yùn)維人員也可為有經(jīng)驗(yàn)的管理員提供模板編寫(xiě)與排錯(cuò)參考。1. zabbix_交換機(jī)模板把一臺(tái)臺(tái)手工登錄的網(wǎng)管設(shè)備變成平臺(tái)自動(dòng)納管網(wǎng)絡(luò)工程師最容易遇到的一件難受事不是交換機(jī)壞了而是“壞的時(shí)候你才知道它壞了”。zabbix_交換機(jī)模板這個(gè)項(xiàng)目做的就是給 Zabbix 監(jiān)控平臺(tái)補(bǔ)上一套專(zhuān)門(mén)面向交換機(jī)的監(jiān)控能力不裝 agent、不靠 SSH 一條條抓命令而是統(tǒng)一走 SNMP 協(xié)議把華為、H3C、銳捷這些網(wǎng)管型交換機(jī)納管進(jìn)來(lái)一次把模板調(diào)好之后每新增一臺(tái)設(shè)備就復(fù)制一臺(tái)主機(jī)端口狀態(tài)、流量、CPU、光模塊信息自動(dòng)出現(xiàn)在同一個(gè)大屏里。對(duì)正在搭運(yùn)維監(jiān)控、又不想寫(xiě)一堆腳本輪詢(xún)的人來(lái)說(shuō)這套方案能直接把“手工登錄看交換機(jī)狀態(tài)”變成“告警主動(dòng)找上門(mén)”。這篇筆記從協(xié)議選型講到模板導(dǎo)入、LLD 端口發(fā)現(xiàn)最后是生產(chǎn)環(huán)境里最容易翻車(chē)的幾個(gè)坑。2. 用 SNMP 而不是 agent交換機(jī)模板的協(xié)議選型與監(jiān)控項(xiàng)基本盤(pán)2.1 為什么交換機(jī)監(jiān)控幾乎不用 Zabbix agentZabbix 常規(guī)的監(jiān)控路徑是往 Linux 或 Windows 主機(jī)上裝一個(gè) agent由 agent 把系統(tǒng)指標(biāo)上報(bào)給 server。但交換機(jī)是另一類(lèi)設(shè)備大部分交換機(jī)的操作系統(tǒng)是廠(chǎng)商私有固件不開(kāi)放 arbitrary 軟件安裝哪怕少數(shù)型號(hào)支持 Python 腳本也不會(huì)為監(jiān)控平臺(tái)單獨(dú)跑一個(gè) agent 進(jìn)程。所以交換機(jī)的監(jiān)控在協(xié)議層面基本只有一條主流路線(xiàn)——SNMP簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議端口 161/UDP由設(shè)備內(nèi)置的 SNMP agent 響應(yīng)查詢(xún)。Zabbix 對(duì) SNMP 的支持非常成熟模板本質(zhì)上就是一組預(yù)定義好的 SNMP OID 集合套上設(shè)備地址和 community 就能采集。SNMP 還有一個(gè)天然優(yōu)勢(shì)廠(chǎng)商基本把交換機(jī)所有對(duì)外可見(jiàn)的硬件狀態(tài)都掛在 MIB 樹(shù)上了從 CPU 利用率、內(nèi)存占用、端口收發(fā)計(jì)數(shù)到風(fēng)扇轉(zhuǎn)速、溫度、光模塊收發(fā)功率。這意味著只要 MIB 樹(shù)里有的信息Zabbix 就能收不用等廠(chǎng)商為 Zabbix 專(zhuān)門(mén)寫(xiě)插件。Zabbix agent 辦不到的事SNMP 模板反而辦得更干凈。2.2 模板里到底有什么五類(lèi)監(jiān)控項(xiàng)按需決定留還是刪打開(kāi)一個(gè)成熟的 zabbix_交換機(jī)模板你會(huì)發(fā)現(xiàn)監(jiān)控項(xiàng)并不是隨便堆的大致分成五類(lèi)我這里給你一張可以直接用的分類(lèi)表監(jiān)控項(xiàng)分組典型數(shù)據(jù)來(lái)源作用模板里默認(rèn)保留建議設(shè)備存活I(lǐng)CMP ping、sysUpTime判斷交換機(jī)是否在線(xiàn)、是否重啟過(guò)務(wù)必保留系統(tǒng)資源CPU 利用率、內(nèi)存利用率判斷設(shè)備是否過(guò)載務(wù)必保留閾值要按廠(chǎng)商建議調(diào)接口狀態(tài)ifOperStatus、ifAdminStatus端口 Up/Down、管理員是否手動(dòng)禁用務(wù)必保留這是交換機(jī)最核心的監(jiān)控接口流量ifHCInOctets、ifHCOutOctets端口出入帶寬務(wù)必保留注意選 64 位計(jì)數(shù)器光模塊/溫度廠(chǎng)商私有 MIB如華為的實(shí)體傳感器光功率、溫度、電壓視型號(hào)保留默認(rèn)模板不一定覆蓋我一般拿到模板第一步不是直接關(guān)聯(lián)到所有交換機(jī)而是先展開(kāi)模板看兩個(gè)地方第一流量相關(guān)的監(jiān)控項(xiàng)是不是用的 ifHCInOctets 這種 64 位計(jì)數(shù)器第二接口發(fā)現(xiàn)用的是 ifIndex 還是 ifDescr。這兩點(diǎn)直接決定你后面會(huì)不會(huì)半夜被誤報(bào)吵醒具體原因到第 5 章細(xì)說(shuō)。前一類(lèi)錯(cuò)了流量圖會(huì)出現(xiàn)負(fù)值和尖刺后一類(lèi)錯(cuò)了交換機(jī)重啟后端口監(jiān)控可能直接張冠李戴。模板里少量不必要的項(xiàng)刪掉也沒(méi)有問(wèn)題比如不監(jiān)控 VoIP 語(yǔ)音 VLAN 的話(huà)和語(yǔ)音相關(guān)的 MIB 監(jiān)控項(xiàng)可以直接禁用減少不必要的 SNMP 輪詢(xún)壓力。2.3 先做 SNMP 握手再改模板三個(gè)命令判斷設(shè)備 MIB 是否正常模板關(guān)聯(lián)到設(shè)備之前一定要先確認(rèn)交換機(jī)的 SNMP 服務(wù)真的能通。常見(jiàn)做法不是直接去 Zabbix 前端測(cè)試而是在你本機(jī)先裝好 snmp 工具包用命令行做一次握手。以一臺(tái)華為交換機(jī)為例先看系統(tǒng)基本信息# 語(yǔ)法: snmpget -v版本 -c community 交換機(jī)IP OID snmpget -v2c -c Zabbix2024 192.168.10.1 1.3.6.1.2.1.1.1.0這里的-v2c表示使用 SNMP v2c 協(xié)議-c Zabbix2024是交換機(jī)上配置的只讀 community 字符串1.3.6.1.2.1.1.1.0是 sysDescr 的 OID返回內(nèi)容應(yīng)該是“Huawei Versatile Routing Platform Software”之類(lèi)的設(shè)備描述。能返回就說(shuō)明基礎(chǔ)通路沒(méi)問(wèn)題。接著查一下接口表能不能正常枚舉這決定后面 LLD 端口發(fā)現(xiàn)是否可行# 枚舉交換機(jī)所有物理和虛擬接口的 ifName snmpwalk -v2c -c Zabbix2024 192.168.10.1 1.3.6.1.2.1.31.1.1.1.1這條命令會(huì)列出一串接口名比如 GigabitEthernet0/0/1、Vlanif10、NULL0 等等。如果你只關(guān)心接口名是否齊全這步足夠了。如果你還要驗(yàn)證光模塊的 OID 是否可用就用 snmpwalk 去探測(cè)廠(chǎng)商私有節(jié)點(diǎn)。但廠(chǎng)商私有 MIB 節(jié)點(diǎn)在不同型號(hào)上差異很大不要直接照抄網(wǎng)上的 OID正確做法是先下載對(duì)應(yīng)型號(hào)的 MIB 文件再用snmptranslate或snmpwalk定位傳感器節(jié)點(diǎn)。沒(méi)有做這步握手就導(dǎo)入模板最常見(jiàn)的后果是模板里的監(jiān)控項(xiàng)全部報(bào)“Not supported”前端的報(bào)錯(cuò)能刷一整頁(yè)。3. 把模板落到設(shè)備上導(dǎo)入模板、關(guān)聯(lián)主機(jī)、交換機(jī)側(cè) SNMP 配置3.1 從官方模板倉(cāng)庫(kù)拿到 XML 之后的三個(gè)動(dòng)作Zabbix 官方維護(hù)了一套面向網(wǎng)絡(luò)設(shè)備的模板倉(cāng)庫(kù)里面就有專(zhuān)門(mén)為交換機(jī)設(shè)計(jì)的模板比如 “Template Network Generic by SNMP” 這類(lèi)。拿到 XML 文件后我不建議立刻上傳先做三個(gè)動(dòng)作第一用文本編輯器打開(kāi)掃一眼模板里是否包含ifHCInOctets和ifHCOutOctets兩個(gè)關(guān)鍵監(jiān)控項(xiàng)鍵值防止拿到的是個(gè)閹割版第二確認(rèn)模板里的宏定義了哪些比如{$SNMP_COMMUNITY}、{$IFNAME_MATCHES}、{$IFNAME_NOT_MATCHES}這些宏后面要在主機(jī)級(jí)別覆蓋第三把原始 XML 備份一份到本地模板升級(jí)前后要能對(duì)比差異。導(dǎo)入動(dòng)作本身很簡(jiǎn)單在 Zabbix 前端進(jìn)入 “Data collection → Templates”點(diǎn)右上角 “Import”選擇 XML 文件導(dǎo)入后會(huì)提示成功或報(bào)錯(cuò)。報(bào)錯(cuò)最常見(jiàn)的原因是模板依賴(lài)的另一個(gè)模板不存在比如模板聲明依賴(lài) “Template Module Interfaces” 而你沒(méi)一起導(dǎo)入。這時(shí)別慌去模板倉(cāng)庫(kù)把依賴(lài)模板一并下載導(dǎo)入即可一般情況下官方會(huì)把依賴(lài)關(guān)系寫(xiě)在模板描述里。3.2 交換機(jī)側(cè) SNMP 配置華為命令行與 H3C 命令行對(duì)照模板準(zhǔn)備好之后還得讓交換機(jī)愿意被讀。華為和 H3C 的命令行習(xí)慣不一樣我列出最常見(jiàn)的最小配置以只讀 communityZabbix2024為例。華為 VRP 平臺(tái)交換機(jī)上# 進(jìn)入系統(tǒng)視圖 system-view # 啟用 SNMP v2c同時(shí)保留 v3 不開(kāi)啟以免兼容性問(wèn)題 snmp-agent sys-info version v2c # 配置只讀 community snmp-agent community read cipher Zabbix2024 # 只允許 Zabbix server 的 IP 訪(fǎng)問(wèn) SNMP 服務(wù) acl number 2001 rule 5 permit source 192.168.100.10 0 quit snmp-agent community read cipher Zabbix2024 acl 2001這里的cipher關(guān)鍵字表示在配置文件中加密存儲(chǔ) community防止別人登錄設(shè)備后直接看到明文。ACL 限制來(lái)源是為了避免 community 泄露后被內(nèi)網(wǎng)任意機(jī)器輪詢(xún)這在辦公網(wǎng)里尤其重要。配置完成后可以用display snmp-agent community查看當(dāng)前生效的 community 列表確認(rèn)無(wú)誤。H3C Comware 平臺(tái)的交換機(jī)配置思路相同但關(guān)鍵字有差異system-view snmp-agent sys-info version v2c snmp-agent community read simple Zabbix2024 acl basic 2001 rule 0 permit source 192.168.100.10 0 quit snmp-agent community read simple Zabbix2024 acl 2001H3C 用的是simple而不是cipher表示 community 以明文顯示這是兩個(gè)平臺(tái)最容易搞混的地方。另外華為有些老款交換機(jī)默認(rèn)snmp-agent沒(méi)啟用需要先執(zhí)行snmp-agent再配置其他參數(shù)。這些命令只是最小可用配置生產(chǎn)環(huán)境里如果你的交換機(jī)開(kāi)啟了 SNMP v3建議直接走 v3 用戶(hù)認(rèn)證Zabbix 模板同樣支持只是需要在主機(jī)配置里選擇安全級(jí)別并填入用戶(hù)名、上下文等參數(shù)比 v2c 多幾步但安全性高一個(gè)量級(jí)。3.3 創(chuàng)建主機(jī)并關(guān)聯(lián)模板頁(yè)面操作和 API 腳本兩種路線(xiàn)交換機(jī)側(cè)的 SNMP 就緒后回到 Zabbix 前端創(chuàng)建一臺(tái)主機(jī)。主機(jī)類(lèi)型選 “SNMP”IP 地址填交換機(jī)管理地址端口默認(rèn) 161。關(guān)鍵一步是在 “Macros” 標(biāo)簽頁(yè)里新增一個(gè)宏{$SNMP_COMMUNITY}值填Zabbix2024這一步容易被忽略——如果你不填模板會(huì)嘗試用模板里默認(rèn)的 community通常是public和交換機(jī)實(shí)際配置對(duì)不上監(jiān)控項(xiàng)全部報(bào)錯(cuò)。填完宏之后在 “Templates” 標(biāo)簽頁(yè)鏈接你導(dǎo)入的交換機(jī)模板保存即可。保存后不要立刻看數(shù)據(jù)等兩分鐘讓 Zabbix 完成第一次輪詢(xún)?cè)龠M(jìn) “Monitoring → Latest data” 看結(jié)果。如果你需要一次性接入幾十臺(tái)交換機(jī)前端一臺(tái)臺(tái)點(diǎn)太慢可以用 Zabbix API 腳本來(lái)做。常見(jiàn)做法是寫(xiě)一個(gè) bash 腳本用 curl 調(diào) API 創(chuàng)建主機(jī)并關(guān)聯(lián)模板。下面是核心的請(qǐng)求體# 用 curl 調(diào)用 Zabbix API 創(chuàng)建主機(jī)并關(guān)聯(lián)模板 curl -s -X POST http://192.168.100.10/api_jsonrpc.php \ -H Content-Type: application/json \ -d { jsonrpc: 2.0, method: host.create, params: { host: sw-core-01, interfaces: [{ type: 2, main: 1, ip: 192.168.10.1, dns: , port: 161, details: {version: 2c, community: {$SNMP_COMMUNITY}} }], templates: [{templateid: 10001}], macros: [{ macro: {$SNMP_COMMUNITY}, value: Zabbix2024 }] }, auth: your-auth-token, id: 1 }代碼里type: 2表示 SNMP 接口類(lèi)型templateid需要先從template.get接口查到實(shí)際 IDmacros數(shù)組里定義了主機(jī)級(jí)別宏。注意 curl 的-d參數(shù)里不要用單引號(hào)包 JSON 時(shí)出現(xiàn)未轉(zhuǎn)義字符建議把 JSON 寫(xiě)入文件再用-d body.json方式提交避免轉(zhuǎn)義地獄。這樣批量創(chuàng)建主機(jī)的速度比前端點(diǎn)按快很多而且可以配合host.get接口做冪等判斷已經(jīng)存在的設(shè)備就直接跳過(guò)。4. 模板的靈魂是 LLD端口自動(dòng)發(fā)現(xiàn)、宏映射與過(guò)濾規(guī)則4.1 發(fā)現(xiàn)規(guī)則讓 Zabbix 自己把交換機(jī)所有接口摸出來(lái)交換機(jī)模板和服務(wù)器模板最大的一點(diǎn)不同就是它必須依賴(lài) LLDLow Level Discovery。一臺(tái) 48 口交換機(jī)有幾十個(gè)接口不可能人肉一個(gè)個(gè)添加監(jiān)控項(xiàng)而且不同型號(hào)接口數(shù)量還不一樣。LLD 規(guī)則就是讓 Zabbix 周期性地去讀ifTable或ifXTable這張接口表自動(dòng)把每個(gè)接口“發(fā)現(xiàn)”出來(lái)再根據(jù)模板里的“監(jiān)控項(xiàng)原型”自動(dòng)生成每個(gè)接口對(duì)應(yīng)的監(jiān)控項(xiàng)、觸發(fā)器和圖形。LLD 規(guī)則本身也是模板里的一部分導(dǎo)入模板時(shí)自動(dòng)就有了。Zabbix 官方模板里 LLD 規(guī)則的鍵值通常是net.if.discovery它內(nèi)部封裝了讀取1.3.6.1.2.1.31.1.1這段 OID 的邏輯。這個(gè)規(guī)則運(yùn)行后Zabbix 會(huì)把每個(gè)接口的ifIndex、ifName、ifDescr、ifAlias、ifOperStatus等屬性抓回來(lái)作為后續(xù)宏映射的數(shù)據(jù)源。默認(rèn)情況下 LLD 規(guī)則的更新周期我不會(huì)用 1 小時(shí)以?xún)?nèi)的值因?yàn)榻涌诹斜砘竟潭ㄌl繁的掃描徒增交換機(jī) CPU 壓力。4.2 宏映射與監(jiān)控項(xiàng)原型端口 Down 報(bào)警是怎么自動(dòng)生成的發(fā)現(xiàn)規(guī)則拿到接口列表之后最關(guān)鍵的一步就落到了“宏映射”上。一個(gè)接口在 Zabbix 內(nèi)部需要有穩(wěn)定標(biāo)識(shí)常見(jiàn)的宏有{#SNMPINDEX}、{#IFNAME}、{#IFDESCR}。官方模板的默認(rèn)映射是{#IFNAME}映射到ifName{#SNMPINDEX}映射到ifIndex。monitoring 項(xiàng)原型的鍵里會(huì)引用這些宏例如端口出入流量的監(jiān)控項(xiàng)原型鍵可以寫(xiě)成net.if.in[ifHCInOctets.{#IFNAME}]和net.if.out[ifHCOutOctets.{#IFNAME}]。宏在運(yùn)行時(shí)會(huì)自動(dòng)替換成實(shí)際值這樣每個(gè)接口都會(huì)生成一對(duì)獨(dú)立的流量監(jiān)控項(xiàng)。舉個(gè)模板 XML 里的片段幫助你理解原型的結(jié)構(gòu)item_prototype nameInterface {#IFNAME}: Inbound traffic/name typeSNMP_AGENT/type keynet.if.in[ifHCInOctets.{#IFNAME}]/key delay60s/delay history31d/history trends365d/trends valuemapNone/valuemap unitsbps/units preprocessing step typeCHANGE_PER_SECOND/type params8/params /step /preprocessing master_itemNone/master_item /item_prototype注意這里有個(gè)關(guān)鍵預(yù)處理CHANGE_PER_SECOND和參數(shù)8。SNMP 計(jì)數(shù)器拿到的原始數(shù)字是累計(jì)字節(jié)數(shù)要變成流量速率必須做差分換算乘以 8 轉(zhuǎn)成比特。如果不做這層預(yù)處理圖形上顯示的會(huì)是累計(jì)字節(jié)不斷增長(zhǎng)的曲線(xiàn)而不是帶寬曲線(xiàn)也不會(huì)有速率峰值。這個(gè)預(yù)處理步驟是官方模板里最容易在導(dǎo)入后被“優(yōu)化”掉的某些人嫌模板太復(fù)雜把預(yù)處理刪了最后流量圖完全沒(méi)法看。除了監(jiān)控項(xiàng)原型模板里還帶觸發(fā)器原型。比如端口 Down 的觸發(fā)器原型邏輯就是檢測(cè)ifOperStatus變?yōu)?2down時(shí)觸發(fā)告警表達(dá)式大致形態(tài)如下last(/host/net.if.status[{#IFNAME}],0)2這里的{HOST.HOST}在真實(shí)模板中會(huì)被主機(jī)的技術(shù)名稱(chēng)替換{#IFNAME}會(huì)被具體的接口名替換。觸發(fā)器原型的好處是它和檢測(cè)項(xiàng)一起隨 LLD 自動(dòng)創(chuàng)建不需要你手動(dòng)給每個(gè)端口建一條告警規(guī)則。實(shí)際導(dǎo)出模板時(shí)你會(huì)看到觸發(fā)器原型的表達(dá)式里還帶了{(lán)$IFSTATUS_CRITICAL}這樣的宏方便在不同交換機(jī)上覆蓋閾值。生產(chǎn)環(huán)境里我一般會(huì)把 MTU 相關(guān)的接口狀態(tài)排除在觸發(fā)器之外避免有人改了 MTU 配置導(dǎo)致誤報(bào)。4.3 過(guò)濾規(guī)則把 Vlanif、NULL0 這些虛擬接口擋在監(jiān)控外面LLD 發(fā)現(xiàn)的是交換機(jī)的全部接口而交換機(jī)的接口不等于物理口。一臺(tái)交換機(jī)上可能有十幾個(gè) Vlanif 虛擬接口、NULL0、LoopBack、隧道口這些接口大多不需要監(jiān)控流量和狀態(tài)如果全部納入告警噪音會(huì)非常大。模板里 LLD 規(guī)則帶了一個(gè)過(guò)濾條件就是用來(lái)干這個(gè)的。過(guò)濾規(guī)則的常見(jiàn)寫(xiě)法是按接口名做正則以匹配({#IFNAME} not like Vlanif and {#IFNAME} not like Vlan and {#IFNAME} not like NULL and {#IFNAME} not like LoopBack)同時(shí)再配合包含規(guī)則確認(rèn)接入類(lèi)型比如({#IFNAME} matches ^(GigabitEthernet|XGE|Eth|GE|Ten-GigabitEthernet|HundredGE))第一段過(guò)濾掉虛擬接口第二段只保留物理以太網(wǎng)口。注意兩個(gè)條件之間用 and 連接缺一不可否則要么虛擬接口混進(jìn)來(lái)要么物理口被誤殺。不同廠(chǎng)商的接口命名前綴差異很大華為用 GigabitEthernet、EthH3C 也用 GigabitEthernet銳捷可能是 Gi 前綴。你在寫(xiě)過(guò)濾正則前建議先用 4.3 節(jié)的 snmpwalk 那條命令把實(shí)際接口名拉一遍再照著真實(shí)命名寫(xiě)正則不要憑空猜。過(guò)濾規(guī)則寫(xiě)錯(cuò)最典型的現(xiàn)象是模板關(guān)聯(lián)后某一臺(tái)交換機(jī)上所有端口監(jiān)控項(xiàng)全部消失該設(shè)備前端顯示“接口數(shù) 0”。5. 交換機(jī)模板上線(xiàn)后的 5 個(gè)高頻翻車(chē)點(diǎn)與避坑方案5.1 ifIndex 漂移交換機(jī)重啟后端口監(jiān)控全對(duì)不上現(xiàn)象一臺(tái) H3C 交換機(jī)重啟后原來(lái)接口名對(duì)應(yīng)到監(jiān)控項(xiàng)全亂了流量圖斷掉LLD 重新發(fā)現(xiàn)后又出現(xiàn)一批新的監(jiān)控項(xiàng)舊監(jiān)控項(xiàng)全部變成 “Not supported”。原因如果模板的宏映射使用{#SNMPINDEX}作為主鍵而設(shè)備在重啟或配置變更后 ifIndex 重新分配同一個(gè)物理口對(duì)應(yīng)的 ifIndex 變了數(shù)據(jù)就對(duì)不上了。解決不要用 ifIndex 做唯一主鍵改用{#IFNAME}或{#IFDESCR}作為宏映射主鍵同時(shí)在 LLd 規(guī)則里把周期調(diào)短到 1530 分鐘讓重啟后的設(shè)備盡快重新發(fā)現(xiàn)。我在核心交換機(jī)上還會(huì)手工把端口對(duì)應(yīng)關(guān)系記在 ifAlias 里用{#IFALIAS}做輔助標(biāo)識(shí)值可讀性高排查時(shí)一眼識(shí)別。5.2 32 位計(jì)數(shù)器翻轉(zhuǎn)流量圖出現(xiàn)負(fù)數(shù)與尖峰現(xiàn)象某個(gè)千兆口流量圖偶爾出現(xiàn)很大的負(fù)值或瞬間出現(xiàn) 40Gbps 尖峰然后歸零。原因模板或你手工添加的監(jiān)控項(xiàng)用的是 32 位計(jì)數(shù)器ifInOctets32 位最大計(jì)數(shù)到約 4.2 億字節(jié)千兆口幾分鐘就會(huì)翻轉(zhuǎn)一次翻轉(zhuǎn)瞬間差分計(jì)算得到負(fù)數(shù)。解決統(tǒng)一換成 64 位計(jì)數(shù)器ifHCInOctets/ifHCOutOctets這兩個(gè)是 64 位計(jì)數(shù)萬(wàn)兆口也要很久才翻一次處理代碼上天然規(guī)避問(wèn)題。老舊的百兆交換機(jī)有的不支持 HC 計(jì)數(shù)器那就只能降低輪詢(xún)頻率以緩解翻轉(zhuǎn)速度并接受偶爾數(shù)據(jù)異常這是硬件限制沒(méi)有后悔藥。5.3 光功率監(jiān)控項(xiàng)總是 No data先分清 OID 歸屬現(xiàn)象模板關(guān)聯(lián)后設(shè)備 CPU、流量全部正常但光模塊溫度和光功率的監(jiān)控項(xiàng)全部顯示 “Not supported” 或 “No data”。原因光模塊所在的 MIB 是廠(chǎng)商私有節(jié)點(diǎn)不是 RFC 標(biāo)準(zhǔn)節(jié)點(diǎn)華為和 H3C 的光模塊傳感器 OID 完全不一樣甚至同一廠(chǎng)商不同系列也不一樣。官方通用模板無(wú)法窮舉廠(chǎng)商私有 OID這類(lèi)監(jiān)控項(xiàng)默認(rèn)是缺失的。解決先去下載對(duì)應(yīng)型號(hào)的 MIB 文件用 snmpwalk 探測(cè)光模塊傳感器節(jié)點(diǎn)比如華為部分設(shè)備可以在實(shí)體傳感器 MIB 下找到溫度、電壓、光功率的數(shù)據(jù)確認(rèn) OID 后在模板里復(fù)制一份監(jiān)控項(xiàng)原型改成私有 OID再用主機(jī)宏區(qū)分不同型號(hào)。注意不要照抄網(wǎng)上的 OID 到不同型號(hào)上大概率無(wú)效。5.4 輪詢(xún)頻率太密20 臺(tái)交換機(jī)把監(jiān)控服務(wù)器和網(wǎng)絡(luò)都拖垮現(xiàn)象Zabbix 服務(wù)器 load 飆升交換機(jī) CPU 也跟著高snmpwalk 手動(dòng)執(zhí)行時(shí)響應(yīng)變慢。原因模板里監(jiān)控項(xiàng)更新周期設(shè)成了 10s又開(kāi)了大量 LLD 規(guī)則48 口交換機(jī)每輪光接口監(jiān)控項(xiàng)就有上百條幾十臺(tái)設(shè)備疊加后 SNMP 請(qǐng)求風(fēng)暴打滿(mǎn)網(wǎng)絡(luò)設(shè)備和監(jiān)控服務(wù)器。解決默認(rèn)模板里把普通監(jiān)控項(xiàng)更新周期改到 60sLLD 規(guī)則周期 30 分鐘以上即可。核心交換機(jī)的關(guān)鍵接口可以單獨(dú)復(fù)制一份監(jiān)控項(xiàng)設(shè)成 30s 快速輪詢(xún)但一定不要全局生效。Zabbix 里每個(gè)監(jiān)控項(xiàng)都可以單獨(dú)覆蓋 delay 值這個(gè)能力用得好才能兼顧實(shí)時(shí)性和性能。5.5 community 用 public 還裸奔在整個(gè)網(wǎng)段現(xiàn)象交換機(jī)配置了 SNMP v2ccommunity 是默認(rèn)的public沒(méi)有 ACL 限制幾個(gè)月后發(fā)現(xiàn)交換機(jī) CPU 負(fù)荷高排查發(fā)現(xiàn)有人在全網(wǎng)段掃描 SNMP 端口。原因v2c 是明文協(xié)議community 等于密碼默認(rèn)值毫無(wú)防備掃描器很容易發(fā)現(xiàn)并持續(xù)輪詢(xún)你的設(shè)備。解決社區(qū)字符串改成和密碼同等復(fù)雜度的只讀值比如Zabbix2024#Core同時(shí)在交換機(jī)上配置 ACL 只允許 Zabbix server 的 IP 訪(fǎng)問(wèn) 161 端口前文 4.2 節(jié)已經(jīng)給出了配置示例。如果你設(shè)備和 Zabbix 都支持 SNMP v3建議直接升級(jí) v3用認(rèn)證和加密即便報(bào)文中途被截獲也拿不到明文數(shù)據(jù)。6. 最后一道工序用圖表和觸發(fā)器表達(dá)式給模板做驗(yàn)收模板部署完不等于結(jié)束上線(xiàn)之前一定要做一次完整驗(yàn)收。我最常做的第一步不是看 Latest data而是用圖表原型跑一張流量圖。Zabbix 圖形分為“圖形原型”和“自定義圖形”前者會(huì)隨 LLD 自動(dòng)生成每個(gè)端口的圖后者是手動(dòng)建圖。在模板的 “Graph prototypes” 里確認(rèn)存在類(lèi)似 “Interface {#IFNAME}: Network traffic” 的圖形原型后找到一臺(tái)已關(guān)聯(lián)的交換機(jī)直接打開(kāi)對(duì)應(yīng)接口的圖形看波形是否光滑。如果圖形里有毛刺或負(fù)值回頭看監(jiān)控項(xiàng)預(yù)處理是否缺失。第二步是驗(yàn)證觸發(fā)器表達(dá)式是否誤報(bào)。交換機(jī)模板里最煩的告警是端口 Down 告警接入層辦公網(wǎng)的終端經(jīng)常有人拔網(wǎng)線(xiàn)每拔一次就報(bào)警一次半夜能煩死人。我會(huì)把接入交換機(jī)的模板里端口 Down 觸發(fā)器表達(dá)式加條件比如只在 5 分鐘持續(xù) Down 后才告警而核心交換機(jī)端口 Down 必須立即告警用不同的模板副本區(qū)分接入層和核心層。表達(dá)式形態(tài)參考# 接入層: 持續(xù) 5 分鐘 Down 才告警 last(/sw-access-01/net.if.status[{#IFNAME}],300s)2參數(shù)300s表示最近 300 秒的最后一次值是 2才滿(mǎn)足觸發(fā)條件。換成0就是立即告警核心交換機(jī)用。這樣改完后接入層掉線(xiàn)的誤報(bào)能減少大半核心鏈路的狀態(tài)仍然秒級(jí)感知。這種驗(yàn)證思路同樣適用于其他模板有問(wèn)題先看圖形再看觸發(fā)器歷史最后反查監(jiān)控項(xiàng)鍵值。我自己吃過(guò)最大的虧是把所有交換機(jī)不分角色套同一個(gè)模板結(jié)果機(jī)房維護(hù)時(shí)接入層幾十條端口 Down 告警同時(shí)炸出來(lái)值班手機(jī)卡了五分鐘。后來(lái)把模板拆成 core 和 access 兩個(gè)版核心口用立即告警接入口加 delay世界安靜了。希望這篇筆記里的選型和避坑經(jīng)驗(yàn)?zāi)軒偷侥隳呐轮槐艿?ifIndex 和計(jì)數(shù)器這兩個(gè)坑也算值回票價(jià)。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | se吧提供91精品国产91久久久久久 | 天堂涩涩| 欧美亚洲一级在线观看| 嗯嗯啊啊好大好爽| 浪人综合网| 欧美一二在线| 亚洲色色探花| 色踪合AV| 中文久久爆乳| 另类图片五月天| 国产激情在线观看| 欧美图片校园春色| 色墦五月丁香| 欧美性夜| 男人亚洲91首页在线| 日本精品一区二区不卡| 一色网男人的天堂| 久操97| 国产婷婷一区| 欧美大香蕉同搞| 2019午夜福利视频| 国产做?爰片久久毛片?片美国| 中文字幕诱惑制服人妻丝袜美丝袜美| 永久免费发布性爱网| 色阁阁AV综合网| 中文字幕亚韩| 久草新在线| 99热这里是精品| 久久人妻熟女一区二区| 91在线丝袜视频| 国产综合网站在线播放| 一本久久久精品| 五月激情综合网| 久久一区二区三区四区五区| 在线 亚洲 网爆 自拍| 成人无码在线视频网站| 亚洲999综合| 日韩精品在线观看网站| 日韩电影在线观看网址| 日本一久是| 亚洲欧美经典一区二区| 国产高清成人免费视频| 青娱乐手机日韩在线视频| aⅴ日韩成人电影av在线免费看av大全| 91欧美www| 精品少妇后入一区二区三区四区人妻巨乳| 秋霞 色色| 精彩国产视频播放1区2区| 老熟妇一区二区三区…| 国产精品九九九| 人人妻人人色| 久久久婷婷| 黑人精品XXX一区一二区| av线电影| 亚洲一区二区麻豆影院| 中国国产精品一区视频| 另类欧美色| 成人五月天色网| 91人妻Pr| 尤物网址| 人人做天天爱| 中文久久| 96国产精品| 伊人97色天使| 天天舔天天 | 日本一区不卡| 国产吹潮女在线观看| 日本天天操| 精品无码久久久久久国产浪潮| 91精品操美女| 97超碰久| 美女的肌被草喷水视频| 欧亚综合一卡二卡中文字幕| 综合久久婷婷| 欧美精品1区2区3区| 日韩三级伊人| 国产97亚洲| 欧美日韩青操| 国产专区路线| 800zy一区二区| 免费在线观看AV无码网站| 国产精品美女久久久久久网站| 色色青青久久| 欧美精品亚洲精品日韩传电影| 99精品伊人| 97超碰碰碰| 五月天色图| 中国东北熟女老太婆内谢| 天天干天天舔| 丝袜剧情| 99久久精品无码一区二区| 99热| 色色网91| 日韩人成网站在线播放| 国产小黄片在线免费观看| 无码久久国产| 欧美日韩大香蕉| 2019天天干| 国产97亚洲| 欧美综合色图网| 91高潮喷水美女| 91天堂视频| 国产精品午夜成人福利| 宅男91视频在线播放| 五月花婷婷| 中亚精品极乱| 国产天天看| 9999亚洲电影| 97频视在线| 亚洲综合贴图91| 骚女高跟AV在线| 老汉网| 东北女人的毛片| 亚欧美天堂在线| 一二三啪啪专区| 无码heyzo高清一区| 丝袜喷水在线| 97视频免费播放| 97精品在线视频| 丁香色狠狠色综合久久小说| 国产一区二区免费福利片| 中文字幕美女91| 激情无码日韩| 精品国产精品一区二区| 淫妻综合网| 人人喜人人妻| 亚洲精品国产av天美传媒| 天天综合麻豆视频| 国产精品乱码久久久久| 国产亚洲精品美女久久久m| 唐山老熟妇露脸啪啪叫| 97天天爽| daxiangjiao你懂的| 91嫩草在线| 东北女人性交| 日本三级一区二区 在线| 婷婷丁香五月天综合东京热| 免费视频无码| 99亚洲人人| 国产精品在线一区二区| 易易A毛视频| 色吧5亚洲| 国产人妖的免费的视频| a男人的天堂| 色哟哟av网址| 欧美第二页| 亚洲AV无码乱码| 夜间福利片1000无码| 91日韩在线| 91老司机在线视频免费观看 | 992这里有精品| 黄色小说亚洲| 久久精品噜噜噜成人看免欧美大片| 欧美天天干| jizz啪啪| 九九精品热| 黄网站黄视频网站进入口| 中文一区二区| 午夜啪| www色色com| 91美女视频在线| 亚洲加勒比色图| 欧美精品精品一区二区| 国产激情综合五月久久| 中文字幕欧美日本乱码一线二线| 亚洲网站一区二区在线| 天堂种子在线www网资源| 色女网日韩| 国产91专区| 日韩免费一级性爱视频| 香蕉在线一区二区三区| 国产丁香精品露脸视频 | 18精品一二区| 日韩av影片在线观看| xxx亚洲午夜天堂| 日本大香蕉综合网| 日本岛国黄色网址| 色吊丝 日日骚 清纯唯美| 97人人操人人摸| 欧美激情 日韩精品| 欧美色图电影| www.狠狠干.coom| 麻豆一区二区AV天美| 91人妻做a观看视频| 春色校园综合网| juliaann丝袜| 95人妻爽爽人人做人人澡| 亚欧美综合| 久久av成人无码免费| 天天色怡春院| 99这里只有精品国产| 污到发麻的视频 国产| 青草精品视频日本久久久久网站在线| 大香蕉黄色一区| 试看60秒| 家庭乱伦网站国产| 亚洲极品| 丁香五月综合| 天天久久| 91欧美成人色站| 少妇厨房愉情理伦片bd在线观看| 黑丝91视频| 国产老女人久久毛| 嗯啊啊啊轻点视频 | 国产女同视频在线播放| 老熟女熟妇| 国产综合色精品在线观看| 天天搞在线综合网| 夜夜騷av、一區二區| 久久久亚洲| 97在线播放 | 久久久久久加勒比| 九色黄站| 日本乱人伦片中文三区| 亚洲精品人妻在线| 影音先锋国产精品| 色噜噜狠狠色综无码久久合欧美| 亚洲操操| 日韩久久超碰色| 日韩中文字幕熟妇人妻| 日本 免费 一区二区三区 久久香蕉 | 综合色图区| 开心五月婷婷激情| 大稥蕉免费视频这里只有精品| 欧美熟爽综合| 91色爽欧美| 情侣操 逼视频99| 一二视频神马久久传媒| 亚洲综合伊人无码久久| 日本一区二区三区免费观看| www色色色com| 欧美老熟另类| 2026国产精品视频| 漂亮人妻被强中文字幕hd| 久久久久久十| 秋霞色色影院| 亚洲午夜福利在线影院 | 精品一区二区三区18| 欧美综合色,www| 国内一区二区免费| 精品久久久久久中文字幕三区| www.99中文字幕| 九九色热| 日韩天天本| 亚洲欧美97√| 亚洲AV噜噜狠狠网址蜜桃动漫| 五月综合久久| 欧美熟妇操操视频| 精品传媒在线一区| 日逼视频日本| 青青操97| 欧美96在线|欧| www久久国产精品| 欧美日韩 强奸乱伦| 超碰超碰欧美| 精品福利| 色婷婷影院| 黄久在线| 久久男人精品| 日日天天久久啊啊aaa| 天堂精品| 日韩乱中文| 嗯嗯嗯嗯啊啊啊好紧好大| 精品人妻一二三四区视频| 五十路熟女人妻一区二区在线观看| 国产欧美精选自拍一区| 日韩中文字幕av在线播放| 高颜值美女口爆高潮浪叫| 黄片视频观看| 久久久啊啊| 亚洲中文sv| 日韩性爱人人爱人人操| 亚洲男人的天堂AV| 久久国产逼| 超碰三级秋霞| 一区二区三区高清| 99热精品在线在线| 一本久久久精品| 日韩精品一区二区日韩| 少妇500双飞99| 国产高清自拍| 日韩另类色图| 亚州男人天堂| a男人的天堂| 91亚洲综合在线| 亚洲精品成人激情在线| 夜夜做夜夜爽精品视频| 人妻一二三区| www.久久| 99无码| 五月丁香六月激情| 久久精品熟妇丰满人妻99| 九九成人视频| 无码人妻一区二区三区免费九色| 91黑丝露脚| 婷婷午夜清品久久久久久久性色视频观| 全球成人中文在线| 亚洲综合色图欧美| 人妻AV在线| 青草地一本线一区二区三区| 亚洲 日本 一 二 三| 日本欧美不卡| 啊啊啊啊视频免费| 国产精品原创巨作?v网站| 欧美亚洲美少妇一区二区| 欧美日韩不卡a片| 国产精品不卡一区二区三区| 1769精品一区二区三区| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 男女啪啪网站免费视频| 丝袜视频一区二区在线播放国产中文| 看黄片视频免费| 精品人妻一区二区蜜桃视频| 荡小穴在线观看| 大香蕉乱级| 天天干人妻| 精品国产www久久| 欧美春色| 久久神马影院| www久| 亚洲高清欧美总合| 亚洲中文字幕三级在线| 久久国产精品一区二区| 久久久久网站-538在线视频-欧美永久乱码 | 91 丝袜在线| ?亚洲伊人伊成久久人综合网| 97日亚洲欧美| 成人精品欧洲亚洲| 91亚洲黑人| 熟女乱伦A| 黑丝制服中文字幕| 新精精品久久精品| 人妻久久久久久久久久久久久久久| 白嫩少妇| 欧美后入式| 日本亚洲vr欧美不卡高清专区| 口爆吞精在线观看| 男人久久天堂| 亚洲人妻久久久| 熟女在线视频| 91精品国产麻豆国产自产在| 亚洲一区中文精品| 天美av在线| 午夜欧美J进J出白浆流出久久久 | 亚洲美女色图| 四虎AV在线观看| 综合操逼| 操人人| 欧美成人精品一区| 97频视在线| 日本人妻一区二区| 9久久精品| 精品人妻中文字幕高清| 久久一二区四| 你懂得91| 高跟丝袜AV专区国产| 男人在线天堂| 97色综合中文网| 人妻 欧美亚洲| 91精品丝袜久久久久久无码人妻| 激情99| 国产午夜激片Av毛片不卡| 中文字幕精品探花视频| 亚洲天堂加勒比| 日韩精品系列| 欧美日韩天堂| 裸体美女久久久| 无码99| 亚洲欧美精品91| 黄片在线免费在线观看| 久久香蕉国产线看观看猫咪av| 九九精品无码专区免费| 欧美激情性爱视频网站| 欧美日韩色综合网| 岛国毛片在线观看免费| 国产第12页| 国产精品嫩草影院午夜两性| 大香蕉免费3| 日本熟女不卡视频| 无码精品久久久天天影视| 欧美区亚洲区偷拍区| 一区AV| 国产综合色精品在线观看| 九九九九九精品| 久久久偷拍| 日本媚薬中文字幕在线| 亚洲人综合19| 999久久久免费精品国产牛牛| 97se亚洲综合自| 国产高清不卡视频| 亚州高清色综合| 欧美亚洲涩涩| 熟女91网| 91精品人妻一品二品三品| 亚洲深夜福利| 亚洲最新Av| 久综合国内精品自在自线| 人人操人人干网页| 粉嫩在线一区二区懂色| 青青草中文-久久青草精品一区二区三| 久9视频| 天天色香欲综合网| 99re99视频在线免费观看| 九九综合网| 日本大香蕉综合网红本杳社区| 青青五月天| 欧美影院一区二区三区| 国产成人精品无码久久| 人人操人人大香蕉| 日本天堂网| 久色99999| 国产精品午夜福利| 色视频蜜乳| 国产 丝袜 欧美中文 另类| 日韩欧美视频青青| 亚洲美女黄色| 亚洲色综合| 粉嫩粉嫩一区性色AV片| 偷拍 精品另类 凸凹了四区| 中文字幕综合人妻| 97se亚洲综合自| 黄色电影在线播放综合网站| 人人色人人操在线| 超碰97玖玖爱| 怡红院成人视频| 999精品国产高清一区二区| 国产高清无码一区二区三区四区皇冠| 无码欧美有限公司| 一本色道久久综合亚洲二区三区| 人人看黄色视频| 日韩性爱再线视频| 九九英色视频| 青娱乐妇女性生活| 黄色视频特级毛片| 精品小视频在线| henhen91| 色五月激情网| 啊啊啊啊啊舒服| 中国AAAAAA黄色片| 久久熟女人| 欧美图片色五月天| 国产亚洲精品第一最新| 国产成人主播| 五月天婷婷在线看 | 伊人精品视频| 日本成a人v网站在线观看| 欧美性爱在线无码| 色老久久| 欧美日韩亚洲一区二区在线观看| 亚洲国产综合久久久性感熟妇| 97精品一区二区视频在线观看| 亚州免费啪啪视频| 天天内射| 高清无码 国产精品| 97色97好| 秋霞成人做爱| 青青草字幕AV| 中文人妻av高清一区| 热久久91婷婷| 中国AAAAAA黄色片| 超碰超碰欧美| 青娱乐淫乱1314| 亚洲 日本 一 二 三| 东京热,男人的天堂| 亚洲精品人妻吞精av| 超碰97欧美日韩| 尤物网址| 99re综合伊人| 色人久久| 国产精品久久久| 欧美人妻精品| 色欲三区| x97av| JULIA一区二区三区在线播放| 97欧美色综合| 久久香蕉网| 男人天堂东京热| 亚洲男人天堂2019| 97超碰碰| 久久久专区| 国语av最新自产拍在线观看| 啊啊啊轻点在线观看| 一区二区娱乐网站| 亚洲牲交| 色制服丝袜夫妻av一区| 天天躁日日躁AAA片李宗瑞| 91成人亚洲色图| 激情五月婷婷| WWW.操逼.COM| 国产久久男人天堂| 五月婷婷综合网| 亚洲国产综合图区中文字幕| 久久爽爽精品| 国产高潮AA片免费看| 精品午夜福利| 日本999精品| 伊人久久大香大香线蕉中文| 激情欧美97| 日韩精品人妻系列无码天堂| 在线精品福利免费播放| dy888午夜老子影视达达兔| 蜜臀亚洲中文| 丰满人妻av一区二区三区| 成人性交免费视频| 亚洲日韩少妇一道本视频| 大香蕉久操| 天天爽夜夜爽夜夜爽精| 97ai亚洲| 欧美日韩国产电影| 伊人网av| 久久久无码av精| 亚洲综合第一页| 天天操天天7| 后入 亚洲 美女 射| 久久激情亚洲精品无码?V | juliaann精品熟女一区| 国产精品久久久鸭无码的功能| 人妻久久一区二区三区 | 亚洲情色综合| 久久久九| 超碰夫妻97| 熟女丰满人妻一区| 五月天激情影院| 熟妇的味道HD中文字幕| 国产精品熟女一区二区三区| 超碰 欧美| 久干网| 色一射色一射| 久久综合五月天| 欧美三级中文字幕hd| 丰满美女一级毛片在线播放| 欧亚日韩中文在线| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 一区二区三区四区在线不卡| 超碰97最新人妻| 久热色情精品| 美女黄色一级A视频| 成人国产精品三级A片| 欧美黄色大片在线观看| 欧美高清18A片| 久久久久久性爱免费视频| 国产精品一区二区麻豆| 爱妻综合网| 男人网站婷婷| 日韩天天本| 91九九九小逼| 国产小炒后入式| 伊人青青草久久| 色爱欲亚洲| 国产老熟女| 中文一区二区婷婷视频| 91久久久久久久久久久| 日本不卡卡一区| 国模限制级电影| 人妻嗯啊啊在线播放| 婷婷五月天成人网| 中出91| 国产精品一二三区福利| 国产欧美伊人| 欧洲中文字幕| 欧美天堂超碰97| 福利在线视频一区二区| 五月天亚洲网| 大香蕉草草| 日韩97P| 久久久97| 正在播放国产精品一区| 国产 无码 一区二区| 黄片aaaaa一区| 国产乱伦一二三区| 青青草中文-久久青草精品一区二区三 | 天天综合影院91| 亚洲 欧美 另类 日韩 人妻一区| 国产25页| 色老大| 丰满人妻一区二区三区蜜桃视频| 一级毛片电影免费看| 欧美综合国产精品久久丁香| 日日操丁香五月天| 国产激情久久| 欧美色图私拍91| 日韩 欧美 国产 麻豆| 色婷婷日韩精品一区二区三区| 热热色91| 欧美日产国产在线成人第一区| 国岛片视频| 午夜精品久久久久久久男人的天堂 | 男人把坤坤插入女人的下体| 色欧美在线| 操逼A∨| 美国aaaaa一级黄片| 十八禁啪啦拍视频无遮挡| 精品无码久久久| 91 综合 色| 亚洲丝袜诱惑| 精品久久久久久中文| 可以免费观看的AV| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 成人aⅴ一区二区三区| 啪啪综合网| 美美91成人国产精品欧美精品久久久久久久| 台湾佬中文娱乐网久久久久久久久久com| 欧成人精品一区二区三区| 26uuu国产亚洲综合| 国产高潮AA片免费看| 色爱欲亚洲| 日本亚洲嫩草影院啪啪| 国产高清无码一区三区二区| 亚洲91少妇| 中文日韩欧美熟| 测评在线观看AV| 国产人妻天天干精品| 欧美亚洲第1页| 久久精品无码一区二区三区| 乱伦av.com| 久久只有精品一区二区三区| 久久激情婷婷| 国模精品娜娜一二三区| 久久超碰98| 亚洲九九九| 丁香五月婷婷啪啪| 大屁股国产在线视频| 女人与公拘交酡2020视频| 91精品91久久久中77777| 激情四射熟女丝袜| 熟妇的味道HD中文字幕| 超碰国产情侣自拍网| 极品色综合| 91啪啪视频| 欧美在线第五页| caoni国产亚洲av| 天天看特黄的免费网站| 女性喷水高潮在线观看| 久久久久精| 欧美少妇人妻| 亚洲精品男人的天堂| 久久久涩| 天天爽天天操| 中文字幕第2页| 九九色综合| 久久久91| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 男人的天堂久久久| 亚洲男人的天堂亚洲| 欧美图片校园春色| 深爱激情五月天| 青青青青青手机视频| 天天看少妇| 97人人模人人爽人人| 国产福利夜| 91美女在线视频| 欧美暴力猛交| 综合国产影视三级| 一区二区三区国产精产| 欧美色97| 骚逼高潮久久精品| 亚洲女人91| 狂操嫩妻视频一区二区三区| 麻豆亚洲AV成人无码久久精品| 婷婷五月天激情网| 精品一区二区三区麻豆| 亚洲 欧美 中文 日韩超碰 | 99自拍视频在线| 亚洲脚交| 日韩人妻精品久久久久| 亚洲美女AV无码| 99re6国产精品99re在线| 精品国产Av无码久久久伦古装| 青娱乐 成人娱乐在线| 被窝影院午夜看片无码| 精品久久大胆人体| 人妻熟女av国产网站| 人妻丝袜一区二区三区在线| 91久久精品国产| 高清一区AV无码| 在线小说视频一区| 国产精品天美传媒| 成人a大片在线观看| 日夜尻逼网| 久久这里都是精品| 国产AV毛片| 久久线上视频免费看| 欧美不卡在线美女| 性色av蜜臀av色欲aV| 风间由美日韩欧美久久| 国产白领连续中出在线观看| 91c色| 国产嫩草精品A88AV| 91亚洲青青草原精品1区| 九月丁香婷婷色| 快灬快灬 一下爽蜜桃在线观看| 欧美不卡在线美女| 日本精品高清一二区一本到| 亚洲国产美女久久久久| 少妇熟女视频一区二区三区| 91丝袜美腿网站| 777奇米影视777四色| 国产在线视频午夜精华在| 亚州国产成人精品女人久久| 欧美制服网站美腿丝袜| 亚洲成a人在线观看久| 亚洲欧美色图片| 超碰是碰在线观看| 成人日韩中文字幕| 亚洲精品丝袜-不卡成人免费……| 国产成年精品高清在线观看91| 久久久偷拍| 亚州高清av| 天天日天天射天天干| 五月丁香色综合| 免费在线黄片视频| 天天日天天干天天色| 超碰97 线线 在现| 色噜噜人妻av中文字幕| 色麻豆AV| 亚洲大色堂| 91网站18在线观看| 日韩操人| 成人八戒网站| 日韩人妻一区二区| 香蕉精品二区二区| 热热色国产一二区AV| 91在线限制级| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 中文字幕精品一区二区精品| 干婷婷综合网| 国产亚州精品美女久久久免费| 午夜亚洲WWW湿好大| 男人的天堂2018| 国产区在线| 97视频一区| 天天综合91入口| 欧美另类天堂| 99精品无码| 亚洲 欧美 日本 国内 首页| 久久女同性恋一二区| 男女一进一出视频久久| 伊人网青青| 翔田千里无码一区| 日韩欧美麻豆 | av天堂影视中文在字幕在线中文 | 国产情色在线| 嗯嗯啊啊好大好爽| 超碰久久精品| 麻豆a'v电影| 蜜桃臀一区二区aV| 亚洲色棕合| 日本道人妻久久久在线不卡色视频| 天堂精品| 久操视频这里只有精品| 中文字幕视频二区| 91人人操| 国产午夜精品理论片一二三区区 | 天天干2019| 国产自产91区13区| 亚洲中文电影| 久久精品高清无码一区| 91精品操美女| 97这里有精品| 久久久久亚洲Av无码专区老牛影视| 天美传媒婬乱| 成人性爱av| 国产粉嫩出水在线播放| 五月天成人综合| 中文字幕视频一区视频二区| 色五月第四色| 熟女露脸激情自拍视频| 四虎影视精品| 午夜福利一区二区影院| 久久精品国产亚洲AV高级北京| 色99视频| 伊人久久国产免费观看视频| 天天操美美| 久久精品区| 欧美性生活男人的天堂| 久久久久成人亚洲国产| 女优视频第10页| 人妻酒店出差被中出免费在线播放| 97欧美久久久久久久| 一区二区影视| 淫荡少妇免费| 夜夜做夜夜爽精品视频| 中文字幕后石码四区五区| 无码免费在线观看黄色片| 久草福利在线资源站| 欧美日韩国产中文超碰| 视频二区熟女人妻| 国产精品点击进入在线影院高清 | 天天操女人| 超碰在线第一页| 欧美综合天天| 人妻99p| 夜夜高潮夜夜爽高清视频一| 九九九九九九免费视频| www熟女乱伦com| 成人片在线播放| 男人天堂综合| 亚洲开心网| 久久草大香蕉| 日本一级婬片试看三分钟| 另类小说五月天| 亚洲日产专区婷婷| 热99这里有精品综合久久| 无码日韩网站| 亚熟hd视频在线| 天天日天天操天天射河南省| 成人福利视频网| 久久国99999| 天天综合亚洲综合| 九九九九热| 久草视频在线视频在线视频在线观看| 日韩天天本| 久久伦理视频久久大香蕉视频| 欧美色视频在线| 男人的天堂三级| 国产精品3| 日本久操视频| 99老司机精品视频在线观看| 日本高清电影欧美色图| 国产精品午夜精品| 国产精品嫩草影院免费| 精品国产99| TS人妖另类精品视频系列| 六月丁丁香| 九九五月天| 国产女人91精品嗷嗷嗷嗷| 九九热精彩视频| 欧美Aⅴ| 欧美色图私拍91| 日产欧美电影一区二区三区| 五月天黄色av| a'v在线资源| 少妇蜜汁| 国产玖玖| juliaann欧美丝袜办公室| 97自拍视频在线| 亚欧洲日韩国产精品| 色九区| 4虎在线观看| 乱人伦 国语对白:视频直接看| 97网色| 日韩天美| 久久久久亚洲熟妇熟女| 97超碰逼| 太久视频| 久久久无码精品人妻二区| 天天干,天天日| 亚洲欧美999| 中文字幕片| 成年人黄色小视频网站| 任我爽在线视频免费观看| 超碰成人国产| 国产精品一区二区密臀| 亚洲日韩肥臀视频在线观看| 亚洲国产精品成人综合| 中文一区在线日| 国产强奸超碰AV| 美女性91| 美女的肌被草喷水视频| 韩日性爱av| 少妇大屁屁| 熟妇熟女一区二三区| 福利操逼| 4虎在线观看| 国产视频一区二区三区久久亚洲天堂 | 欧美亚洲清纯| 后入美女国产| 男人天堂黄片| 91 综合网| 欧美图片色综合| 激情小说成人日本无码一| 上床啊啊啊| 97色欧州| 日本污ww视频网站| av网站国产主播在线| Aa东京男人的天堂| 亚洲色图91欧美日韩| 大香蕉www.超碰| 91综合无码| 久久久久久中文版| 丁香五月天堂网| WWW操逼| 欧美丝袜91| 日韩午夜国产| 中文字幕一区av| 天堂无码精品国产久| 欧美在线91| 精品妇操一区二区三区| 少妇蜜汁| 亚洲综合婷婷| 亚洲自拍天堂| 色欲av国内精品久久久久久| 91视频综合在线| 有码免费观看| 欧美婷婷| 亚洲精品亚洲人成在线麻豆| 成人国产视频在线观看| 亚洲天堂久久| 91欧美另类| 亚洲熟妇丝袜在线观看| 热热色青青草| 密臀视频一区二区三区| 久久久久密| 成人看片网站| 国产一级黄色片在线观看| 成人av毛片在线观看| 人人妻人人爽一区二区三区| 亚欧洲一区二区视频| 欧美第38页| 男人的天堂在线有码| 99久久9| 囯产乱伦一区二区三女| 国产野战露脸在线播放| 欧美日韩在线视频网站| 啊v在线观看视频| 亚洲久草AV色图| 国产情色第一第二页在线观看| 欧美亚洲20p| 少妇毛片久久| 色穴精品| 久久久艹艹艹| 亚洲中文字幕噜噜噜久久久| 九九香蕉网| 精品国产片亚洲一区| 操逼1区| 性做久久久久久免费观看软件| 亚洲色图 综合| 国产亚洲色婷婷99精品91| 久久9久9久99久9久9| 色爽爽文学| 亚洲有码 欧美精品| 久综合网| 9久热| 成人片在线播放| 久热9| 色五月婷婷五月天| 亚洲欧美大| 色综合一区二区三巨| 丝袜熟女2P| xxx亚洲午夜天堂| 欧美色九九九| 久久綜合很很很| 欧美影音在线| 少妇99| 久9爱精品| 精品97久久| 人妻丝袜美腿中文字幕| 测评在线观看AV| 五月天婷婷在线看 | 色女网日韩| 青青操在线亚洲视频观看欧美在线 | 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 一区二区播放| 久久久久久十| 91亚州| 日本一区二区三区午夜观看| 日韩中文字幕精品一区在线| 国产一级作爱毛片| 久久激情五月| 99热99re超碰精品| 啊啊啊不要啊啊受不了了视频在线| 黑人与人妻| 黑人性暴力毛片| 麻豆天美传媒毛片| 福利操逼| 91一起操| 啊啊啊在线观看免费视频| 91精品免费| 另类欧美色| 国产又黄又爽又刺激久久久久久| 探花在线免费观看视频国产一区| 美国三级日本三级久久99| 色原狠狠天天天| 2017av无码免费无线播| a v网站在线播放| 成人情色一区二区| 超碰在线97国产| 亚洲色人阁| 乱伦a片视频| 狠狠干综合| 日韩人妻精品中文字幕| 在线天堂资源亚洲| 最新亚洲人成网站在线影院| 综合一区中亚洲国产成人综合精品 | 欧美亚洲高清晰| 一区二区三区国产在线播放 | 97中文字幕一区| 欧美一级黄色免费专区| 精品人妻美妇91job| 99热精品青草在线 | 色综合五月天| 久草精品一区 | 亚洲日韩肥臀视频在线观看| 国产视频大全| 亚洲熟妇一,二,三期| 亚洲AV无码成人精品久久| 艾草av| 肥佬影院91| 嫩草一区二区在线观看| 91狠狠综合久久久久久| 超碰偷拍| 密乳无码| 四虎AV无码| 伊人91| 91狼人| 人妻黑丝袜电影| 欧州一区二区三区四区| 任你艹| 嫩草91| 免费一级a毛片久久久久久鸭绿欲| 69人妻精品一区二区绯色| 日本久久久精品电影| 老司机天天操| 91在线视频免费中出| 国产精品成人午夜福利| 亚洲成?V人片在线观看福利| 九九九九免费高| 天天爽夜夜爽夜夜爽精| 中文字幕国产精品1区| 日本亚洲嫩草影院啪啪| 717影院理论午夜伦八戒| 欧美 亚洲 综合 制服 另类| 最近2018中文字幕在线高清第一页| 精品视频久久久久九九九九9999| 激情另类激情| 中文字幕丰满子伦无码专区在线视频最新 | 大香蕉黄色一区| 2026国产精品视频| 国产福利视频精品视频| 67194无码不卡| 精品人妻一区二区三区日产乱码| 国产激情综合五月久久| 蜜桃香蕉久草精品在线| 国产成人精品日本视频| 青青青草伊人精品| 在线视频免费播放一区| 无码操逼天堂| 久久久久九九九| 久久9999| 日本中文字幕在线视频 | 99精品视频在线观看| 性感美女91影视| 久久婷婷五月天| 天久久久噜噜噜久久国产精品爽爽 | 狠狠中文字幕| 国产v亚洲v日韩v欧美v片另类| 大稥蕉免费视频这里只有精品| 亚洲国产精品成人久久蜜臀| 国产原创精品| 欧美自拍偷拍综合图片| 亚洲揄拍网| 日韩欧美中文| 午夜福利合集| 色婷婷五月天| 国产综合色精品在线观看| 超碰97网址| 老熟女乱子伦中文字幕一区二区 | 3p国产欧美99热| 风韵犹存大大大大香蕉| 射 色综合| 懂色中文一区二区三区| 东京热熟女亚洲视频网站| 亚洲性爱无码乱伦av| 大香蕉狠狠爱| 色婷婷成人综合| 欧美日韩操逼动图| 久草精品在线| 有码免费观看| 无码操逼网| 亚洲欧洲日韩中文字幕一区| 日本熟妇熟色97一本在线观看| 人人贴人人摸| 欧美亚洲在线| 日少妇亚洲版| 国产强奸超碰AV| 大香蕉欧美| 91AV天美在线视频| 色性综合| 国产极品99热在线播放69| 97se亚洲综合自| 日韩av色图综合| 人人透人人操| 亚洲天堂五月天国产| 久欲AV| 99.色网| 3p国产欧美99热| 13小男生GAY自慰脱裤子| 成人一级二级| 影音综合网| 丁香六月啪| 成人一道本免费视频| 久久久三区二区一区| 91网亚洲| 色墦五月丁香| 亚洲国产欧美另类自拍| 日韩情色一区二区| 很很很很操| 91久精品| 国产精品成人无码av| 亚洲色欲天天天堂色欲网女| 黑人性欧美| 亚洲色图综合网| 岛国AV一区二区电影| www.99在线| 久久久久亚洲?V片无码V| 男人天堂2017| 一二三区视频在线观看| 福利一级版子| 尤物av网站| 天天爽爽爽爽| 91日本在线观看| 97人妻免费中文字幕| 丝袜人妻av一区二区| 欧美性暴力猛交| 久草久日| 欧美亚洲成人在线一区二区三区| 97视频观看| 天天日少妇逼AV| 国产又色又爽又舒服的三级视频| 中文精品一区二去| 日韩综合无码一区久久92| 99热一区二区三区四区| 夜夜嗨老熟女AV一区二区三区| 加勒比日本在线| 久久av色| 综合干干干av久久久综合网| 色欧美天天| 99无码精品| 丁香婷婷久久 | 欧美在线色| 久久国模av| 日夜干射色啊| 青春草A| 二级久久网| 啊啊啊好舒服好爽啊啊啊视频| 日本免费不卡二区| 日韩美女久久一区二区三区| 无码色| 亚洲av在线免费观看| 夜夜一区二区| 久久久精品日本一道| 精品久久視頻在线| 欧美不卡在线美女| 精品久久99| 歐美一級亂黃99在綫精品| 麻豆国产av网| 97久久精品国产| 99啪啪| 亚洲日韩XXX| 久久精品91| 久久久久久人| 色九久| 日韩视频中文字幕| 日韩av无码网站| 一本色道综合久久欧美| 日本欧美韩国国产在线| 国产综合网站在线播放 | 色 婷97| 亚av顶级裸体一区二区三区四区五区 |