久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

vCenter創(chuàng)建虛擬機(jī)全流程:從模板部署到資源分配與故障排查

vCenter創(chuàng)建虛擬機(jī)全流程:從模板部署到資源分配與故障排查 簡介面向虛擬化運(yùn)維人員或 VMware 初學(xué)者這份 docx 文檔系統(tǒng)梳理了 vCenter 創(chuàng)建虛擬機(jī)的完整流程重點(diǎn)解決通過內(nèi)容庫管理 ISO 鏡像并快速部署 CentOS 7 虛擬機(jī)的問題。文檔先介紹如何在 vCenter 中創(chuàng)建 ISO 內(nèi)容庫并配置與 ESXi 一致的存儲(chǔ)位置再說明從已有內(nèi)容庫克隆 ISO 鏡像到目標(biāo)庫的操作要點(diǎn)最后分步講解新建虛擬機(jī)時(shí)如何選擇 ESXi 主機(jī)、設(shè)置兼容性與客戶機(jī)操作系統(tǒng)類型并在 CD/DVD 設(shè)備中掛載克隆好的 ISO 鏡像。文字步驟配合關(guān)鍵截圖直觀易用。資源包為單份 Word 文檔docx大小 2.05MB結(jié)構(gòu)清晰適合直接閱讀、打印或作為實(shí)驗(yàn)練習(xí)參考。目前已有 349 人學(xué)習(xí)下載。對正在搭建 vCenter 實(shí)驗(yàn)環(huán)境或需要規(guī)范化批量部署虛擬機(jī)的運(yùn)維人員這是一份簡明實(shí)用的操作手冊有助于減少因步驟遺漏導(dǎo)致的部署失敗提升虛擬機(jī)交付效率。1. 在 vCenter 里創(chuàng)建虛擬機(jī)從模板部署到資源分配的完整落地流程很多人拿到一份 vCenter 創(chuàng)建虛擬機(jī)的操作文檔第一反應(yīng)是「這有什么好寫的下一步下一步就完了」。但真正在生產(chǎn)環(huán)境里動(dòng)過手的人都知道vCenter 建虛機(jī)這件事坑全藏在細(xì)節(jié)里存儲(chǔ)策略選錯(cuò)導(dǎo)致虛擬機(jī)無法遷移、網(wǎng)卡類型不匹配導(dǎo)致千兆業(yè)務(wù)只有百兆速度、模板克隆后 Linux 機(jī)器網(wǎng)卡起不來、資源池超賣導(dǎo)致宿主機(jī) CPU 就緒時(shí)間飆升。這些不是玄學(xué)是每一步選擇背后的原理沒吃透。這份實(shí)操文檔的價(jià)值不在「如何點(diǎn)完向?qū)А苟凇该恳徊綖槭裁催@么選、參數(shù)怎么定、哪些默認(rèn)值要改」。它適合剛接手虛擬化平臺(tái)的新人照著走一遍流程也適合被虛擬機(jī)性能問題折騰過的運(yùn)維用來對照檢查自己的分配習(xí)慣。2. 創(chuàng)建前的規(guī)劃命名規(guī)范、計(jì)算資源與存儲(chǔ)策略的三維選型2.1 命名規(guī)范與資源位置規(guī)劃在 vCenter 里創(chuàng)建虛擬機(jī)第一個(gè)決定不是點(diǎn)「新建虛擬機(jī)」按鈕而是想清楚這臺(tái)機(jī)器放在哪、叫什么名字。很多初學(xué)的人隨手把虛擬機(jī)建在數(shù)據(jù)中心根節(jié)點(diǎn)下集群、資源池、文件夾全是亂的等到虛擬機(jī)數(shù)量過百運(yùn)維排查問題全靠猜。合理的做法是先看目標(biāo)集群里有沒有建立文件夾和資源池的層級規(guī)劃。我一般會(huì)建議按「業(yè)務(wù)線 - 環(huán)境 - 應(yīng)用」三級來組織文件夾例如「訂單系統(tǒng)」文件夾下再分「生產(chǎn)」和「測試」兩個(gè)子文件夾虛擬機(jī)命名則采用「業(yè)務(wù)代碼-環(huán)境-角色-序號」的格式比如order-prod-web-01。這樣的命名方式在 vCenter 的搜索框里一搜就能定位配合標(biāo)簽功能還能做進(jìn)一步的維度管理。資源池的規(guī)劃又是一個(gè)常見盲區(qū)。很多人以為資源池是拿來分 CPU 內(nèi)存用的其實(shí)更關(guān)鍵的作用是「預(yù)留和限制」的控制點(diǎn)。生產(chǎn)環(huán)境的虛擬機(jī)建議直接放在集群根節(jié)點(diǎn)下讓 DRS 自動(dòng)調(diào)度測試環(huán)境的虛擬機(jī)可以放進(jìn)一個(gè)帶 CPU 限額的資源池防止壓測時(shí)把宿主機(jī)資源吃光影響生產(chǎn)業(yè)務(wù)。這個(gè)決策直接影響后續(xù)虛擬機(jī)性能必須在創(chuàng)建前就定下來。2.2 存儲(chǔ)策略選擇Thick 還是 Thin這是個(gè)性能問題存儲(chǔ)配置是新建虛擬機(jī)向?qū)Ю镒钊菀住改J(rèn)到底」的一步但恰恰是這一步?jīng)Q定了虛擬機(jī)后續(xù)的性能基調(diào)和運(yùn)維復(fù)雜度。虛擬機(jī)磁盤格式有厚置備延遲置零、厚置備快速置零和精簡置備三種很多人只知道「精簡省空間」卻不清楚它在生產(chǎn)環(huán)境里的性能代價(jià)和存儲(chǔ)水位風(fēng)險(xiǎn)。厚置備快速置零在創(chuàng)建時(shí)就分配好全部空間并清零讀寫性能最穩(wěn)定適合數(shù)據(jù)庫等高 IO 應(yīng)用。厚置備延遲置零同樣預(yù)先分配空間但不清零首次寫入時(shí)性能會(huì)打折。精簡置備按實(shí)際使用量增長創(chuàng)建速度快適合桌面虛擬化和測試環(huán)境但最怕存儲(chǔ)池空間規(guī)劃失控——虛擬機(jī)刪了文件但未回收空間存儲(chǔ)水位持續(xù)上漲最后整池爆滿。具體怎么選我通常會(huì)看存儲(chǔ)設(shè)備的類型和業(yè)務(wù)對延遲的敏感性。全閃存陣列上跑核心業(yè)務(wù)選厚置備快速置零普通 SAS 盤上的開發(fā)測試虛擬機(jī)選精簡置備。如果底層是超融合架構(gòu)還要額外關(guān)注存儲(chǔ)策略里是否啟用了去重和壓縮這些功能會(huì)改變空間計(jì)算的邏輯。2.3 網(wǎng)絡(luò)與計(jì)算資源參數(shù)CPU 預(yù)留、內(nèi)存預(yù)留和網(wǎng)卡類型新建虛擬機(jī)向?qū)Ю?CPU 和內(nèi)存的配置看似簡單但「給幾核幾 G」的定義方式有很多大學(xué)問。vCenter 里 CPU 配置涉及插槽數(shù)、每個(gè)插槽的內(nèi)核數(shù)、CPU 預(yù)留、CPU 限制和份額。插槽數(shù)和內(nèi)核數(shù)的設(shè)置直接關(guān)系到虛擬機(jī)內(nèi)部操作系統(tǒng)的許可證授權(quán)比如某些數(shù)據(jù)庫按物理 CPU 插槽計(jì)費(fèi)你就需要把內(nèi)核盡量集中到少量插槽上。內(nèi)存配置方面預(yù)留是一個(gè)容易被忽略的選項(xiàng)。虛擬機(jī)內(nèi)存預(yù)留意味著宿主機(jī)必須保留等量的物理內(nèi)存給這臺(tái)虛擬機(jī)禁止回收和超賣。對于 SQL Server、Oracle 這類對內(nèi)存延遲敏感的應(yīng)用我習(xí)慣開啟全部內(nèi)存預(yù)留對于普通的 Web 服務(wù)器則關(guān)閉預(yù)留讓 ESXi 的內(nèi)存回收機(jī)制發(fā)揮作用提高宿主機(jī)密度。網(wǎng)卡類型的選擇也藏著性能坑。新版 vCenter 創(chuàng)建 Linux 虛擬機(jī)默認(rèn)推薦 VMXNET3但有些老舊操作系統(tǒng)鏡像沒有集成對應(yīng)驅(qū)動(dòng)啟動(dòng)后網(wǎng)卡無法識別。此時(shí)需要改用 E1000E 兼容模式或者準(zhǔn)備驅(qū)動(dòng)軟盤在系統(tǒng)安裝時(shí)加載。這個(gè)細(xì)節(jié)不處理好克隆出來的虛擬機(jī)必現(xiàn)網(wǎng)絡(luò)不通的問題。3. 通過模板部署虛擬機(jī)的完整流程自定義規(guī)范與克隆參數(shù)調(diào)優(yōu)3.1 從模板部署的標(biāo)準(zhǔn)操作路徑模板部署是生產(chǎn)環(huán)境批量創(chuàng)建虛擬機(jī)的主流方式比從頭安裝操作系統(tǒng)快得多也更容易保證系統(tǒng)配置的一致性。在 vCenter 里從模板部署虛擬機(jī)有兩種方式基于 vCenter 的克隆部署和基于內(nèi)容庫的部署。前者適合同集群內(nèi)的快速復(fù)制后者適合跨 vCenter 甚至跨站點(diǎn)的標(biāo)準(zhǔn)化分發(fā)?;?vCenter 的克隆流程大致如下在虛擬機(jī)模板上右鍵選擇「從此模板新建虛擬機(jī)」輸入虛擬機(jī)名稱并選擇存放位置數(shù)據(jù)中心或文件夾選擇計(jì)算資源集群、主機(jī)或資源池選擇存儲(chǔ)位置和存儲(chǔ)策略選擇是否勾選「自定義此虛擬機(jī)的操作系統(tǒng)」并配置客戶機(jī)操作系統(tǒng)自定義規(guī)范設(shè)置操作系統(tǒng)信息主機(jī)名、IP、DNS、域等完成部署并啟動(dòng)虛擬機(jī)這里最關(guān)鍵的一步是第 5 項(xiàng)「客戶機(jī)操作系統(tǒng)自定義規(guī)范」。如果跳過這一步克隆出來的虛擬機(jī)主機(jī)名和 IP 都跟模板一模一樣多臺(tái)機(jī)器同時(shí)上線就會(huì)發(fā)生 IP 沖突和主機(jī)名重復(fù)。自定義規(guī)范需要提前在 vCenter 的「策略和配置文件」里創(chuàng)建好按照 Windows 和 Linux 分開配置。3.2 自定義規(guī)范的核心參數(shù)配置Linux 和 Windows 的自定義規(guī)范參數(shù)差異很大。Windows 需要配置產(chǎn)品密鑰、管理員密碼、時(shí)區(qū)、工作組或域、網(wǎng)絡(luò)設(shè)置其中 Sysprep 的版本必須跟模板里的 Windows 版本嚴(yán)格匹配——Windows Server 2016 模板對應(yīng) Sysprep 2016 版本版本不匹配會(huì)直接導(dǎo)致自定義失敗。Linux 的自定義規(guī)范相對簡單但同樣有版本匹配問題。vCenter 里的 Linux 自定義是通過 guest customization 工具執(zhí)行的不同版本的 Linux 對應(yīng)不同的工具版本。我踩過最典型的一個(gè)坑模板是 CentOS 7自定義規(guī)范里選了 RHEL 7 的選項(xiàng)結(jié)果克隆后 /etc/hostname 沒改IP 倒是配上了但主機(jī)名還是模板里的名字監(jiān)控系統(tǒng)里全是重名告警。網(wǎng)絡(luò)配置部分的參數(shù)決定了虛擬機(jī)能否按預(yù)期接入網(wǎng)絡(luò)。靜態(tài) IP 模式下需要填對子網(wǎng)掩碼、網(wǎng)關(guān)和 DNSDHCP 模式下啥都不用填但得確認(rèn)目標(biāo)網(wǎng)絡(luò)里有 DHCP 服務(wù)。如果虛擬機(jī)要同時(shí)配置多個(gè)網(wǎng)卡自定義規(guī)范里要按順序指定每個(gè)網(wǎng)卡的 IP順序搞錯(cuò)會(huì)導(dǎo)致業(yè)務(wù) IP 配到了管理網(wǎng)卡上。3.3 克隆后的初始化檢查清單克隆部署完成后第一件事不是直接接入業(yè)務(wù)而是做一輪初始化檢查。我習(xí)慣按下面的清單走一遍確認(rèn)主機(jī)名是否按照自定義規(guī)范正確修改確認(rèn)所有網(wǎng)卡的 IP、網(wǎng)關(guān)、DNS 是否符合規(guī)劃檢查/etc/hosts或 Windows 的 hosts 文件里是否殘留模板的解析記錄檢查 SSH 主機(jī)密鑰是否已重新生成Linux 場景檢查 Windows 的 SID 是否已通過 Sysprep 重新生成確認(rèn)虛擬機(jī)時(shí)間同步是否正常NTP 服務(wù)是否隨系統(tǒng)啟動(dòng)這些檢查看著瑣碎但每一條都對應(yīng)著生產(chǎn)環(huán)境里真實(shí)發(fā)生過的故障。比如 SSH 主機(jī)密鑰不重新生成多臺(tái)克隆機(jī)指紋一樣運(yùn)維平臺(tái)做主機(jī)信任時(shí)會(huì)直接報(bào)沖突。4. 空白虛擬機(jī)創(chuàng)建與手動(dòng)安裝系統(tǒng)ISO 掛載和引導(dǎo)參數(shù)設(shè)置4.1 創(chuàng)建空白虛擬機(jī)并掛載 ISO 鏡像不是所有場景都能用模板部署。有時(shí)候需要從零開始安裝一套全新的操作系統(tǒng)版本或者模板里沒有你需要的系統(tǒng)類型這時(shí)候就要走「新建空白虛擬機(jī) 手動(dòng)掛載 ISO 安裝」的路線。這個(gè)流程雖然步驟更多但對系統(tǒng)的掌控力最強(qiáng)。在 vCenter 里新建空白虛擬機(jī)時(shí)「客戶機(jī)操作系統(tǒng)」的選擇需要跟實(shí)際要安裝的系統(tǒng)一致。這個(gè)選擇不僅影響虛擬機(jī)名稱后綴還會(huì)影響虛擬硬件的兼容性配置——選錯(cuò)系統(tǒng)類型后續(xù)安裝完系統(tǒng)后虛擬機(jī)的硬件版本可能不被識別。比如要裝 Windows Server 2022客戶機(jī)操作系統(tǒng)類型需要選到對應(yīng)的版本這樣虛擬硬件才會(huì)默認(rèn)啟用必要的虛擬化特性。ISO 鏡像的掛載有兩種方式一是通過數(shù)據(jù)存儲(chǔ)瀏覽上傳 ISO 到存儲(chǔ)上再掛載到虛擬光驅(qū)二是通過內(nèi)容庫管理 ISO在虛擬機(jī)設(shè)置里直接選擇內(nèi)容庫中的 ISO 文件。第二種方式更規(guī)范適合團(tuán)隊(duì)協(xié)作場景ISO 文件不用每人傳一份到存儲(chǔ)。掛載 ISO 后虛擬機(jī)的引導(dǎo)順序也很關(guān)鍵。默認(rèn)情況下虛擬機(jī)從硬盤引導(dǎo)如果硬盤上沒有引導(dǎo)記錄會(huì)直接報(bào)沒有可引導(dǎo)設(shè)備。需要在虛擬機(jī)設(shè)置的「引導(dǎo)選項(xiàng)」里調(diào)整引導(dǎo)順序把 CD/DVD 光驅(qū)放在硬盤之前或者臨時(shí)勾選「強(qiáng)制進(jìn)入 BIOS 設(shè)置界面」手動(dòng)選擇一次性引導(dǎo)設(shè)備。我用一個(gè) bash 式的操作習(xí)慣做參考創(chuàng)建虛擬機(jī)時(shí)就把光驅(qū)設(shè)為第一個(gè)引導(dǎo)設(shè)備裝完系統(tǒng)后再把硬盤調(diào)回第一位避免后續(xù)重啟時(shí)從 ISO 反復(fù)引導(dǎo)。4.2 安裝過程中的 VMware Tools 安裝與驅(qū)動(dòng)驗(yàn)證手動(dòng)安裝系統(tǒng)的過程跟物理機(jī)基本一樣但有一個(gè)額外且必須做的事安裝 VMware Tools新版叫 open-vm-tools。VMware Tools 不僅提供鼠標(biāo)無縫切換、剪貼板共享這些體驗(yàn)類功能更重要的是它包含了虛擬機(jī)與 ESXi 交互所需的驅(qū)動(dòng)和服務(wù)比如內(nèi)存氣球驅(qū)動(dòng)、網(wǎng)絡(luò)驅(qū)動(dòng)優(yōu)化、時(shí)間同步模塊。沒裝 VMware Tools 的虛擬機(jī)會(huì)在 vCenter 里顯示一個(gè)黃色感嘆號并且無法正常執(zhí)行 shutdown 和 reboot 操作。Windows 系統(tǒng)的 VMware Tools 安裝很簡單掛載后運(yùn)行 setup 即可。Linux 系統(tǒng)則建議用系統(tǒng)自帶的 open-vm-tools 包通過包管理器安裝# 以 CentOS/RHEL 系為例 sudo yum install -y open-vm-tools # 以 Ubuntu/Debian 系為例 sudo apt-get install -y open-vm-tools # 安裝完成后啟動(dòng)并設(shè)置開機(jī)自啟 sudo systemctl enable --now vmtoolsd這里有個(gè)安裝源的問題如果操作系統(tǒng) ISO 是精簡版的可能默認(rèn)軟件源里沒有 open-vm-tools需要用原版安裝源或提前準(zhǔn)備好的離線包。open-vm-tools 裝完后vmware-toolbox-cmd命令可以查看虛擬機(jī)的資源狀態(tài)和宿主機(jī)信息這是驗(yàn)證虛擬化環(huán)境是否正常的一個(gè)直接手段。驅(qū)動(dòng)的驗(yàn)證同樣不能忽略。Windows 系統(tǒng)裝完 VMware Tools 后打開設(shè)備管理器確認(rèn)所有設(shè)備沒有黃色感嘆號Linux 系統(tǒng)通過ethtool -i eth0查看網(wǎng)卡驅(qū)動(dòng)類型確認(rèn)是 vmxnet3 而不是 e1000——如果是 e1000說明網(wǎng)卡類型選得不對需要關(guān)機(jī)后改成 vmxnet3 再開機(jī)驗(yàn)證。4.3 引導(dǎo)參數(shù)設(shè)置的常見誤區(qū)手動(dòng)安裝系統(tǒng)時(shí)引導(dǎo)參數(shù)設(shè)置有一些經(jīng)常翻車的地方。Linux 安裝時(shí)如果設(shè)置了錯(cuò)誤的inst.stage2參數(shù)指向不存在的安裝源安裝程序會(huì)卡在啟動(dòng)界面找不到安裝介質(zhì)。Windows 安裝時(shí)如果 UEFI 引導(dǎo)和 BIOS 引導(dǎo)模式選錯(cuò)裝出來的系統(tǒng)無法直接引導(dǎo)或者反過來在設(shè)置為 UEFI 的虛擬機(jī)上裝了傳統(tǒng) BIOS 模式系統(tǒng)開機(jī)直接黑屏。還有一個(gè)容易忽略的是虛擬機(jī)的固件類型。vCenter 里創(chuàng)建虛擬機(jī)時(shí)可以選擇 BIOS 或 UEFI 固件這個(gè)選擇在創(chuàng)建后不能隨意更改。UEFI 模式下 Windows 虛擬機(jī)需要磁盤上存在 EFI 系統(tǒng)分區(qū)BIOS 模式下則需要 MBR 引導(dǎo)。模板克隆時(shí)如果模板用了 UEFI克隆出來的虛擬機(jī)也必須保持 UEFI混合使用會(huì)導(dǎo)致啟動(dòng)失敗。這個(gè)約束在新手期幾乎必然踩一次。5. 虛擬機(jī)資源限制配置預(yù)留、份額、限制的實(shí)際調(diào)優(yōu)參數(shù)5.1 份額與預(yù)留的計(jì)算邏輯虛擬機(jī)的性能問題很多不是宿主機(jī)硬件不夠而是資源分配策略不合理。vCenter 的資源管理有三個(gè)核心杠桿份額Shares、預(yù)留Reservation和限制Limit。理解這三個(gè)參數(shù)的關(guān)系是調(diào)優(yōu)虛擬機(jī)性能的基礎(chǔ)。份額是「相對權(quán)重」而非「絕對能力」。當(dāng)多臺(tái)虛擬機(jī)爭搶同一宿主機(jī)的 CPU 資源時(shí)份額比例決定了誰能搶到更多。默認(rèn)份額是「正?!沟燃壝款w vCPU 的權(quán)重為 1000。如果你有兩臺(tái)虛擬機(jī)一臺(tái)份額設(shè)為高一臺(tái)設(shè)為低當(dāng)宿主機(jī) CPU 資源緊張時(shí)高份額的虛擬機(jī)可以獲得更多 CPU 時(shí)間片。但注意只要宿主機(jī)資源沒到瓶頸份額對單臺(tái)虛擬機(jī)的性能沒有任何影響。預(yù)留則是「最低保障」設(shè)定后宿主機(jī)必須為這臺(tái)虛擬機(jī)保留對應(yīng)的 CPU 或內(nèi)存資源。預(yù)留可以在 CPU 或內(nèi)存層面獨(dú)立設(shè)置比如 CPU 預(yù)留 4GHz 意味著宿主機(jī)必須保證 4GHz 的 CPU 計(jì)算能力給這臺(tái)虛擬機(jī)。預(yù)留值設(shè)得過高會(huì)降低宿主機(jī)的整體可調(diào)度容量導(dǎo)致能容納的虛擬機(jī)數(shù)量變少。限制參數(shù)正好相反它給虛擬機(jī)的資源使用設(shè)置一個(gè)硬頂。生產(chǎn)環(huán)境里一般不會(huì)主動(dòng)給核心業(yè)務(wù)虛擬機(jī)設(shè)置 CPU 限制但對于測試環(huán)境或者多租戶共享的集群限制往往是防止資源被單個(gè)租戶耗盡的唯一手段。合理的做法是核心業(yè)務(wù)設(shè)預(yù)留 默認(rèn)份額測試業(yè)務(wù)設(shè)限額 低份額。5.2 內(nèi)存預(yù)留與 NUMA 架構(gòu)的影響內(nèi)存預(yù)留對性能的影響比很多人想象中更大。虛擬機(jī)的內(nèi)存預(yù)留有三個(gè)檔位不預(yù)留、部分預(yù)留、全部預(yù)留。ESXi 的內(nèi)存回收機(jī)制包括透明頁共享、內(nèi)存壓縮和交換這些機(jī)制會(huì)在物理內(nèi)存不足時(shí)將虛擬機(jī)內(nèi)存頁回收或換出到存儲(chǔ)設(shè)備上的交換文件。如果虛擬機(jī)啟用了全部內(nèi)存預(yù)留ESXi 不會(huì)回收它的任何內(nèi)存頁內(nèi)存訪問延遲最好但宿主機(jī)能跑的虛擬機(jī)密度會(huì)顯著下降。NUMA 架構(gòu)是另一個(gè)需要考慮的因素?,F(xiàn)代 x86 服務(wù)器都是多路 CPU每個(gè) CPU 對應(yīng)一組本地內(nèi)存訪問本地內(nèi)存和遠(yuǎn)端內(nèi)存的延遲不同。VMware 的 NUMA 調(diào)度器默認(rèn)會(huì)嘗試把虛擬機(jī)及其內(nèi)存放在同一個(gè) NUMA 節(jié)點(diǎn)上但前提是虛擬機(jī)的 vCPU 數(shù)量和內(nèi)存大小不超過單節(jié)點(diǎn)的物理資源。創(chuàng)建超大虛擬機(jī)時(shí)vCPU 超過單 NUMA 節(jié)點(diǎn)核數(shù)內(nèi)存跨越兩個(gè)節(jié)點(diǎn)導(dǎo)致訪問遠(yuǎn)端內(nèi)存的概率上升性能可能下降 10% 到 20%。要規(guī)避 NUMA 問題創(chuàng)建虛擬機(jī)時(shí)優(yōu)先選擇「每個(gè)插槽的內(nèi)核數(shù)」等于物理機(jī)單 NUMA 節(jié)點(diǎn)核數(shù)的配置。比如宿主機(jī)是 2 路 32 核每路 32 核是一個(gè) NUMA 節(jié)點(diǎn)那么給虛擬機(jī)配 64 核時(shí)最好設(shè)置為 2 個(gè)插槽 × 32 核而不是 1 個(gè)插槽 × 64 核。這個(gè)細(xì)節(jié)在 vCenter 的資源分配界面可以直接控制。5.3 資源分配的實(shí)戰(zhàn)參數(shù)參考不同業(yè)務(wù)類型的虛擬機(jī)資源分配參數(shù)差異很大我在下面的表里給出常用的參考值。這些值不是硬性標(biāo)準(zhǔn)但可以作為一個(gè)合理的起點(diǎn)再根據(jù)監(jiān)控?cái)?shù)據(jù)逐步調(diào)整業(yè)務(wù)類型CPU 預(yù)留CPU 份額CPU 限制內(nèi)存預(yù)留內(nèi)存份額典型配置核心數(shù)據(jù)庫全部高無全部高16 vCPU / 64GB業(yè)務(wù)應(yīng)用服務(wù)無正常無部分(50%)正常8 vCPU / 16GBWeb 前端集群無低8 vCPU無低4 vCPU / 8GB批處理任務(wù)無低16 vCPU無正常8 vCPU / 32GB測試環(huán)境無正常24 vCPU無正常8 vCPU / 16GB這個(gè)表的選取邏輯是核心數(shù)據(jù)庫對延遲最敏感預(yù)留拉滿保證性能下限Web 前端集群可以橫向擴(kuò)容單機(jī)設(shè)限避免故障時(shí)拖垮宿主機(jī)批處理任務(wù)對時(shí)間不敏感但吃 CPU份額可以降低讓其他業(yè)務(wù)優(yōu)先測試環(huán)境限制放寬但跟生產(chǎn)物理隔離。資源分配后一定要通過 vCenter 的性能圖表驗(yàn)證效果。查看 CPU 就緒時(shí)間、內(nèi)存交換率、磁盤延遲這幾個(gè)關(guān)鍵指標(biāo)如果就緒時(shí)間持續(xù)高于 5%說明 CPU 超賣嚴(yán)重需要調(diào)高份額或遷移部分虛擬機(jī)到其他宿主機(jī)如果內(nèi)存交換率高說明物理內(nèi)存不足開啟內(nèi)存預(yù)留或增加宿主機(jī)內(nèi)存是僅有的兩個(gè)出路。6. 虛擬機(jī)創(chuàng)建常見問題排查五個(gè)高頻故障的處理記錄6.1 故障一模板克隆后網(wǎng)絡(luò)不通IP 未按自定義規(guī)范配置現(xiàn)象從模板克隆一臺(tái) Linux 虛擬機(jī)啟動(dòng)后訪問不到在 vCenter 控制臺(tái)里看到網(wǎng)卡顯示了 IP但實(shí)際 ping 不通網(wǎng)關(guān)。原因自定義規(guī)范里的網(wǎng)絡(luò)配置只改了網(wǎng)卡的 IP 地址沒有重新啟動(dòng) NetworkManager 服務(wù)或者模板里的網(wǎng)卡設(shè)備名與自定義規(guī)范指定的網(wǎng)卡名不一致。常見于 CentOS 7 使用/etc/sysconfig/network-scripts/ifcfg-eth0文件而實(shí)際網(wǎng)卡名為 ens192 的場景。解決先到 vCenter 控制臺(tái)用ip addr確認(rèn)網(wǎng)卡實(shí)際名稱和 IP 配置手動(dòng)修正網(wǎng)卡配置文件后重啟網(wǎng)絡(luò)服務(wù)如果自定義規(guī)范配置時(shí)勾選了「使用 DHCP」檢查網(wǎng)絡(luò)內(nèi) DHCP 服務(wù)是否可用如果模板克隆后反復(fù)出現(xiàn)這個(gè)情況建議在模板里預(yù)先做一次克隆前的網(wǎng)絡(luò)清理刪除網(wǎng)卡配置文件中的 UUID 和設(shè)備綁定信息讓克隆后的機(jī)器重新生成配置。6.2 故障二Windows 虛擬機(jī)克隆后提示「嘗試運(yùn)行 Sysprep 時(shí)出錯(cuò)」現(xiàn)象從 Windows 模板克隆自定義規(guī)范走到最后一步時(shí)報(bào)錯(cuò)提示 Sysprep 運(yùn)行失敗克隆出來的虛擬機(jī)沒有被正確自定義。原因vCenter 的 Windows 自定義通過 Sysprep 工具完成而 Sysprep 的版本必須與虛擬機(jī)內(nèi)的 Windows 版本嚴(yán)格對應(yīng)。常見的原因是模板里是 Windows Server 2019但 vCenter 自定義規(guī)范里選擇了 Windows Server 2016 的 Sysprep 選項(xiàng)或者模板系統(tǒng)已經(jīng)運(yùn)行過 Sysprep 導(dǎo)致狀態(tài)文件殘留。解決先在 vCenter 的「策略和配置文件」中檢查自定義規(guī)范對應(yīng)的 Sysprep 版本并對照模板中 Windows 的版本如果模板內(nèi)殘留C:\Windows\Panther\unattend.xml或Sysprep\Sysprep.xml文件建議先手動(dòng)清理再重新封裝模板封裝模板的正確流程是在 Windows 內(nèi)以管理員權(quán)限運(yùn)行C:\Windows\System32\Sysprep\sysprep.exe選擇「進(jìn)入系統(tǒng)全新體驗(yàn) (OOBE)」勾選「通用」關(guān)機(jī)后再轉(zhuǎn)為模板。6.3 故障三虛擬機(jī)開機(jī)黑屏控制臺(tái)無輸出現(xiàn)象從 ISO 手動(dòng)安裝系統(tǒng)時(shí)虛擬機(jī)開機(jī)后電源狀態(tài)是運(yùn)行中但控制臺(tái)黑屏或者卡在某一畫面不動(dòng)。原因ISO 鏡像引導(dǎo)模式與虛擬機(jī)固件不匹配例如 UEFI 固件加載傳統(tǒng) BIOS 引導(dǎo)的 ISO也可能是虛擬機(jī)配置了多個(gè)顯示器但控制臺(tái)選中了錯(cuò)誤的一個(gè)還有可能是 ISO 鏡像文件損壞或者存儲(chǔ)上的 ISO 文件被上傳時(shí)截?cái)?。解決先確認(rèn)虛擬機(jī)固件類型在虛擬機(jī)設(shè)置里查看「引導(dǎo)選項(xiàng)」是否為 UEFI如果固件是 UEFI確認(rèn) ISO 支持 UEFI 引導(dǎo)Windows 原生支持Linux 需要 iso 鏡像里包含 EFI 引導(dǎo)文件排除固件問題后在控制臺(tái)窗口的「切換顯示器」菜單里切換顯示輸出最后用存儲(chǔ)的數(shù)據(jù)校驗(yàn)功能驗(yàn)證 ISO 文件大小與源文件是否一致。6.4 故障四虛擬機(jī)可遷移狀態(tài)異常vMotion 報(bào)錯(cuò)現(xiàn)象將虛擬機(jī)執(zhí)行熱遷移時(shí)提示「虛擬機(jī)兼容性檢查失敗」或「目標(biāo)主機(jī)無法訪問虛擬機(jī)網(wǎng)絡(luò)」。原因虛擬機(jī)所在的存儲(chǔ)策略與目標(biāo)主機(jī)不兼容或者虛擬機(jī)使用了不可遷移的虛擬設(shè)備比如 PCI 直通設(shè)備、RDM 裸設(shè)備映射網(wǎng)絡(luò)方面源主機(jī)和目標(biāo)主機(jī)不在同一個(gè)二層網(wǎng)絡(luò)虛擬機(jī)端口組不匹配。解決在虛擬機(jī)設(shè)置里確認(rèn)是否存在直通設(shè)備或 RDM 設(shè)備如果有需要先停掉虛擬機(jī)再遷移檢查源集群和目標(biāo)集群的存儲(chǔ)策略是否一致跨集群遷移時(shí)需要目標(biāo)集群有相同的存儲(chǔ)策略定義網(wǎng)絡(luò)方面推薦使用分布式交換機(jī)VDS并保證目標(biāo)主機(jī)上有相同的端口組配置。6.5 故障五虛擬機(jī)性能極差卡頓明顯現(xiàn)象虛擬機(jī)剛創(chuàng)建完跑起來很流暢運(yùn)行一兩天后明顯變卡打開應(yīng)用要等很久。原因宿主機(jī)資源超賣嚴(yán)重CPU 就緒時(shí)間過高或者存儲(chǔ) IO 達(dá)到瓶頸磁盤延遲增大還有可能是虛擬機(jī)的快照殘留過大快照層數(shù)據(jù)堆積導(dǎo)致磁盤性能下降。解決打開 vCenter 的性能監(jiān)控切換到「高級」視圖查看 CPU 就緒時(shí)間、內(nèi)存交換率、磁盤平均延遲三個(gè)指標(biāo)如果 CPU 就緒時(shí)間普遍高于 10%需要考慮遷移部分虛擬機(jī)到其他宿主機(jī)或者調(diào)整份額如果磁盤延遲高于 20ms檢查存儲(chǔ)陣列的負(fù)載和存儲(chǔ)策略如果是快照問題刪除所有舊快照并執(zhí)行一次 storage vMotion 重新落盤。7. 驗(yàn)證虛擬機(jī)創(chuàng)建結(jié)果的完整自查清單從配置確認(rèn)到連通性測試虛擬機(jī)創(chuàng)建完成后設(shè)定完整的驗(yàn)證閉環(huán)能避免多數(shù)線上事故。我的習(xí)慣是把驗(yàn)證分為三層虛擬化層、操作系統(tǒng)層和應(yīng)用層。虛擬化層驗(yàn)證主要是檢查 vCenter 里的虛擬機(jī)配置與申請單是否一致。打開虛擬機(jī)編輯設(shè)置逐一核對 CPU 核數(shù)、內(nèi)存大小、磁盤容量、網(wǎng)卡數(shù)量和端口組。這里有個(gè)細(xì)節(jié)磁盤容量和內(nèi)存大小在虛擬機(jī)運(yùn)行期間可以熱添加但熱添加的效果需要客戶機(jī)操作系統(tǒng)支持Windows Server 2012 以上和較新的 Linux 內(nèi)核都支持在線識別但確認(rèn)最終生效最穩(wěn)妥的方式是看客戶機(jī)操作系統(tǒng)內(nèi)的實(shí)際資源而不是只看 vCenter 顯示配置。操作系統(tǒng)層驗(yàn)證的常用手段是進(jìn)到系統(tǒng)內(nèi)部查看。Linux 用lscpu、free -h、df -h和ip addr分別確認(rèn) CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)配置是否與規(guī)劃一致Windows 用「系統(tǒng)信息」和「設(shè)備管理器」確認(rèn)特別留意網(wǎng)卡是否識別為 VMXNET3 以及磁盤是否顯示為 VMware Virtual disk。應(yīng)用層驗(yàn)證取決于虛擬機(jī)承載的業(yè)務(wù)。如果是 Web 服務(wù)用 curl 或?yàn)g覽器訪問本地端口確認(rèn)服務(wù)可用如果是數(shù)據(jù)庫用客戶端連接測試并執(zhí)行一條查詢語句如果是消息隊(duì)列確認(rèn)消費(fèi)者連接數(shù)達(dá)到預(yù)期。這一步是最終驗(yàn)收的依據(jù)不能省。還有一個(gè)被很多人忽略的驗(yàn)證項(xiàng)是虛擬機(jī)的時(shí)間同步。虛擬機(jī)的操作系統(tǒng)時(shí)鐘漂移是一個(gè)長期問題模板或克隆機(jī)器如果 NTP 服務(wù)沒配好時(shí)間偏差會(huì)持續(xù)累積。Linux 虛擬機(jī)建議在/etc/chrony.conf或/etc/ntp.conf中配置 NTP 服務(wù)器并確認(rèn)服務(wù)開機(jī)自啟Windows 虛擬機(jī)建議保留 VMware Tools 的時(shí)間同步設(shè)置并額外配置外部 NTP 源# 以 Chrony 為例編輯 /etc/chrony.conf # 添加公司內(nèi)部的 NTP 服務(wù)器地址示例 server ntp.internal.example.com iburst # 重啟 chronyd 并確認(rèn)同步狀態(tài) sudo systemctl restart chronyd sudo chronyc sources -v這個(gè)操作看起來簡單但實(shí)際生產(chǎn)里 NTP 沒同步導(dǎo)致認(rèn)證失敗、日志時(shí)間異常的案例太多了。服務(wù)端和客戶端時(shí)間偏差超過五分鐘Kerberos 認(rèn)證直接失效數(shù)據(jù)庫主從復(fù)制也可能因?yàn)闀r(shí)間戳錯(cuò)亂報(bào)主鍵沖突。從那以后每次創(chuàng)建完虛擬機(jī)我都強(qiáng)制走一遍時(shí)間同步驗(yàn)證流程同時(shí)檢查系統(tǒng)日志里是否有驅(qū)動(dòng)加載失敗的記錄。這份習(xí)慣幫我提前發(fā)現(xiàn)了不少克隆機(jī)器的遺留問題節(jié)省了大量排查時(shí)間希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
免费av在线播放二区| 国产 亚洲 丝袜 制服| 欧美精品23| 思思性爱| 激情文学网伊人| 日本精品88888888| 91熟女视频网| 黑人免费福利视频| 中文字幕123| 激情综合网五月婷婷| 婷婷三区| 东京热伊久| 97香蕉网| 色婷网| 九九精品美女高溯喷水| 91激情综合| 中文字幕在线免费观看 | 国产精品视频播放| 国产60页| 国产欧美一区激情交| 国产伊人自拍| 精精品人妻一区二区三区| 亚洲日韩视频二区| julia高潮后不停追击中出| 久久久久久久久九九久孕交| 好属操| 国产成人精品无码久久| 97干色天堂| 欧美在线第五页| 亚洲无码太久| 天天日日夜夜| 欧美天天综合在线| 丁香五月婷婷五月| 老司机午夜精品福利视频一区二区| 男人久久天堂| 日韩无码专区| 久久国语| 日韩免费簧片| 国产欧美伊人| 欧美日韩传媒| 五月丁香六月激情| 九九草| 成人性爱电影网| 亚洲激情天堂网| 亚洲无线观看久久| 亚洲乱色视频一区、二区在线| 黄站在线免费观看| 日本免费一级AAA大片器| 四虎 精品 WWW| 色原狠狠天天天| 亚洲成a人片在线观看中文!!!| 99色悠悠| 国产性爱强奸乱伦大全| 亚洲 欧美 中文 日韩超碰| 性欧美第一页| a级理论午夜日本| 色娱乐色呦呦夜夜夜夜av| 欧美综合另类| 日本特黄f c2| 丰满人妻一区二区三区免费 | 日本久久精品| 5252色欧美在线男人的天堂| 无码av永久免费专区网站| 久草婷婷| 国产熟女完整版中字| 三上制服丝AV| 亚洲成人在线高清| 9 7超碰在线免费观看| 亚洲欧洲激情卡通另类文学四射小说网站 | 蜜臀网址在线| 男女真人网18| 四虎精品亚洲| 91色色色| 91性情| 啪啪91| 新91视频.cmp| 嗯嗯啊啊视频在线看| 蜜汁欧美| 久久久久久久久久久久久久久性生活视频 | 91 在线亚洲| 久久精品—区二区三区内射| 后X久久| 国产性爱强奸乱伦大全| 日韩伦理视频| 人妻献身系列第54部| 亚洲国产综合久久久性感熟妇| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 69精品在线| 色99999| 亚洲欧美天堂在线| 加勒比在线观看一区二区| 安徽熟妇视频| 性久久| 玖日综合网| 婷婷丁香五月激情啪啪| 国产精品一区二区密臀| 亚洲午夜免费狠狠干| 91少妇| 欧美第38页| 免费福利视频中文字幕| 东北操逼| 激情久久久| 2017亚洲天堂| 伊人一区二区三区| 日韩丰满熟妇| 新怡红院| 久久嫩草国产成人一区| 草草影院日本第一页| 加勒比东京热五月天天堂网| 久久婷五月| 97这里只有精品| 人妻酒店出差被中出免费在线播放| 欧美 日韩 亚洲 春色| 久久伦理视频久久大香蕉视频| 日韩一区二区三区四区五区 | 2021国产成人精品久久| 级品肉射| 99ri精品| 岛国片在线播放| 国产精品乱码久久久、久久| 五月天成人综合| 国产成年女黄特黄| q2午夜理论片夜色av| 激情婷婷五月天| 91精品亚洲内射孕妇| 欧美日日人人天天| 色性荡荡荡荡视频| 男女激情黄色网址| 久久精品人妻一区| 久操影视| 偷窥自拍亚洲色图| 最新中文字幕在线亚洲| 超碰九7免费| 久久內射| 日本久久99| 一区AV| 九九九成人| 四季AV综合网址| 91狠狠综合久久久| 亚洲操人| 亚洲成aⅴ人片不卡无码| 大干人妻| 亚洲久久东京热一二三四五区视频| 伊人AAA| 熟妇的味道HD中文字幕| 999综合网| 日本超碰色精品| 亚洲性爱高潮影院| 国内毛片国产专区二| 2017av无码免费无线播| 怡红院亚洲怡春院av| 欧美日韩m| 操我无码| 亚洲蜜乳av| 69视频入口| 亚洲欧美国产精品久久久久久久| 久久女同性恋一二区| 天堂av2019| 乱伦系列一区二区| 日韩免费大片一级播放| 热99这里有精品综合久久 | 欧美极品色| 国产久久日韩网站导航| 欧美日韩超碰在线| 国产三级电影免费观看| 青青伊人这里只有精品| 人人操AV| 啊啊啊啊免费视频| 久久风骚城市人| 超碰98综合网| 99re8免费高清在线| 亚洲熟妇自偷自拍另欧美| 激情综合网五月婷婷五月天| 日韩操逼HD| 91黑丝在线| 九九九九一区| 日韩97在线| 91老妇女| 污电影在线观看| 青青草伊人久久| 翘臀vidoes| 熟妇人妻精品一区二区视频色欲| 99色视频| 欧美一级色| 国产精品久久伊人| 日韩激情中文字幕有码| 欧美另类精品xxxx| 色乱二区| 日本精品不卡一二三区| 十八禁成人网站在线观看| 一区二区精品日韩欧美在线观看| 中国农村熟妇毛片视频| 又粗又长又大国产不卡| 久久久久97| 囯产精品久久久久久久久久二区三区| 久久精品黄色| 亚洲日韩天堂| 97超碰磁| 国产三级在线现体验区| 狼狼色丁香久久婷婷综合五月| 蜜乳AV免费观看| 日韩精品资源专区二区| 色y情视频免费看| 欧美不卡在线一区二区| 久久天天艹| AV在线性爱| 一级AV性爱| 久操操AV电影| 伊人影院综合是一个与深夜成人在线| 日韩乱伦影音先锋| 亚欧国产无码精品在线| 亚洲午夜av| 色婷婷狠狠| 亚洲日韩AV视色| 中文伊人大香蕉视频| 男人的天堂2018.| 91丝袜美腿网站| 色五月天AV| 国产久久日| 五月天人妻综合| 竹菊一区二区三区AV线| 日本色日夜干| 日本性交操一区二区不卡系列| 精品无码久久久久久国产浪潮| 中文字幕中文字幕一区二区| 久久久夜夜嗨免费视频| 99re不伦| 亚洲综合贴图91 | 天天影视91看看| 欧姜老司机| 少妇久久久久久久| 国产精品极品美女视频| 丁香五月婷婷色| 男人的天堂在线有码| 欧美色图片91| 成人在线午夜视频一区| 91制服丝袜| 天天日天天干天天操| 亚洲高清无码在线桃色| 久热免费视频| 密臀AV在线| 欧美淫乱视频| 亚欧高清| 国产精品久久久久久久久AV大片| 久久香蕉国产传媒一区剧情天美| 自拍二页| 欧美性高潮在线| 人人操人人摸avav| 国产无套粉嫩白浆在| ′ !γ}丶。。久久精品欧美一区二区三区| 女一区二区| 丝袜狂射91| 啊啊啊啊啊啊啊啊视频| 日本亚洲熟女视频| 日本不卡三级网在线播放| 2026国产精品视频| 亚洲国产美女久久久久| 精品国产肉丝袜在线拍国语| 久久精品一区| 超碰97COm中文| 大香蕉乱级| 99色色网| 亚洲欧洲日产国产综合网| 日本三级精品| 久久久久亚洲av综合波多野制衣| 天天射影院| 蜜臀久久久| 狠狠爱夜夜| 女人喷水视频在线观看| 日韩欧美tv一区二区在线观看| 亚洲无码国产探花在线观看| 天天激情综合站| 强奸乱伦动态污图免费 | 亚欧美综合网。| 亚洲色阁| 精品区国产区一区二区三区| 99www.bibizy香蕉资源国产一区二区三区高清 | 婷婷五月天无码| 亚洲激情视频| 国产超碰人人操| 狠插 制服 自拍| 久久精品区| 亚洲制服aⅴ中文字幕| 男人兔费天堂| 亚洲精品国产拍免费91在线| 欧美黄片欧美黄片xxx| 第四色亚洲色图| 色香综合| 探花精品视频| 国产丝袜高跟美女av免费观看| 人人操人人干xxx| 激情深爱五月天| 操曰本熟女| 国产乱伦亚洲色图高清无码| 日本一区二区三区欧美日韩中文字幕| 国内一级精品| 国产精品青草综合久久| 国产一区二区精品在线视频| 午夜乱轮操逼视频免费看| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 脫衣舞一区二区三区| 厕所偷拍在线| 诱惑网综合| 狠狠色色| 女人18精品一区二区三区| 这里只有精品视频在线观看麻豆| 78p欧美| 91老熟女| 密臀在线免费观看| 成·人免费午夜在线观看| 操操啪| 欧美瑟综合| 玖玖玖玖精品国产剧情| 加勒比av网| 欧美性爱中文字幕无线码| 秋霞一区二区三区四区五区六区七区| 一中国女人毛片水真多| 日本一区二区三区精品| 在线日韩精品一区二区三区| 99啪啪视频| 精品欧美老熟女一二区| 九九九综合精品| av三级电影在线播放| 亚洲AV小说| 我想要 啊 啊 啊| 亚洲欧美精品一区天堂久久| 亚洲精品人体| 欧洲中文字幕| 色在线综合| 久草精品国产蜜臀 | 六六久久日韩不卡| 69麻豆天美| 亚洲AV免费在线观看| 久操电影| 十八禁黄色成人网站观看| 三级特黄60分钟播放| 1204金沙人妻懂旧版免费| 精品国产91内射久久| 国产丰满熟夫69mpp| 男人的天堂午夜av| 欧美色图97| 国产亚洲综合欧美一区| 少妇高潮九九九九| 日韩三级网址| 伊人黄色片| 久男人久久| 韩国黄色片精品久久久| 亚洲欧美日韩激情不卡| 午夜性| 日本成人A片免费看| 亚州色图片在线色| 99久久久久| 久久久久久精| 夜夜 中文视频rt| 强奸乱亚洲| 久久激情婷婷| 无码久| 性色av婷婷久久一区二区点复制| 超碰97综合| 神马午夜久久久| 91精品伊人久久久大香线蕉91| 五月天婷婷社区| 久久综合乱子伦国产免费| 欧美色视频在线| 精品人妻一区二区三区蜜桃视频| 日韩精品一二三四| 一本久道在线综合视频| 日本熟妇人妻一区二区三区| 欧美高潮在线| 在线播放成人网站| 亚洲春色欧美激情自拍| 欧亚韩国999| 大香蕉碰碰| 麻花豆传媒剧国产MV出差| 狠狠色五月亚洲91| 99www.bibizy香蕉资源国产一区二区三区高清| 国产精品爽爽va在线观看98| 精品国产乱码久久| 天天情欲宗合网| 99热亚洲天堂| 最新日产中文在线麻豆| 欧美亚洲国产91在线| 亚洲国产精品久久久久婷婷老年| 精品福利视频| 丁香五月婷婷基地| 亚洲小电影免费涩涩成人在线高清| 亚洲性综合11| 欧美色图 人妻| 欧美在线视频99| 亚洲一区二区三区播放在线| 天天综合官网| 好一吊区二区| 青青草成人视频在线观看二区 | 99re98| 男人的天堂日本东京热| 九九热免费国产视频婷婷伊人五月 | 欧美成人一级麻豆| 蜜臀久久99精品久久久久电影| 欧美熟妇乱码在线一区| 亚洲精品亚洲人成人网| 国产精品嫩草久久久久| 97日韩欧美| 一本大道久| 日韩人妻精品中文字幕| 99啪| 五月婷婷综合激情| 日韩免费看黄片| 成人自拍三级在线观看| 男人天堂网站| 91中出视频| 97超碰总站| 91日日| 国产精品一二三区福利| 十八禁啪啦拍视频无遮挡| 日本性爰一道本| 色牛aV| 日韩有码中文字幕女同性恋 | 九九九综合精品| 成片免费观看视频大全| 久久亚洲AV成人精品无码| 日韩福利综合一区| 亚州综合| 躁躁躁日日躁2020| www.91视频网| 极品出轨视频网站| 91n.欧美| 2019亚洲男人天堂| 成年人免费观看网站| 欧美日本天堂| 嫩草伊人久久精品| 久久做97| 免费人人搞97| 九九热超碰97亚洲最新香蕉| 日本 免费 一区二区三区 久久香蕉| 丝袜AV一二三区| 五月婷婷激情网| 六月丁香久久| 成人片在线播放| 黄aaaaaaaaaaaaaaaaaa色网站| 美女午夜福利免费视频| 天堂无码精品国产久| 370p日韩欧美亚洲精品| 淫荡少妇免费| 日本色色色视频| 岛国网址国产 | 97碰碰色| 97在线视频观看| 超碰91在线| 97超碰站| 天天干天天舔| 飘花国产午夜精品不卡| 可能人人看人人摸| 久久精品国产亚洲AV片多多| 自拍大香蕉乱插| 92人人操人人| 久久曰曰| 青青草操逼逼视频| 嗯嗯啊啊操死我| 黄色高清久久无码依人| 精品亚洲俞拍视频一区| 亚洲男人的天堂网| 国产AV线| 97欧美| AV麻豆免费一区| 强奸乱伦免费网站| 久久东京伊人一本到鬼色| av无码av无码专区| 手机看片1025| 夜夜嗨一区二区| 中文高清一区二区的| 久久的网站啊啊啊啊啊| 加勒比海成人视频网| 伊人精品国产| 欧美色九九| 天天躁日日躁狠狠躁| 国内毛片欧美香蕉精品| 精品高清一区二区三区三州| www成人啪啪18秘 免费| 精品人妻伦一二三区久久| 欧美大香蕉在线观看| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 校园春色欧美| 久草这里只有精品 | 97天天弄| 国产精品另类一区大香蕉| 九久精品| 久久久久久日韩| 天天肏夜夜肏| 久久综合日韩亚洲欧美| 欧美黑人168页欧美黑人167| 国产女人视频三四五区| 日韩欧美tv一区二区在线观看| 国产亚洲精品自在线亚洲情侣| 情色AV电影| 91 丝袜在线观看| 日韩有码中文字幕女同性恋 | 日韩色香| 日韩国产乱子伦App| 天天拍天天操| 欧美性爱一区| 精品1区2区3区| 日日操免费视频| 五月婷婷爱六月丁香色| 黄色小说亚洲| 青草地一本线一区二区三区| 欧美偷拍区| 色区久久| 龙兴卡官方查询| 久久这里只有精品9| 国产宅男宅女在线观看| 中文字幕日韩国产传媒欧美精品| 欧美在线色| 熟女人妻精品一区二区视频| 欧美日韩 强奸乱伦| 中文高清一区二区的| 黄色片G G G| 91精品老女人| 亚洲一区中文字幕一区| 亚洲综合图色在线| 成人久久久| 夜色AV无码手机在线影院| 熟女在线视频| 欧美激情 亚洲色图| 少妇无码av专区线| 啊a一区在线| 蜜桃午夜视频一区二区 | 97这里有精品| 日韩一区二区三区四区五区| 久久久中文版| 91熟女视频| 曰韩无码777| 黑人精品久久97| a片 xxxx受爽视频| 亚洲人人操| 日韩av情韩国爱禁区av一区二区 | 色色五月天激情| 亚洲 另类 丝袜 自拍 动漫| 人人模人人看| 人夜夜精品网站香蕉嫩草| 91精品婷婷国产综合久久| 嫩呦国产一区二区三区AV| 丝袜六区| 日日操夜夜操天天操免费观看麻豆| 在线可观看的黄色网址| 国产精品欧美激在线| 欧美色女人| 丁香五月天视频| 蜜桃香蕉久草精品在线| 日操粉逼逼| 天天摸夜夜操视频| 欧美日韩国产另类综合| 激情文学 国产一二三aV| 天天做天天爱| 九九色色| 男人的天堂va在线| 九九热在线精品视频| 国产丁香精品露脸视频| 亚洲无码AV九九九| 久久久成人免费av电影| 乱伦av.com| 国产乱青青草久久| 最新中文字幕精品在线| 91网站视频在线观看| 性videos欧美熟妇hdx| 少妇二级| 国产h小视频在线观看免费| 99在线免费观看| 97超碰9| 人妻丝袜无 码视频专区| 97久久久久| 久久综合99| 美女91在线| 人人天天欧洲| 九九九九热| 欧美性爱97超碰 | 久久婷婷伊人| 97亚洲中文| 亚洲精品男人的天堂| 亚洲高清欧美总合| 91亚·色| 久久国产在线一区二区| 大吊色| 成人日韩3| 国产熟女精品区| 91社区拍啪人妻| 十八禁电影伊人网| 91婷婷| 久热一区二区| 成人色女网| 国产精品自拍xxxx| 熟女91网| 啊啊啊啊嗯嗯嗯用力好爽| 蜜臀久久99精品久久久久久-DVD| 18一区二区三区| 天天懆天天日| #NAME?| 亚码激情| 五码视频在线观看| 日韩精品国模| 伊人久久艹| 国产精品美女视频诱惑| 嗯嗯啊啊视频一区二区三区| 久久久久国产精品片区无码直播| 亚洲黄色电影| 午夜福利久久久噜久噜久久综合| 欧美1区二区三区公司| 亚洲在钱| 久久天天摸| 翔田千里一区二区三区奶水| 欧美最婬乱婬爆婬牲视频| 水澄无码AV| WWW啪啪的com| 婷婷8月天青娱乐| 人妻久热在线| 日韩欧美综合激情| 免费视频97| 青青青青草av在线观看| 欧美日韩操逼嗦吊| jazzjazz国产精品麻豆| 97精选久久| 精品妇女一区二区三区| 中文字幕一二区二三区人妻专区| yazhououmeizongya| 97综合在线观看| 操逼视频亚洲| 电家庭影院午夜69久久夜色精品国产69乱 | 激情综合网激情综合| 2019午夜福利视频| 极品色社| 国产精品探花在线| 97超碰人人模人人拍人人| 亚洲天堂日本| 婷婷国产精品九区| 免费看欧美美女黄色大片| 精品视频在线观看精品| 人乳av| 大香蕉欧美伊| 五月婷婷丁香六月| 日韩精品人妻一| 91另类| 台湾佬中文娱乐网久久久久久久久久com| 欧美午夜精品久久久久久超碰| 午夜一区二区三区国产| 欧美亚洲91| 天堂av最新电影网| 五十路二区在线| 97天天摸天天碰| 手机在线看片免费人成视频| AV乱伦专区| 97网色| 91劲爆| 久久精9| 亚州宗合另类| 日本污ww视频网站| 无码高清国产AV| 日韩在线观看三级电影| 伊人国产AV| 国产精品久久久久久久久久久久久久久久| 久操B网| 欧美日综合| 可以免费观看的日韩av毛片| 黑人精品XXX一区一二区| 欧美宗合网| 大屁股熟女一区二区三区| 亚洲精品欧美专业| 色妺妺在线视频| 亚洲中文字幕网| 网页导航五月天免费一二三区| 男女做爰猛烈动高潮A片免费应用| 日韩内| 国产suv精品一区二六| 国产 大胆 对白| 国产农村妇女精品一二区| 精品久久久无码| 99热最新| 久久久国产三级黄色片| 亚洲超碰AV| av天堂天堂av日韩| 亚洲小电影免费涩涩成人在线高清| 超碰97精品| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 国产一区96在线| 婷婷五月天色| 久热九九| 99热啪啪| www久久久| 九九色婷婷| 五月婷婷久久综合| 中文字幕av乱伦| av天堂手机版追回 | 国产一区二区三区影片| 无码日韩网站| 成人av动漫在线观看| 亚洲最大的综合性av| 两性色网| 午夜寂寞欧美| 综合久久欧美| 女人爽到高潮潮喷18禁网站| 欧美性爱在线无码| 亚洲欧美精品福利在线| 久久东京国产精品视频| 国产精选三级在线观看| 操婷婷逼| 99精品久久| 四虎AV在线观看| 欧美久久九九| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 九久久精| 九九九九九精品| 激情小说在线视频| 国语对白露脸XXXXXX| 日韩精品在线放| 亚洲无线码欧洲精品区别| 无码人妻精品一区二区中文 | 久久久精品一区二区| 熟妇高潮二区三区| 老熟女天天操| 精…码一二三区| 国产日韩精品suv| 91丨九色丨国产丨人妻在线 | 日本在线激情一区二区三区 | 天天日日舔舔| 丝袜综合| Aa东京男人的天堂| 老鸭窝在线视频播放| 蜜臀99久| 国产精品福利资源在线尤物| 免费的黄片有限公司| 亚洲精品天堂久久A∨51成人漫| 精品一啪| 爽爽淫人网| 中文字幕55555| 日韩欧美水蜜桃人妻| 久9久9久9久9久9久9| 天天干人人乐| 一中国女人毛片水真多| 日韩精品中文字幕一| 91精品黄在线观看| 亚洲国产一区二区三区在线| 欧美91精彩| 精品少妇一区二区| 亚洲伊人成综合成人网| 日逼逼免费看| 99ri在线视频| 久九九九九九九热| 久久精品男人的天堂| 亚州性色| 国产久久成人| 丁香五月天堂| 日本999精品视频| 91久热| 欧美Ⅴ性爱| 精品黑人一区二区| 久久精品视频久久久| 岛国999| 97国产超碰| 欧美另类精品xxxx| 日本熟妇一区二区三区| 国产白丝在线| 91熟女网| 精品亚洲国产成人av网站| 天天干,夜夜爽| 男人天堂日日夜夜| 人妻第一页| 中国一级特黄大片护士| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 亚洲第一精品在线视频| 人妻熟女午夜精品在线| 97爱b| 91殴美| 国模无码一区二区三区在线| 最新一二三区视频| 九九九国产精品| 久久性爱视频99| 99婷婷| 97网址97| 亚洲一区在线观看欧洲| 久久曰曰| 后入式视频国产自| 人妻天天爽天天爽三区| 激情综合婷婷| 粉嫩小泬久久久一区二区| 中文字幕在线免费观看 | 欧美熟女妇同| 欧美日韩中文字幕人妻| 在线精品福利免费播放| 97免费视频网| 久久免费少妇| 五月婷婷AV| jiujiujiujingpin| 秋霞一集毛片观看| 六月婷婷五月丁香| 日韩专区久久久| 国产日韩欧美操逼视频| 色妺妺在线视频| 免费视频观看60秒| 欧美激情中文字幕另类小说| 伊人国产av| 亚洲精品少妇| 婷婷视频网| 97国产综合欧美| 午夜视频好爽啊| 久久亚州高清| 毛片一区二区| 免费精品99| 老熟乱一区二区三区四区| 极品尤物自安慰| 亚洲大色堂| 久久精品一区二区一8| 五月色综合| 伊人国产AV| 日韩性爱播放| 干妹子| 最新中文字幕精品在线| 一区| 久久久一区二区三区三州| 真实高潮91| 亚洲国产成人精品女人久久久| 伊人99热| 久久精品超碰| 丝袜 亚洲 偷拍| 肥佬影院91| 99视频自拍| 97伊人超碰| 久草视频分类在线| 亚洲影视高清第一页| 亚洲国产一级精品毛一级精品看免费视频 | 日韩伦理视频| 久久久久久久免费A片国产成a人亚洲精∨品无码 | 极品少妇久久久| 91一起操| 98超碰欧美| 91久久99久久91熟女精品| 日日骚av| www.zbzhongsen.com| 亚洲人妻色图| 五月婷婷综合激情| 国产99热| 偷拍欧美激情| 天堂69亚洲精品中文字| 射欧美综合| 69少妇一区二区| 亚洲91网站| 欧美不卡二区| 国产91丝袜在线播放蜜月| 1769一区二区| 欧美少妇高潮| 另类图片五月天| 久久久96| 熟啊v色欧美热| 曰韩操B| 大香蕉在线SuP| 操逼日韩无码| 97碰久久| 欧美亚洲20p| 自拍偷拍亚洲熟女妇人精品| 亚洲精品一卡二卡三卡福利视频网站| 久久毛卡| 日韩欧美三级| 久久熟女人| 精品国产91内射久久| 秋霞鲁丝午夜无码一区二区三| 亚洲中文日韩精品| 91 天天综合| 厕所偷拍在线| 日本三级一区二区 在线| 久久久久久裸体| 国产成人网| 日韩av无码网站| 欧洲小说色图视频另类| 欧美黄色片AAAAA| 啊啊啊免费视频| 大香网伊人久久综合网eew| 久久av成人无码免费| 久伊人网78| 亚洲成人一二三区| 久热香蕉精品在线视频| 黄色成年| 日韩激情视频| 91精品国产麻豆国产自产在| 美女黄网| 啊啊啊好舒服视频在线观看| 国产AV久久久蜜爱影集| 日韩一级欧美一级国产一级台湾| 欧美乱妇狂野欧美在线视频| 超碰在线国产| 亚洲成人精品在线一区| 9997se| 91九久| 男人a天堂手机在线版| 综合色一区三区二区| 九一精品牛牛一区二区| 九九久久综合| 欧美日韩*字幕一区| 精品人妻一区二区三区蜜桃视频| 超碰久久性爱| 天天干夜夜一操| 亚洲超碰97| 久久九操在线观看| 四月丁香婷婷| 国产人妻天天干精品| 久久亚洲AV无码白度| 乱色老一区二区三区的观看方式| http://qxhbdz.com| 午夜电影在线观看无码专区| 91美女视频在线观看| 夜夜骑操视频| 欧美色棕合| 韩国成人精品久久久免费看| 国产精品白丝| 国产女主播视频在线观看| www老逼91| 国产精品久久伊人| 黄色电影在线播放综合网站| 天啪| 欧美偷偷网| 99re在线观看| 看日韩美女二区三区免费操逼视频| 丁香六月激情| 无码人妻精品酒店| 欧美色图99| 美女AV一区二区| 狠狠中文字幕| 亚洲中文字幕精品久久久久久直播| 国产无马在线| 精品午夜福利| 羞答答AV中文字| 亚洲少妇在线影音| 精品国产嫩穴视频| 伊人久久婷婷| 日韩欧美俄罗斯A片| 国产狂喷潮在线精品| 60秒不遮不挡| 97伊人超碰| 欧美久久久| 亚洲蜜臀懂色| 91在线免费观看处女| 五月激情综合网| 韩国一级婬片A片AAAAA| 乱伦av国产| 国产 亚洲 一二三四| 精品91日日夜夜超清资源| 日韩97超碰| 精品妇操一区二区三区| 啊啊啊啊二区好大| 青青草吊丝| 97超碰69| 大奶啊啊好爽 | 久久亚州高清| 日韩pv中文| 色蜜AV| 五月婷婷六月色| 国产99 中文字幕日韩小视频| 日韩精品 视频一区二区| 99这里只有精品国产| 精品三级在线专区| 91综合在线| 人妻少妇精品| 亚洲男人天堂av| 久久精品国产亚洲av水密被窝| 97日韩欧美亚洲| 人人妻人人色一区二区三区| 蜜臀一二三| 成人天天爽| 亚洲国内精品成人不卡| 99久热精品99re6热| 久久久久久久久久久999| 国产欧美日韩臀| 亚洲免费97免费| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 欧美性爱三区二区| caoni国产亚洲av| 激情综合二| 亞洲久久直播| 国产人妻天天干精品| 婷婷中文网| 日本在线激情一区二区三区| 欧美综合区| 五月婷婷色色| 25国产精品免费观看| renqi久久久久久久久久久久| 99这里只有精品| av天天在线观看| 欧美嗯啊……在线观看视频免费| 性色avv| 欧美大香蕉97| 97精品97| 五月天亚洲网| 欧美色图99| 91丝袜| 人人操人人93| 久久免费99精品久久久久久| 草草影院日本第一页| 福利伊人玖玖国产| 人人考人人摸人人干| 丁香五月激情综合| 久久国色天香香蕉| 香蕉久久精品| 亚洲情色综合网| 大逼色网站| 91 欧美| 在线播放免费av福利片| 亚洲高清国产理伦片| 大香蕉黄色一区| 伊人AAA| 久久综合中文国产| 日日骚精品视频| 日韩日韩日韩-国产乱码精品一区二区| 天躁夜夜躁2021| 秋霞怕怕片| 一级特黄aaa大片在线观看成人一级片在线观看 | 亚洲成aⅴ人片不卡无码| 天天综合网日韩7799| 亚洲国产欧美中日韩成人综合视频| 色婷婷激情| 色女99一级片在线观看| 97超碰中文| 蜜臀99久久国产| 激情黄色片在线观看| 一区二区影院| 婷婷五月天福利| 久久久熟妇熟女国产| 久久久九九| 国产精品熟女一区二区三区| 麻豆视频国产一区二区| 人人操人人摸人 | 女人18精品一区二区三区| 亚洲天堂男人网| 国产日韩区| 欧美激情综合| 884t在线| 9精品久久久久| 美女熟妇色| 久草福利在线资源站| 97人妻色| 97在线青| 欧美一区二区三区成人性生活| 伊人性在线视频| 亚洲国产精品无码AV久久久| 日本性爱少妇| 啊啊啊啊啊操我视频| 久草成人影片| 中文字幕国产| 免费日韩黄片| 操碰97| 丁香五月激情综合国产| 伊人五月天| 日欧操屄视频| 亚洲射综合网| 日韩电影中文字幕| 成人AV超碰免费在线| 麻豆啪啪啪视频| 不卡超碰护士AV在线免费播放| 国产25页| 欧美乱欲| 家庭乱伦网站国产| 青青草在线视频人人想人人上 | 青青草一区二区三区四| 精品九九九| 最新国产精品久久精品| 偷拍亚洲高清图片| 国产在线激情| 国产成人无码啪| 东北夫妻性偷拍| 一区二区三区在线日韩影院观看| 成人精品久久| 九色精品视频导航1| 成人综合色网| 亚欧操逼片在线观看 | 久久综合久色欧美综合狠狠 | 日韩AV色图| 欧美大的香蕉有线电视视频 | 夜夜操老骚逼视频网站| 欧美在线|亚洲| 强奸乱伦AV网址| 欧美日不卡| 国产嫩草精品A88AV| 91精品国产日韩欧美综合| 日韩情色视频| 蜜桃午夜视频一区二区| 涩涩这里只有精品视频| 亚洲精品一二三四区| 91美| 最近的最新的中文字幕视频| 老汉网| 日本道不卡| 丁香五月天视频| 午夜九九| 国产精品婬乱一级毛片彝族| 久久熟妇五十路一区| 91精片| 成人精品在线观看| 无码人妻丰满熟妇区毛片| 91精品女厕偷拍视频| 色狠狠综合噜一二三区| 视频不卡中文字幕| 99无码| 天美传媒精品一区二区三区| 人人人人插| 日韩9999| 成人av在线播放| 青青草久久一区网| 午夜精品久久一区二区| 色色热| 96超碰网| 99热精品在线播放| 99热在线只有精品| 欧美一区二区亚洲天堂| 伊人网一本| 国模不卡| 操淫穴亚洲五月丁香| 天堂无码精品国产久| 天天看高清麻豆| 久久亚洲欧美中文字幕国语| 嫩草伊人久久精品| 国产精品久久久久久久无码AV| 久久精品人体| 国产精品高潮久久久无码| 无码91| AⅤ片水多多| 国产成自自拍在线观看| 人人操我人人干| 婷婷另类小说| se01国产在线视频| 中文字幕视频免费| 亚洲av无线观看| 免费精品AB| 97人人操人人干| 亚洲天天自拍| 色色亚洲| 天天综合91| 国产婷婷一区| 国产精品永久免费10000| 97在线无精品| 色久桃花影院在线观看| 60秒免费视频| 国产精品一区二区黄片| 精品人妻久久久| 婷婷色一区| 香港澳门日本三级网站| 97超碰天天爱天天爱| 懂色中文一区二区三区 | 97色碰| 自拍欧美| 一,爱啪啪,在线免费视频| 天天干夜夜操一区二区| 激情五月婷婷综合| 97亚洲在线| 天天综合网91入口| 91精品女厕偷拍视频| 另类老少妇| 99国产人成精品| 色网站导航大全| 亚洲一二三| 国产三级中文有码在线视频| 欧美激情亚洲| 99久久久无码| 国产精品嫩草影院免费| 91精品婷婷国产综合久久| 性吧在线视频|