久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

NetBackup備份Oracle配置指南:架構、RMAN策略與故障排查

NetBackup備份Oracle配置指南:架構、RMAN策略與故障排查 簡介面向Oracle DBA與備份運維人員這份NetBackup環(huán)境下的Oracle數(shù)據(jù)庫備份配置文檔完整覆蓋從客戶端代理安裝、主服務器策略創(chuàng)建到RMAN腳本定制與備份任務執(zhí)行的全流程。文檔以實際操作步驟為主線先說明在Linux/Unix Oracle主機上選擇合適的CLIENTS2安裝包并提示安裝時輸入主服務器與媒體服務器信息、token粘貼后不顯示的易錯細節(jié)隨后講解在主服務器新建策略時將類型設為Oracle、存儲選擇對應媒體服務器并配置調度計劃與‘用于腳本的客戶端’同時強調hosts文件、1556與13724端口互通等前提條件。針對RMAN腳本文檔展開hot_database_backup.sh中的環(huán)境變量與參數(shù)調整包括備份類型、標簽保留策略、壓縮與加密等關鍵配置幫助讀者理解熱備份機制。資源為1個docx格式文檔壓縮包約5.9MB內容精煉集中目前已有836人學習。讀者可參照完成Oracle客戶端代理安裝、備份計劃配置、腳本修改與備份執(zhí)行獲得一套可直接落地的備份配置參考。1. NBU備份oracle到底在解決什么問題凌晨手機被 DBA 群里的告警電話炸醒剛接手的一臺 Oracle 19c 生產庫因為磁盤陣列故障直接宕了。你趕緊打開 NetBackup 管理控制臺發(fā)現(xiàn)昨天剛跑完的全量備份顯示“成功”可當你準備用這臺 NBU 的備份數(shù)據(jù)去恢復數(shù)據(jù)庫時卻驚訝地發(fā)現(xiàn)最近幾天的歸檔日志都沒備份進去數(shù)據(jù)只能恢復到一周前。這種場景在備份運維里太常見了。NBU備份oracle詳細配置文檔這個標題背后真正要解決的問題不是教你學會敲幾條 RMAN 命令而是怎么用 Veritas NetBackup 這個中央調度平臺把 Oracle 數(shù)據(jù)文件、歸檔日志、控制文件以及恢復驗證串成一條可靠的流水線。它適合那些被備份任務折磨的 DBA、負責容災的備份管理員以及第一次接觸企業(yè)級備份軟件的運維新人。折騰明白這套配置你的備份才算真正具備恢復能力而不只是一堆躺在磁帶和磁盤上的黑匣子。2. 把 NBU 和 Oracle 接起來基礎架構與集成原理2.1 備份鏈路中的三個角色Master Server、Media Server、ClientNBU 備份 Open 文件系統(tǒng)時鏈路相對簡單但備份 Oracle 數(shù)據(jù)庫時必須要分清三個角色的職責理解數(shù)據(jù)流量是從哪邊推到哪邊的。Master Server是整個 NBU 域的大腦。它上面存放著 EMMEnterprise Media Manager數(shù)據(jù)庫所有備份策略、調度計劃、保留期限以及備份作業(yè)的啟動都歸它管。你打開 NBU 管理控制臺看到的“活動作業(yè)”和“備份策略”都是從 Master Server 上拉取和提交的。Media Server是數(shù)據(jù)流的搬運工。它實際連接磁帶庫、DataDomain 去重存儲或普通的磁盤存儲單元通過bptm進程接收來自客戶端的備份數(shù)據(jù)流。Client就是裝在 Oracle 主機上的代理。在 Oracle 場景下它不只是 NBU 的文件系統(tǒng)客戶端還裝了 NetBackup for Oracle 的智能策略插件。明確這三個角色對后續(xù)配置至關重要。因為 Oracle 備份總是出現(xiàn)“作業(yè)顯示成功但實際備份不完整”的尷尬根源往往就是數(shù)據(jù)流經過了 Media Server 時超時但 Master Server 沒收到明確的錯誤碼最后把作業(yè)拉成了成功的狀態(tài)。NBU 10.4 的界面雖然越來越漂亮但核心的數(shù)據(jù)流構架沒有變依然是 Master Server 基于服務的模式向 Client 下發(fā)備份任務Client 再通過 SBT 接口把數(shù)據(jù)交給 Media Server。所以排查故障時先要想清楚你現(xiàn)在看到的日志是 Master Server 的作業(yè)日志還是 Media Server 的驅動日志還是 Oracle 端 RMAN 的輸出日志。這三者信息完全不一樣混著看容易把自己繞進去。2.2 不要繞開的兩種集成方式RMAN 插件與客戶端腳本要把 NBU 和 Oracle 拉起手來官方層面有兩條主流路徑。第一種是NBU 的 Oracle 智能策略Smart Policy。你在 NBU 控制臺創(chuàng)建備份策略時“策略類型”選擇Oracle然后直接在這個界面里指定要備份的數(shù)據(jù)庫、備份方式全備份、增量備份或僅歸檔日志。NBU 會自動在后臺生成一套 RMAN 命令并調用 NetBackup for Oracle 的插件去執(zhí)行。這種方式的好處是備份信息與 NBU 的目錄庫深度綁定可以自動實現(xiàn)基于時間點的恢復粒度控制在做“Instant Recovery”或“裸文件恢復”時最省事。第二種是標準備份腳本方式Standard Policy。這種策略類型選擇Standard然后把“備份命令行”寫成一個 Shell 腳本腳本里自定義 RMAN 的完整執(zhí)行邏輯。它本質上是 NBU 只負責定時拉起這個腳本至于腳本里 RMAN 是調用 SBT 通道還是把備份寫到本地的普通文件NBU 都不關心。這種方式在 DBA 群體里非常流行因為腳本可以用到很多 RMAN 的高級特性比如過濾特定表空間、指定備份片段大小、跳過離線數(shù)據(jù)文件靈活性更高。如果你問我哪種更推薦我的建議是生產環(huán)境如果業(yè)務要求快速接管直接上智能策略如果 DBA 團隊對備份粒度控制有執(zhí)念且對 RMAN 異常參數(shù)十分敏感那就用標準腳本策略腳本本身就是你的后悔藥。但不管你選哪種底層都必須依賴 Oracle 的介質管理層MML庫。NBU 到 Oracle 的橋接就是那個位于$ORACLE_HOME/lib下的libobk.so文件它能被 RMAN 識別成TYPE SBT_TAPE通道本質上相當于把 NBU 的存儲單元偽裝成了一臺無限容量的磁帶機。2.3 安裝 NetBackup 客戶端與 Oracle 代理不要默認路徑的坑安裝 NBU 客戶端的過程本身沒什么難度執(zhí)行./install然后一路默認到底但這正是后面各種疑難雜癥的源頭。安裝完 NetBackup Client 后你還需要單獨安裝 NetBackup for Oracle 的擴展包。這個擴展包非常重要否則策略類型選 Oracle 時系統(tǒng)會提示你“客戶端不支持該應用”。裝完以后最關鍵的環(huán)節(jié)不是看安裝成功而是確認 NBU 的服務進程能不能讀到ORACLE_HOME環(huán)境變量。因為 NBU 的客戶端服務bpbkar接管 Oracle 備份時需要向外部的bptm進程匯報數(shù)據(jù)庫審計日志的路徑這個路徑默認從ORACLE_HOME拼接出來。如果 NBU 服務時沒有把ORACLE_HOME寫進它的守護進程環(huán)境里經常會出現(xiàn)備份數(shù)據(jù)庫文件完全可以但備份完 ORACLE 歸檔日志時立馬報錯ORA-19511。這里有一個笨但絕對有效的做法在備份主機的/usr/openv/netbackup/bp.conf文件末尾手動補一條靜態(tài)配置項明確指定 Oracle 環(huán)境。# /usr/openv/netbackup/bp.conf 文件部分內容 SERVER nbumaster.localdomain CLIENT_NAME oracle19c.localdomain # 手動增加 Oracle 專用的環(huán)境變量避免 bpbkar 進程找不到 Oracle 依賴 ORACLE_HOME /u01/app/oracle/product/19.0.0/dbhome_1 ORACLE_SID ORCL這段配置邏輯很直接。SERVER用于告訴 NBU 客戶端哪個 Master Server 可以給他派發(fā)任務CLIENT_NAME要嚴格和 NBU 控制臺里添加主機時填的名稱一致不能因為改過主機名就忽略不同步的問題。而ORACLE_HOME寫在bp.conf里是業(yè)內最穩(wěn)妥的方式因為它能保證 NBU 服務進程無論由哪個用戶重啟都能通過文件解析找到數(shù)據(jù)庫的庫路徑。千萬不要指望服務器重啟后/etc/profile里的環(huán)境變量能順順利利被 NBU 的守護進程讀到那個是純看系統(tǒng)運氣屬于玄學范疇。補完配置記得重啟netbackup客戶端服務然后執(zhí)行下面的命令驗證 Master Server 和 Client 之間的信任是否打通。/usr/openv/netbackup/bin/bptestbpcd -client oracle19c.localdomain -verbose輸出如果顯示Status: OK則說明 NBU 客戶端能在 Master Server 的控制下發(fā)號施令了。這個bptestbpcd命令是 NBU 客戶端注冊后必測的一道防線它驗證的是主機間的 BPCD 端口是否可達屬于純網(wǎng)絡層面的握手一旦失敗后面配置策略基本就是玩瞎。3. 從環(huán)境檢查到策略落地NBU備份Oracle配置實操3.1 預備工作先檢查數(shù)據(jù)庫與 RMAN 的狀態(tài)配置 NBU 策略之前不要在 GUI 里急著點下一步。先把數(shù)據(jù)庫的底層狀態(tài)摸清否則備份任務即使啟動了也是帶病運轉。你需要登到 Oracle 主機上用sqlplus檢查幾個硬指標。-- 檢查數(shù)據(jù)庫歸檔模式、閃回恢復區(qū)大小以及當前日志切換頻率 SELECT log_mode, flashback_on FROM v$database; -- 查看閃回恢復區(qū)當前已使用空間和總大小 SELECT name, round(space_limit/1024/1024/1024, 2) SIZE_GB, round(space_used/1024/1024/1024, 2) USED_GB FROM v$recovery_file_dest; -- 查看當前在線日志組的狀態(tài)和大小 SELECT group#, sequence#, status, bytes/1024/1024 MB FROM v$log ORDER BY group#;這幾條 SQL 的作用很明確。log_mode必須為ARCHIVELOG否則無法實現(xiàn)基于時間點的恢復閃回恢復區(qū)Fast Recovery AreaFRA的大小直接決定了歸檔日志在本地最多能攢多少。我曾經遇到過生產庫db_recovery_file_dest_size只配了 50GB而每小時日志量 20GB 的場景等于 FRA 每兩個半小時就被寫滿數(shù)據(jù)庫直接 hang 住這種情況下 NBU 即便再勤快也架不住源端不斷井噴的日志量。除了數(shù)據(jù)庫本身還要檢查rman的配置項。備份時那些靈異的時間點恢復失敗大多是因為RMAN的冗余策略或者控制文件自動備份被設置成了異常值。下面這組查看命令是必做的功課。rman target / RMAN SHOW ALL;SHOW ALL的輸出里重點盯著CONFIGURE RETENTION POLICY、CONFIGURE CONTROLFILE AUTOBACKUP以及CONFIGURE ARCHIVELOG DELETION POLICY這三行。不需要過度修改但要心里有數(shù)。強烈建議把CONFIGURE CONTROLFILE AUTOBACKUP ON;打開因為控制文件是恢復的命根子在 NBU 這種介質管理場景下如果控制文件丟失且沒有 autobackup恢復時就得手工指定文件名那是在給自己挖坑。3.2 寫一個能直接調用的 RMAN 備份腳本配置 NBU 策略時最常見的落地方式是“標準策略外部腳本”因為這種方式最方便 DBA 手工在命令行同樣執(zhí)行一遍測試與排錯成本最低。下面是我自己的生產環(huán)境里用得極其順手的備份腳本模板。#!/bin/bash # 文件名: /home/oracle/scripts/nbu_oracle_backup.sh # 說明: 該腳本由 NBU 標準策略觸發(fā)也可由 DBA 在 crontab 中手工調用 export ORACLE_HOME/u01/app/oracle/product/19.0.0/dbhome_1 export ORACLE_SIDORCL export NLS_DATE_FORMATYYYY-MM-DD HH24:MI:SS export NBU_CLIENThostname -s # 定義 RMAN 日志輸出路徑 BK_LOG/home/oracle/scripts/log/rman_full_date %Y%m%d_%H%M%S.log # 調用 rman 對數(shù)據(jù)庫執(zhí)行全量備份和歸檔日志備份 $ORACLE_HOME/bin/rman target / log $BK_LOG EOF STARTUP MOUNT; RUN { # 分配兩條 SBT 通道對應 NBU 策略里的并行流數(shù) ALLOCATE CHANNEL ch1 DEVICE TYPE SBT_TAPE; ALLOCATE CHANNEL ch2 DEVICE TYPE SBT_TAPE; # 全量備份數(shù)據(jù)庫文件并備份所有歸檔日志同時刪除已備份過的歸檔日志 BACKUP DATABASE PLUS ARCHIVELOG FORMAT %U DELETE INPUT; RELEASE CHANNEL ch1; RELEASE CHANNEL ch2; } ALTER DATABASE OPEN; EXIT; EOF # 判斷備份結果失敗則退出并返回非 0 值 if [ $? -ne 0 ]; then echo Oracle NBU backup failed at date $BK_LOG exit 1 fi exit 0這段腳本里有兩個參數(shù)至關重要。一是ALLOCATE CHANNEL的條數(shù)它決定了備份數(shù)據(jù)流最終分裂成幾股必須和 NBU 策略中的“最大并行流數(shù)”完全匹配。二是DELETE INPUT它的存在與否直接關系到源端 FRA 的空間是否會被殘留歸檔日志打爆。執(zhí)行BACKUP DATABASE PLUS ARCHIVELOG DELETE INPUT時RMAN 會先備份數(shù)據(jù)文件再備份歸檔日志最后把備份過的日志從源庫刪除掉相當于“卸貨完成后再清空貨架”。腳本還有個隱藏的關鍵點STARTUP MOUNT和ALTER DATABASE OPEN必須成對出現(xiàn)。因為在備份期間讓數(shù)據(jù)庫保持 MOUNT 狀態(tài)能保證無日志寫入同時避免END BACKUP不一致的情況。如果你不敢把生產庫拉成 MOUNT 狀態(tài)也可以直接使用BACKUP DATABASERMAN 會自動處理在線數(shù)據(jù)文件的一致性但那樣的話日志切換會非常頻繁FRA 壓力陡增。對于 NBU 這種介質管理工具除非業(yè)務無法接受任何停機窗口否則我從來都堅持 MOUNT 備份。3.3 創(chuàng)建 NBU Policy備份策略的十個關鍵參數(shù)腳本準備完畢后打開 NBU 管理控制臺進入Policies新建一個策略。策略創(chuàng)建頁面的參數(shù)很多新手經常一頭扎進去亂填這里把最關鍵的十個參數(shù)拎出來直接照著抄作業(yè)就可以。策略類型與客戶端參數(shù)推薦取值說明Policy typeOracle如果選了 StandardNBU 就只把腳本當普通文件執(zhí)行安裝 Oracle Agent 的意義就沒了Clientoracle19c.localdomain必須與 bp.conf 里的 CLIENT_NAME 一致否則作業(yè)在調度時會直接失敗Storage unitMSDP 或 DataDomain_01決定備份數(shù)據(jù)寫到哪套存儲池直接關系到恢復時的讀取速度備份內容與調度參數(shù)推薦取值說明Backup Selection指向腳本的絕對路徑標準策略下這里填/home/oracle/scripts/nbu_oracle_backup.shSchedule全備每周六 02:00歸檔日志每 1 小時歸檔備份策略要與 Oracle 的日志產生速率匹配寧可過密不可過稀Retention14 天如果生產要求恢復到一個月內任意點14 天絕對不夠用至少 31 天起性能與通道參數(shù)推薦取值說明Performance等同于腳本里 channel 數(shù)比如腳本里分配了 2 條通道這里最大并行流數(shù)設為 2如果設大了NBU 只會多開好幾個 Master Server 進程空等毫無意義Active Server默認 Media Server若多臺 Media Server選離 Oracle 主機網(wǎng)絡延遲最小的一臺Compression選擇程序自動判斷Oracle 的數(shù)據(jù)塊本身壓縮率有限NBU 的客戶端壓縮如果對高并發(fā)業(yè)務啟用極其消耗 CPU容易形成瓶頸Multistreaming開啟并設為 2對應 RMAN 通道開啟后 NBU 會把備份集打成多個流有效提高單表空間備份并發(fā)度Job priority5若與其他業(yè)務系統(tǒng)搶窗口調高 Oracle 備份的優(yōu)先級避免被文件備份擠掉這些參數(shù)設置完畢后還有一道非常關鍵的步驟在Clients標簽下的主機列表里把oracle19c.localdomain加進來并激活策略。激活后NBU 會在下一個調度點自動拉起任務。如果你想立刻驗收可以右鍵策略選擇Manual Backup然后回到 Activity Monitor 盯一次作業(yè)的全過程。4. 場景細化RAC、ASM、DataGuard 下 NBU 備份的差異化配置4.1 為 Oracle RAC 與 ASM 設計備份策略生產環(huán)境絕大多數(shù)高可用數(shù)據(jù)庫都是 RAC 架構。RAC 環(huán)境下給 NBU 配策略最大的變化在于Client不再是一個單點主機而是一組節(jié)點。備份接口的選擇也更有講究。傳統(tǒng)方式要求你指定一個主節(jié)點作為備份源其他節(jié)點作為輔助節(jié)點但這種方式在 NBU 10.4 中有更優(yōu)雅的解就是走“集群客戶端”模式。配置 RAC 的 NBU 客戶端時建議在每個節(jié)點上都安裝 NetBackup Client 和 NetBackup for Oracle 插件然后在 NBU 管理控制臺為所有節(jié)點建一個集群實體這樣備份策略就可以統(tǒng)一調度RMAN 會自動在可用節(jié)點間做負載均衡。注意這里的 RMAN 通道分配要寫成CONNECT形式明確指定節(jié)點實例否則 RMAN 可能隨機挑一個節(jié)點導致備份數(shù)據(jù)流都擠在同一臺機器上。# 在 rman 腳本中指定通道連接 RAC 節(jié)點示例 RUN { ALLOCATE CHANNEL ch1 DEVICE TYPE SBT_TAPE CONNECT sys/密碼rac1; ALLOCATE CHANNEL ch2 DEVICE TYPE SBT_TAPE CONNECT sys/密碼rac2; BACKUP DATABASE PLUS ARCHIVELOG FORMAT %U DELETE INPUT; }在 ASM 環(huán)境下RMAN 備份無需關心 ASM 磁盤組內部結構。備份數(shù)據(jù)文件時RMAN 直接通過 ASM 實例讀取數(shù)據(jù)塊再經 SBT 通道交由 NBU 寫入介質。但有一個極容易踩的坑在 RAC 備份中CONFIGURE CHANNEL如果指定了CONNECT必須顯式指定 ASM 實例否則會報ORA-15032。同時你有必要為 ASM 啟用CONFIGURE CONTROLFILE AUTOBACKUP FOR DEVICE TYPE SBT_TAPE這樣即使數(shù)據(jù)庫控制文件所在磁盤組發(fā)生物理損壞也能通過最后一條自動備份集恢復控制文件。4.2 把備份負荷轉移到 Data Guard 備庫如果你手頭有一套 Data Guard 環(huán)境尤其近年來大家都在把“真實應用集群”和“災備”做融合那種“主庫跑業(yè)務、備庫做備份”的架構在運維圈越來越吃香。利用 NBU 在備庫上拉一份全備既能徹底釋放主庫 I/O又能避免主庫的MTTR因為備份而變得不穩(wěn)定。配置備庫備份時有幾個前置條件備庫處于MOUNTED或OPEN READ ONLY狀態(tài)均可但必須開啟閃回恢復區(qū)且備庫數(shù)據(jù)庫到主庫的日志傳輸一定要順暢。否則備庫的歸檔日志不連續(xù)即使備份成功恢復到那個時間點也會缺后面的數(shù)據(jù)。另外在備庫上做BACKUP DATABASE時需要額外注意因為備庫的數(shù)據(jù)庫 scn 與主庫保持一致但備份出來的控制文件無法直接用于還原主庫在恢復時要用DB_FILE_NAME_CONVERT去映射文件路徑。如果主備庫路徑不一致而你的數(shù)據(jù)庫又是 ASM 管理的這一步沒處理好恢復時間會延后數(shù)小時。我個人在實際操作中一般會在策略里單獨建一個“歸檔日志備份”的任務專門針對備庫的歸檔目錄執(zhí)行。這樣主庫的歸檔日志傳輸?shù)絺鋷旌驨BU 會優(yōu)先將備庫的日志備份到存儲中隨后再清理備庫的歸檔文件相當于在備庫側完成日志的二次容災對主庫完全沒有影響。這種“xcopy”式的精細化編排是 NBU 配電高級運維最典型的一個體現(xiàn)。4.3 多通道機制與并發(fā)控制參數(shù)精講通道數(shù)是一個看似簡單的參數(shù)卻藏了很多翻車點。很多人為了追求速度把 RMAN 通道數(shù)和 NBU 的并行流數(shù)一次性拉到 16結果備份時間確實縮短了但數(shù)據(jù)庫所在主機的 CPU 直接被打滿正常的業(yè)務查詢瞬間卡死導致故障雪崩。常規(guī)的經驗法則是生產庫按 CPU 核數(shù)來定通道數(shù)。如果主機是 8 核 16 線程建議 RMAN 通道數(shù)設 4NBU 策略中的最大并行流數(shù)同樣設為 4。如果使用 DataDomain 等存儲設備單通道帶寬上限通常為 200MB/s4 通道上行可以達到 800MB/s這已經能撐起大部分業(yè)務環(huán)境的備份窗口了。對于超過 2TB 的大庫可以考慮把BACKUP拆成多段BACKUP DATABASE SECTION SIZE每段 8GB 左右讓 RMAN 以數(shù)據(jù)文件為單位分段備份這樣也能避免一個超大表空間備份時長時間霸占單通道。需要特別指出的是在 NBU 的 Media Server 層面還需要檢查它允許同時掛載的磁帶驅動器或數(shù)據(jù)流數(shù)量。如果是虛擬磁帶庫或DataDomain這個限制一般很高如果是物理帶庫驅動器數(shù)量就是你硬件的上限超額后作業(yè)會在Media request狀態(tài)卡住很久。5. 排查與避坑NBU備份Oracle翻車現(xiàn)場實錄5.1 備份作業(yè)顯示成功但 RMAN 里查不到備份集現(xiàn)象NBU 控制臺里作業(yè)狀態(tài)顯示“成功”可你想在恢復窗口里RMAN LIST BACKUP SUMMARY;時卻發(fā)現(xiàn)一片空白或者只有幾條無關緊要的片段。原因這種表面繁榮十有八九是策略類型選錯了。如果你在 NBU 策略類型里誤選了Standard而腳本內部執(zhí)行 RMAN 時又沒有指定DEVICE TYPE SBT_TAPE那備份作業(yè)實際上只是備份了一個普通的文件系統(tǒng)目錄完全沒有走 NBU 的介質管理。NBU 的成功只是針對“文件收集成功”而不是“數(shù)據(jù)庫備份成功”。解決遇到這種誤配置不用慌。先把 NBU 策略類型改為Oracle再在Backup Selection里明確填上RMAN腳本路徑或者直接對RMAN腳本的執(zhí)行方式做調整。另外最直接的驗證手段是在 RMAN 里執(zhí)行一次BACKUP DATABASE VALIDATE命令它會檢查介質管理層的接口能不能被正確加載。這條命令如果返回ORA-19511說明libobk.so沒被 RMAN 找到那重點就得去檢查$ORACLE_HOME/lib和 NBU 客戶端的安裝目錄的軟鏈了。5.2 “rman備份老是滿”的日志增長困局現(xiàn)象Oracle 告警日志里頻繁提示 “WARNING: Recycle Bin is full” 或者磁盤剩余空間不足經常是閃回恢復區(qū)爆掉數(shù)據(jù)庫直接自動掛起。而你在 NBU 側看歸檔日志備份調度卻很奇怪地發(fā)現(xiàn)歸檔日志策略很勤懇就是總差最后一口“深呼吸”的空間。原因這背后往往是一個經典的設計沖突Oracle 的ARCHIVELOG DELETION POLICY設置成了NONE或者沒有和 NBU 的備份策略配合。也就是說FRA 里的歸檔日志不管備份到沒備份到 NBU都被 Oracle 當作可無條件清理的對象于是 NBU 還沒讀完日志Oracle 自己就把源文件刪了亦或是反了過來NBU 備份后沒有DELETE INPUTOracle 沒收到刪除指令于是 FRA 一直在堆積歷史日志直到被寫滿。解決解決思路很清晰。在 Oracle 側設置一個基于備份刪除策略的源頭約束讓 Oracle 只有在 NBU 確認接收后才清理日志。RMAN CONFIGURE ARCHIVELOG DELETION POLICY TO BACKED UP 1 TIMES TO DEVICE TYPE SBT_TAPE;執(zhí)行這條配置后Oracle 必須確認歸檔日志在SBT_TAPE上至少成功備份過一次才允許把源端的歸檔文件標記為可復用。配合 NBU 歸檔日志策略里的DELETE INPUT雙管齊下閃回恢復區(qū)的空間就能進入一種“備份多少刪多少”的穩(wěn)態(tài)循環(huán)你去查盤的時候它永遠保持在 70% 以下再也不用半夜爬起來手動刪歸檔了。5.3 NBU 存儲單元寫入慢RMAN 會話直接卡死現(xiàn)象Oracle 備份作業(yè)的 RMAN 日志停在某個百分比不再輸出數(shù)據(jù)庫上的會話數(shù)卻異常飆升DBA 看到 RAC 節(jié)點 CPU 全紅業(yè)務查詢耗時從 200ms 變成 20s。你殺死過幾次 RMAN 進程發(fā)現(xiàn)每次都在同一個位置卡住。原因問題不一定出在 Oracle 端極大概率在 NBU 存儲單元的寫入側。若是物理帶庫大概率是驅動器被其它備份任務占滿了導致當前 RMAN 的 SBT 通道一直處在等待 tape 資源狀態(tài)若是 DataDomain 或磁盤存儲單元則觀察 Media Server 的 CPU可能是后端去重進程的吞吐量達到瓶頸同時有大量客戶端任務在同時擠兌形成 IO 長尾效應。解決先檢查 NBU 的作業(yè)活動監(jiān)控看同一時間段有幾個備份策略在并發(fā)搶占同一個存儲池。建議給 Oracle 備份單獨劃一個存儲單元或磁盤池限制其它文件系統(tǒng)備份不要搶占它的帶寬。同時降低 RMAN 通道數(shù)減少并發(fā)對存儲的壓力。如果確定是 Media Server 的硬件瓶頸就只能增加節(jié)點或遷移去重存儲。在 NBU 里調整存儲單元優(yōu)先級是一個立竿見影的手段把 Oracle 備份的優(yōu)先級調最高文件備份的任務會在調度時自動被排在后面保證關鍵數(shù)據(jù)庫的備份不被積壓。5.4 備份成功卻恢復失敗日志文件與控制文件的坑現(xiàn)象發(fā)生故障真正要用 NBU 備份恢復時發(fā)現(xiàn)使用RESTORE DATABASE總是報缺少歸檔日志或者恢復出來的數(shù)據(jù)庫在打開時報ORA-01547控制文件不一致。原因這個場景我在很多客戶那里都看到過。事件主因是在 NBU 的全量備份策略里沒有包含控制文件或者 RMAN 腳本中沒有開啟INCLUDE CURRENT CONTROLFILE。很多朋友以為 NBU 代理會自動把控制文件作為元數(shù)據(jù)保護但實際上NBU 只保護它接收到的數(shù)據(jù)流控制文件必須顯式加入備份。如果你走的是自定義腳本并且使用了BACKUP DATABASE PLUS ARCHIVELOG而沒有控制文件恢復時自然缺了關鍵的引擎。解決在 RMAN 的備份命令中強制添加控制文件備份BACKUP CURRENT CONTROLFILE FORMAT %U;同時在 NBU 的恢復測試中用BPLIST或NBU 恢復向導檢查恢復點是否能包含控制文件。建議在測試恢復時使用RESTORE CONTROLFILE去驗證是否可讀不要等到生產故障時才發(fā)現(xiàn)“最后一根稻草”根本不在備份集里。控制文件就是那個最后后悔藥它平時不起眼缺了它整個恢復流程就癱瘓。5.5 NBU 備份狀態(tài)正常但異地災備拿不到數(shù)據(jù)現(xiàn)象生產機房的備份作業(yè)每天執(zhí)行成功但你登錄異地機房的 NBU 域或者在災備中心的 Master Server 上用bpdbjobs查看卻連一條任務記錄都看不到。原因跨域傳輸配置缺失。很多企業(yè)的生產 NBU 和災備 NBU 是兩套獨立的域。生產端 Master Server 的備份只停留在本地存儲災備端希望定時拉取生產端的數(shù)據(jù)鏡像但是你沒有在 NBU 中配置“遠程復制”或 Vault 策略更常見的是配置了 SLPStorage Lifecycle Policy但目標存儲單元的寫權限沒給災備域的用戶。解決這種場景先不要急著懷疑網(wǎng)絡先在災備 NBU 的存儲單元中檢閱連接生產 Master Server 的“遠程存儲單元”的授權主機列表手動執(zhí)行一次bpcreatesv看看兩側的通信是否正常。如果確認通信無誤就用Duplicate Backup功能從生產庫復制一份到遠程池。這個操作可以把備份集從本地 NBU 域復制到災備域但沒有 SLP 的定期調度每次都得手工右鍵重復備份不夠自動化。最穩(wěn)妥還是在生產 NBU 中配置一套 SLP 策略設定“備份后復制”動作選擇“目標為遠程存儲單元”。配置 SLP 時要注意本地備份的保留期限要和遠程復制保留期限區(qū)分開否則源端因過期清理了鏡像災備端的副本也可能遭到連帶清除這在 10.4 版本里尤其常見。6. 配置好只是開始驗證備份可恢復的三個進階習慣6.1 每月做一次“整庫恢復演練”而不是只做“備份驗證”備份做沒做成功N BU 的作業(yè)狀態(tài)其實不能完全作數(shù)。機器宕機那一刻你需要的不是備份記錄而是一條明確的恢復鏈路。我給自己訂了一個死規(guī)矩每個月最后一個周六把上周的全量備份恢復到一臺閑置測試主機上然后執(zhí)行ALTER DATABASE OPEN RESETLOGS;。這不是走馬觀花的Restore Validate而是真正把數(shù)據(jù)文件、控制文件、歸檔日志一步步灌進新實例。做過一次真正的異機恢復你會比看任何備份日志都踏實。每次恢復演練后我會用 RMAN 的LIST BACKUP與REPORT SCHEMA核對兩份清單確保沒有遺漏表空間或數(shù)據(jù)文件。如果生產環(huán)境是 RAC 或 ASM演練主機也需要提前裝好同樣的網(wǎng)格組件否則 ASM 磁盤組無法正常裝載恢復過程必然翻車。6.2 寫一個自動檢查 NBU 作業(yè)日志的腳本日常巡檢不必每天打開操作臺最簡單實用的是跑一段判斷邏輯。下面的腳本是我放在 cron 里的每天早晨 8 點執(zhí)行用于檢查前一天的備份作業(yè)里是否存在狀態(tài)碼非 0 的記錄。#!/bin/bash # 自動巡檢 NBU 18 小時以內的任務狀態(tài)并輸出異常 /usr/openv/netbackup/bin/admincmd/bpdbjobs -all_after $(date -d 18 hours ago %m/%d/%Y) | awk -F, $6 ~ /oracle/ $9 ! 0 {print $0} /tmp/nbu_oracle_alert.txt if [ -s /tmp/nbu_oracle_alert.txt ]; then echo [NBU Oracle Alert] 發(fā)現(xiàn)異常作業(yè)請登錄控制臺核查 | mail -s NBU Oracle Backup Alert dba-teamexample.com else echo [NBU Oracle] 昨日 Oracle 相關備份作業(yè)全部完成暫未發(fā)現(xiàn)異常。 fi這段腳本的原理很簡單。bpdbjobs會輸出全部任務記錄用逗號分隔字段。我用awk過濾包含 “oracle” 關鍵字的行同時檢查狀態(tài)碼字段第九列是否等于 0。如果有失敗任務它會輸出到臨時文件并觸發(fā)郵件告警如果一切正常則輸出確認語句。這里有個小心機設置 18 小時的時間窗口而不是從前一天零點開始是為了容忍那些深夜啟動第二天早上才跑完的長任務避免因為它們還沒結束而被誤判為“無備份”。這個腳本雖然簡單粗暴但勝在可靠已經穩(wěn)定運行了兩年多。你甚至可以在末尾追加一個播報聲音不過在生產環(huán)境中看到 “一切正?!?的郵件遠比收到告警更讓人安心。6.3 養(yǎng)成看日志摘要的習慣而不是只盯作業(yè)狀態(tài)經驗告訴我NBU 控制臺的作業(yè)狀態(tài)只是一個漂亮的外殼日志摘要才是真正反映內部活動的地方。Oracle 備份的日志藏在兩條鏈路里一條是 NBU 的bpbkar日志在/usr/openv/netbackup/logs/bpbkar目錄下另一條是 RMAN 自身的輸出日志。推薦每次手動備份時在 RMAN 腳本里加上log參數(shù)把日志定向到一個固定目錄。同時調低 NBU 日志級別在作業(yè)屬性里把debug level調成 2 級別雖然日志量會翻幾倍但出現(xiàn)問題的時候有足夠的數(shù)據(jù)做回溯定位。記得有一次某核心庫備份總是周期性失敗我一遍遍盯控制臺的作業(yè)記錄都沒發(fā)現(xiàn)問題。后來耐著性子把 RMAN 的日志打開發(fā)現(xiàn)ORA-19511每次都發(fā)生在警報表空間SYSAUX的某個數(shù)據(jù)文件讀取時。后來才查清是那個數(shù)據(jù)文件出現(xiàn)物理壞塊和 NBU 本身毫無關系。從那次以后我在每次交接備份系統(tǒng)時一定會強調“日志摘要比作業(yè)狀態(tài)可靠一百倍”這是 NBU 備份 Oracle 必須養(yǎng)成的第一習慣。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
伊人久久亚洲中文字幕不卡| 男女真人网18| 国产夜夜艹| 免费a级毛片av无码久久精品中文字幕| 素人播放一区| 欧美综合另类| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 99热色精品| 国语av狠狠色丁香婷婷综合激情| 久久人爽| 黑人无码一区二区| 亚洲色图欧美色图在线播放| 性高潮久久久| 99国内熟女露脸视频| 色五月婷婷久久| 久久精品一区二区一8| 好屌色综合| 农村妇女一级二级三级视频| 色网在线视频观看免费| 国产乱码久久久| 天天爽天天操| 377p欧洲日本亚洲大胆| 一级做a爰片久久毛片图片| 天堂综合| 熟妇熟女视频一区二区三区| 亚洲码在线中文在线观看| 91男人天堂网| 午夜啊啊| 日韩一级二级在线| 亚洲操逼无码| 日本熟女免费視颖| 国产亚洲精品精AV.| 国产精品扒开腿做爽爽爽视频| 伊人网在线观看| 97精品国产97久久久久久| 国产精品一二三在线看| 性色av蜜臀av色欲aV| 久久97| 中文字幕无码不卡啪啪| 亚洲性天堂| 偷拍片久久| 9热9热综合网| 嗯嗯啊啊的视频| 色好看av| 色播综合| 国产欧美在线观看免费观看| 天操天操夜操夜月操月年年操操| 久久9精品网站| 天堂国产AV| 蜜桃在线观看一区二区三区| 97露脸精品丝袜| 欧美五区| 色综合久久夜色精品国产天堂| 色色色热| 97人妻免费中文字幕| 一本久久久精品| 91女优在线观看| 大屁股国产在线视频| 亚洲情色图片区| 亚洲AV免费在线观看| 五月丁香六月| 东北女人被操| 欧美九一精品久久久熟妇| 人妻天天爽| 亚洲码和欧洲精品激情系列| 精品久一区免费| 四月丁香婷婷| 欧美性色综合网| 99爱久久视频频| 欧美一二三区四五区| 日本精品88888888| 亚熟hd视频在线| 蜜臀久久久国产| 老司机免费视频在线91| 亚洲狠狠入| 色婷婷小说| 日本免费中文一区二区三区四区| 妇女视频网站| 先锋女优在线观看视频| 牛牛操视频逼| 91精品黄在线观看| 骚逼一区二区| 九九九九九九免费视频| 91色婷婷综合久久中文字幕二区| 日熟女| 日本色色视频网站| 亚洲一区操| 久久一级无码精品毛片6| 国产熟女免费观看久久| 欧美日日夜夜| 久久噜噜噜精品国产亚洲综合| 国产人妻一区二区三区欧美毛片| 校园春色美腿丝袜| 青青青国产手线观看视频2| 国产精品一区二区校花| www.99视频| 精品国产一区二区三区久久久蜜臀| 内射黑丝袜| 97在线日韩中文字幕| 少妇色欲综合网2| a亚洲欧美色欲| 黄片在线免费在线观看| 伊人久久综合影院| 亚州精品一区二区三区香中文字幕在线| 不卡超碰护士AV在线免费播放| 97天天插| 中文字幕丰满子伦无码专区在线视频最新 | 91久久精品美女高潮喷水| 大香蕉乱级| 亚洲春色激情小说| 白丝一区| www…国产操逼| 亚洲高潮少妇| 久久久999国产| 国产精品蜜乳AV| 久久久99999久网站| 91看黄片| 亚洲成人碰碰| 久久9精品网站| 伊人久久在线视频观看| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 欧美综合中文| 日欧操屄视频| 限制级中的三级片中的黑粗大屌屌日人妻熟女| 亚洲导航深夜福利| 91综合国产精品| 国产福利一区二| 91碰碰| 日韩中文字幕宗合在线| 国产成人无码a| 超碰在线97国产| 人人摸.人人色| www.亚洲成人一区| 伊人国产av| 免费视频在线一区二区不卡| 国产后入清纯| 日韩三级一区| 9色国产精品一区粉嫩| 熟女色图在线| 亚洲色图尤物视频 | AV天天综合| 国产精品丝袜在线| 亚洲 日本 一 二 三| 日韩无码第3页| 人妻av在线| 欧美热图99| 精品久久視頻在线| 国产高清26uuu| 国产久久久久影院老熟女| 久久黄色视频一区二区三区| 亚洲干B| 欧美亚洲一级在线观看| 中文字幕免费看| 岛国精品视频在线观看| 欧美97在线欧| 人妻精品免费一二三区| 欧美日本不卡在线| 黑人狂躁日本妞一区二区三区| 手机在线播放国产福利| 欧美色图99| 欧美图片偷拍| 欧美αv.com| 好爽要喷了| 黑丝内射一区二区三区| 2019久久久久久久久福利| 天综合网欧美| 男人的天堂com| 色色热| 久久超碰、| 一个色导综合| 欧洲亚洲人妻无码高清久久三区四区| 有码免费观看| 九九aV| 天堂亚洲欧美| 国产不卡的视频| 熟女丝袜视频| 天天操av懂色| 色玖玖| 久久男人天堂| 超碰在线97国产| 开心激情婷婷| 日本3级一区二区免费 | 91大神精品长腿在线观看网站| 日韩美女高潮喷水视频| 中文高清一区二区的| 欧美性爱中文字幕无线码| 人妻天堂网| 天堂涩涩| 丰满人妻无码一区二区三区| 黄色片A级一区二区三区| 伊人性在线视频| 亚洲图片欧美制度| 97超碰无码网| 最新加勒比丝袜在线| 亚洲aV性爱| 影音先锋日本一区二区| 好爽视频在线观看视频| 亚洲日韩97| 1二区9| 夜夜一区二区| 思思在线免费视频| 中文操嬖片。| 精品v日韩欧美国产| 可以在线观看的黄色网址| 嗯嗯啊啊好爽| 中国人高清www色视频免费| 国产AV天美传媒一区二区三区 | www欧美91| 欧美青青草视频| 伊蕉97蜜桃97狠狠综合干| 日本淫色网| 99啪| 亚洲色五月| 国产成人99久久亚洲综合| 少妇一区二区三区| 欧美色欧美| 热热色91| 色欧美色交综合| 歐美性天天| 婷婷av在线中文字幕| 78操B| 99热日| 人妻少妇色综合| 干干干天天| 中文字幕一区二区三区高清| 91人人臊| 欧美日韩 强奸乱伦| 久久久久久一日韩字幕无码| 99国产在线 精品 视频| 五月天精品| 蜜桃久久综合视频| 热久久精品| 欧美精品丝袜久久久中文字幕| 欧美有码亚洲中文字幕一区二区三区四区 | 欧美色性爱| 97人妻免费中文字幕| 国产乱人伦AVA麻豆软件.| 99re国产中文字幕| 神马福利久草| 黄色片G G G| 日韩综合第八区国产精品| 99热这里都是精品| 双插性欧美一二三区| 亚洲熟女av日韩熟女| 一区二区三区精品黑丝白丝酒店对鸡 | 在线播放中文字幕| 亚州色图狠狠干| 91n免费处女| 九久久九九久视频| 国产一区二区三区白丝| 亚洲色图亚洲无码强奸乱伦| 亚洲精品97在线| 国产久久久久影院老熟女| 蜜臀99久久精品久久久久久| 成人性爱免费播放| 欧美日韩国内不卡| 日日干夜夜操视频h| 尤物AV免费网站| 亚洲av成人精品一区| 欧美精品日韩久久久九| 日韩啪啪啪啪啪| 欧美综合制服在线| 超碰在线人人射| 911粉嫩人妻| 91大神电影天堂| 97精品人妻一二三四| 国产精品免费1区2区视频| 乱伦系列一区二区| 一本大道综合伊人精品热热| 欧美日韩国产成人高清| 日本岛国黄色网址| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 婷婷五月天影院| 97 视频在线| 97超碰碰| 欧美人与性动交a美精品| 伊人女女资源在线观看| 98超碰日本| 国产家庭乱伦表演| 熟女人妻av在线资源,黄色的资源| 国产精品天干天干综合网麻豆| 亚洲精品久久久久毛片A片拉屎| 殴美大黄片| 美腿丝袜高跟网免费视频免费视频| 东北女人性交| 熟女精品一区二区三区| 国产精品96| 能看的av| 欧美伦乱| 色五月AV| 国产高清精品一区二区三区毛片| 夜色五月天| 久久一二三四五六七八九区| 久久AV无码网址| 天天干人妻| 交换娇妻呻吟声不停中文字幕| 日韩美女久久一区二区三区| 亚洲色图亚洲| 四虎影视在线| 日本黄大片在线观看视频| 97中文超碰| 欧美综合第一页| 激情丁香婷婷| 九九久久玖玖| 97亚洲资源| 一区二区三区亚洲| 亚洲精品一区二区免费在线观看| jizzjizz欧美| 青青草一本道福利视频| 九九精品美女高溯喷水| 人人贴人人摸| 啊啊啊啊啊啊啊在线| yellow网站免费观看日韩高清无码| 亚洲美女色图| 首页中文字幕中文字幕免费| 亚洲成人在线资源| 青青草伊人久久| 最新日本中文字幕| 高清国产无码av| 91久久午夜无码鲁丝片久久人妻| 日韩免费在线视频观看| 少妇人妻在线| 亚洲人在线| 国产高清精品一区二区三区毛片| 亭亭在线资源| 国产又粗又又黄又猛| 亚洲av青草久久一区二区| www.一本大99| www网站黄| 91狠狠综合久久| ,国产乱人伦精品一区二区三区| 以及麻豆国产入口在线观看免费| 日日摸日日碰| 嗯嗯啊中文字幕| 成人26uuu| 亚洲偷拍欧美激情| 97视频在线免费看| 永久免费发布性爱网| 天天操妹子| 久久久久久久久久久久久久久性生活视频| 国产日韩欧美操逼视频| 天美传媒AV在线播放| 国产熟妇一区二区| 亚洲无码99| 久久中文字幕一区不卡| 97超碰精品图片| 国产亚卅97| 久久香蕉综合一本到3atv| 我想要 啊 啊 啊| 伊人久久蜜月| 91精品国产综合久久久蜜臀| 日韩黄色一区二区三区| 黄片免费视频2019| 97色碰| 丰满少妇高潮无码| 无色无码| 97超碰欧美中文字幕| 内射日韩大臀美女| 欧美在线视频99| 亚洲成人无码影院| 亚洲精品一区二区精品| 超碰78| 日韩大香蕉精品在线视频| 激情综合网五月婷婷五月天| 亚洲**2021在线观看| 中文有码9| 97这里只精品| 久久久久ab| 久久久久国产亚洲一区欧美色图日韩| 丁香五月影院| 99热精品在线播放| 很很热性爱视频| 伊人丁香五月婷婷| 国产精品久久久久久久AV大片| 91人人操| 久久超碰天天| 60秒免费小视频| 最新精品久久蜜桃 | 影音先锋每日最新资源在线观看| 亚洲黄a三级三级三级看三级| 爆乳免费黄网站| 天天欧美色| av天堂影视中文在字幕在线中文| 五月婷婷综合激情| 欧美一级色| 中文字幕在线高清男人的天堂| 亚洲成人性| 国产精品ⅴ无码大片在线看.| 九九九免费视频| 日韩无限资源| 美女裸体无遮挡永久免费观看网站| 资源新线在线天堂| 人人摸人人入| 久久成人国产精品| 国产精品爽爽v| 免费一级特黄特色大片在线观看看 | 日韩熟女操逼| 91色人妻| 国产区日韩区在线观看| 淫荡网址| 亚洲无码一区成人免费午夜| 97网站在线观看 | 日韩欧美亚洲自拍偷拍| 尤物视频视频官网| 欧美一区二区三区四区综合| 亚洲成人日韩小说| 亚洲熟女中文字幕在线| 熟女精品一区二区三区| 色月天AV导航| 亚熟hd视频在线| 超碰在线第一页| 色婷婷日韩精品一区二区三区| 色欧美色交综合| 色香天天| 一起草三级AV电影在线观看 | 日本二三四区| 欧美高清18A片| 搞中出久久| 亚洲 欧美日韩 另类| 九九人人操| 大稥蕉免费视频这里只有精品| 成人熟女视频一区二区三区| 久久人人爽av亚洲精品天堂桃色 | 97久久久久久久久久| 啊啊啊啊在线观看网址| 一区二区播放| 久久久国产av美女私房| 手机在线看片免费人成视频| 人妻久久久久久久久久久久久久久 | 91九九九馒头| 国产成人天堂| 欧亚日韩中文在线| 另类 日韩 熟女| 欧美男人一区| 中文字幕乱偷人妻久久艾草网| 色色九区| 日本伦乱九九九综合| 欧美成熟性爱精品| 久久久婷婷| 日本99一区二区| 欧美天天综合在线| 操逼无码一区| 在线视频五十市| 亚洲av资源| 99在线无码精品秘 入口黑人| 蜜桃视频精品一区二区| 美女骚尻视频| 乱伦一区二区三区‘| 五月婷婷综合激情| 亚洲AV在线资源| 超清福利精品视频在线| 欧州色图区| 久久久涩| 日本性交操一区二区不卡系列| 欧美亚洲尤物久久| 91偷拍欧美亚洲| 久久啊啊| 91c色| 久久老子无码午夜伦不卡| 丁香五月激情网| 99热国产精品| 99色热国产视频精品| 亚洲国产综合久久久性感熟妇| 超碰久久.com| 国产精品成人无码av无码免费| 第45页一区二区| 日本操逼无码| 夜夜高潮夜夜爽高清视频一| 探花视频免费观看国产专区| 亚洲中文字幕噜噜噜久久久| 婷婷五月天激情四射| www.丁香五月| 大香蕉懂9| av资源在线播放天堂| 亚洲欧美91√| 综合色色网| 日日骚一区二区三区| 欧美精品自慰系列寂寞少妇| 久久精品无码熟妇一区二区三区视频导航| HEYZO高无码国产精品227| 天天舔天天日天天射| 久久五十路熟女人妻| 91人妻精华帖| 国产熟女精品区| 天天综合网日韩7799| 97er欧美性| 国产一区二区精品久久99| 亚洲区限制级| 久久精品国产96精品亚洲拳交| 亚洲国产中文字幕| 色小视频蜜乳| 天天干电影| 大香蕉 222| 影音先锋新男人| 裸体美女久久久| 操逼操网| 久操视频免费观看| 综合操逼| 国产精品在线一区二区| 可以在线观看的黄色网址| 强奸熟女一区二区三区| 成年女人18级毛片毛片免费观看| 不卡在线观看视频| 人妻无码久久一区二区三区免费| 国产黄色av大片网站| sewuyueav| 欧美性暴力猛交XXXX| 亚洲天堂AV在线播放| 精品免费成人久久| 91AV老熟女视频| 亚洲精品官网在线观看| 快灬快灬 一下爽蜜桃在线观看 | 青青草丝袜在线视频| 熟妇人妻精品一区二区| 精品一久久久| 超碰av在线| 秋霞一集毛片观看| 欧美久久人体| 91天天综合网,天天综合网| 久久久久久国产精品免费网站 | 婷婷中文网| 97精品在线| 九九热av| 大香交伊人网| 亚洲男人综合| 久久三区四区| 好爽免费视频,| 日韩偷拍色图| 蜜臀AV网站| 国产多人在线观看视频| 久久久日本电影| 中文字幕一区二区三四五区日日骚| 97人人草| 国产美女自拍AV| 欧美高清在线| 青娱乐手机日韩在线视频| 夜夜一区二区| 亚欧国产无码精品在线| 很黄很色的视频在线观看| 97狠狠| 色www精品视频在线观看| 99久久精品国产高潮| 91色人妻| 欧美同性恋 的搜索结果 - 91n| 少妇高潮99p| 亚洲色综合| 国产精品色片一区二区| 人妻一区二区三区视频| av黄图片在线观看| 麻豆成人影音在线| 91精品人妻| 尤物视频新赏网鲜网色诱网| 2019午夜福利视频| 婷婷香网站| 一个人在线看的黄色电影网站| 99热精品在线观看| 色五月网址| av国产无码| 日本精品一区二区中文字幕| 亚州AV无码国产精品| 免费又黄又裸乳的视频| 欧美丝袜中文字幕07在线| 国产97在线播放| 久久激情亚洲精品无码?V| 欧美少妇高潮| 亚洲怡春院| 日本欧美色| 五月婷婷hd| 午夜久久一区二区无码中出| 97爱免费插| 看看小穴| 欧美一区二区成人一卡| 五月天激情综合网| 五月天婷婷激情| 六月婷婷激情| 久妇网| 激情接吻视频久久久久久| 日韩av在线精品观看| 水多多映视AV| 高潮的A片激情扒开一区| 飘花国产午夜精品不卡| 欧美操逼熟女| 婷婷久久大香蕉| 99热成人| 99色色网| 免费亚洲黄色视频在线观看| 日本日逼高清| 黄片不用下载在线观看| 发朗少妇买婬全视频中文| 97舔舔| 亚洲图片欧美制度| 久久这里都是精品| 大香蕉啪啪啪啪在线| 97在线青| m欧洲一级午老| 色 婷97| 人妻密肉在线观看| 18一区二区三区| 99热这里只有是精品10| 青青青在线高清视频在线一二三四区| 日韩无码极品| 日本高清_区二区三区| wwwss在线观看| 欧美爆操91| 97在线欧| 亚洲日韩精品一区二区| 9999久久久| 盗摄女人妻在线| 色哟哟的毛片| 亚洲 欧美 小说| 亚洲精品久久久久久| 超碰九区| 91亚洲网| 屁股久久久久久| 国产强奸乱伦欧美| 欧美日韩操逼嗦吊| 伊人久久亚洲中文字幕| 亚洲日本天堂| 日本久久久久久久久| 人妻免费观看| A级片日韩欧美国产欧美视频精选观看| 欧美人妻一区| 99xav| 中文字幕欧洲有码| 青娱乐91| www亚洲免费| 91啪啪视频| 亚洲欧美日韩国产丝袜自拍中文| 日韩兔费看黄片| 人人爱操| 自拍二页| 美女91色黄18| 精品一级毛片在线观看| 婷婷五月天AV| 久久久九| 国产精品麻豆成人av| 国产精品久久久久久久久AV大片| 精品人妻一区二区乱码一区二区| 性天堂| 亚洲AV无码成人精品久久| 男人的天堂在线有码| 伊人欧美大香蕉视频| 东亚亚洲无码高清| 一区二区三区成人| 大学生口爆吞精| 91新在线欧美| 久久久久久国产成人| 亚洲最大黄网| 欧美国产精品久久九九| 骚货人妻偷情自拍在线视频| 欧美综合1性辶| 亚洲人妻av| 床戏久久久av一区二区麻豆| 亚洲精品三| 久草色在线观看| 中国亚洲呦女专区| 精品国产乱码久久久久久久| 婷婷五月天影院| 98超碰欧美| 人妻丝袜无 码视频专区| 亚洲高清91| 欧美另类色图片| 蜜臀久久99精品久久久老,,| 老司机香蕉久久久久| 人妻激情偷乱视频一区二区三区 | 97资源亚洲| 女人高潮抽搐喷水视频网站| 国产精品农村妇女精品| 日韩成人精品中文字幕| 中文字幕在线免费观看| 天天干2019| 久久黄片国产一区二区| 九九九九九精品十六| 中文字幕av亚洲在线| 91无码人妻精品一区二区三区蜜桃| 久热9| 亚洲区 欧美区| 黄色小视频日本txt| 中文字幕福利视频一区二区三区在线观看| 狠狠色色| 欧美激情高清性猛交| 九九热超碰| 蜜臀在线视频| 99久热精品99re6热| 日本精品一区二区中文字幕| 久久久蜜桃臀无码视频| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 欧美曰韩国产精品| 久久久久久网址| 亚洲青色欧美| 婷婷99狠狠躁天天躁| 搡老女人911熟妇老熟女| 欧美页片| 日欧亚洲二三区大片不卡| 天天插天天操天天摸天天射天天看| 国产高清无码一区二区三区四区皇冠| 午夜毛片亚洲精品片国产久久久| 四虎视频在线观看| 91蜜桃婷婷狠狠久久综合9色| 韩日精品四区| 无遮挡一级毛片视频免费的| 国产又粗又长的视频| 校园春色欧美色图| 大香蕉五月天婷婷| 日本三级A片网站com| 国语精品av| 欧美夜色| 极品色www影院| 国产精品视屏| 热热色综合网| 伊人网在线观看| 啊啊啊啊嗯嗯嗯用力好爽 | 97精品国产手机| 淫荡熟女乱伦网| 97在线观看免费视频| 熟女熟妇伦久久影院毛片一区二区 | 99久在线精品99re8蜜桃| 嗯嗯,好大,好爽,好骚| 欧美国产日韩清纯唯美| 首页中文字幕中文字幕免费| 精品久久无码午夜福利| 97碰碰色| 伊人青青草久久| 精品在线观看视频在线| 国内精品a| 国产无码精品久久久久久| 欧美一区二区| 国产97在线播放| 91亚洲欧美综合高清在线| 不卡码视频| 亚洲熟妇图片| 国产乱码久久| 日韩三级一区 | 国模无码一区二区三区在线| 国产三级片在线观看| 亚洲狠狠入| 亚洲少妇自拍中文字幕懂色| 久久久精品中文字幕麻豆| 少妇与黑人高潮在线| 国产精品视频电影| 99热亚洲天堂| 精品久久青青草| 91五十路| 中文字幕视频免费| 96AV久久久| 九九九网页| 97国产精品国| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 长久操视频| 日产123区精品免费观看| 丝袜美女诱惑 91 视频| s片在线观看| 少妇内射视频| 青草伊人网| 天天爱天天操| 欧美性天天| 青青青国产手线观看视频2| 大香蕉乱级| 强奸乱伦大香蕉| 亚洲无码?第一页| 国产精品亚洲美女久久久久| 婷婷中文字幕| 青青草自拍视频在线播放| 在线女人91| 麻豆 亚洲 97| 久久久久久无码人妻中文字幕| 亚州精品人妻一二三区| 熟妇人妻精品一区二区| 麻豆天美传媒毛片| 国产一区自拍欧美日韩| 黄片无码在线制服| 99∨VTV| 精品国产一区二区三区av在线资源| 午夜爽爽爽在线观看永久入口姬片| 国产精品免费美女视频| 色色热| 1024亚洲中文字幕久在线看片你懂的 | 91天堂| 97网色| 人人摸人人舔一区二区| 夜夜 中文视频rt| 91欧洲入口| 黄色无码高清黄色无码网站| 久久五月天婷婷丁香中文字幕| 婷婷精品国产欧美精品亚洲人人爽| 无码精品啪啪啪一区二区三区三州| 欧美精品庄| 吖在线不卡一区二区国产剧情 | 色偷偷男人的天堂麻豆| 人人妻人人色| 偷偷人人精品女女久久| 极品欧美一区二区三区| av资源在线观看少妇| 美腿色图| 乱老熟女一区二区三区| 欧美在线 亚洲| 极品另类| 91人妻最真实刺激绿帽| 激情小说成人日本无码一| 亚洲天堂中文字幕无码男同| 极品AV网站在线观看| 97爱综合| 偷拍三区| 国产av强奸美女| 亚洲 欧美日韩 另类| 夜夜操天天肏| 91色亚洲| 97色伦97色伦国产欧美| 亚洲AV噜噜狠狠网址蜜桃动漫| 嗯嗯啊在线视频| 久久精品91| 国产精品蜜臀久久久久无码AV| 九九热精品| 综合性视频99| 小视频玖玖| 亚洲AV资源| 中文字幕在线免费观看 | 激情文学网伊人| 伊人96在线| 国产中文大片资源中文字幕| 日韩伦理久 久久 清纯| 91无码精品| 黄网色一区二区三区四区精品| 国精综合一二三区影视| 中文久久| 国产亚洲色婷婷久久99精品91葵花宝典 | 日本Suv精品一区二区| 播播亚洲小说亚洲| 一区二区国产视频在线观看| 玖玖爱在线视频免费观看| 六月婷婷综合| 欧美综合综合| 精品国产乱码久久久| 天天搞在线综合网| 日韩精品操少妇| 亚洲无码超碰免费| 欧美一二三区四五区| 久久综合九色综合欧洲98| av中文字幕在线熟女| 欧美宗合色| 久久国产视频性吧 | 色婷婷香蕉| 综合网亚| 久久久久久久久999| 国产 日韩 另类 视频一区爱| 我中文字幕6区 | 精精品人妻一区二区三区| 欧美一级色| 大香蕉淫人| 伊色综合天堂色97| 欧美岛国精品在线观看| 青青草黑寡妇男人天堂| 中文字幕乱码人妻二区三区| 日本超碰97日韩精品人妻| 性爱Av免费| 欧美在线综合| av九九| 夜夜夜夜久久久久| 国产福利av精彩对白| 91操熟女视频 | 国产美女高潮视频| 超碰成人国产| 9久热这里只有精品| 久久婷婷国产一区二区色| 波多野结衣之双飞调教在线播放| 日逼五月天| 亚洲最新a在线观看| 快播电影网日韩新片| 翘臀vidoes| 黄色电影在线播放综合网站| 91熟女.com| 久久性爱视频| 黄人人操人人操| 2003天天干夜夜操| 亚州色图第三区| 久久久一区二区三区三州| 欧美丝袜美女电影一二三四区| 99超级碰免费视频| 亚洲影院无码在线| 台湾佬中文娱乐网久久久久久久久久com | 日逼视频日本| 夜夜高潮夜夜爽夜夜爱爱一区| 夜夜操老骚逼视频网站| 欧美日韩国产高清在线一二三区| 蜜臀AV一区二区三区| 日韩AV一区二区三区三州三州| 久久成人国产| 黄色AV影视| 不卡av在线中文字幕| 亚洲97资源| 国产亚洲欧洲在线观看| 免费一级欧美片片线观看| 国产欧美在线观看免费观看| 天天爱综合网| 玖玖爱综合| 午夜色婷婷| 天天插夜夜操| 国产精品福利视频| 欧美精品,四区。五区| 亚洲AV免费在线观看| 国产精品久久久久久片| 26uuu最新| 一区二区三区男人的天堂| 精品人妻夜夜草| 婷婷色导航| 波多野结衣先锋影音| 亚洲男人天堂网| 蜜臀网址在线| 日本中文字幕一区| 日本一二区免费| 九九性视频| 成人美女av| 日本三级A片网站com| 亚洲天天操| 欧美丝袜91| 天操天操夜操夜月操月年年操操| 一区二区 日韩 欧美 国产 传媒| 东京热亚洲一区二区| 日韩中文字幕在线视频观看| 国产精品麻豆免费视频| 国产精品美女视频诱惑| 啪啪啪综合| 蜜桃午夜视频一区二区| 98福利在线视频| 亚洲揄拍网| 欧美综合加勒比在线| 理论久久婷婷网 8| 欧美成人精品A片免费一区99| 欧美激情中文字幕另类小说| 午夜无遮挡男女啪啪视频| 无遮挡男女激烈动态图| 国产传媒日韩欧美| 国产精品网址| 91色花堂| 综合一区二区影视| 麻豆人妻少妇在线免费观看| 亚洲欧美中日韩| 日本三级小说中文字幕| 1024亚洲中文字幕久在线看片你懂的| 五月花婷婷| 性爱综合网| 99无码精品| 天天爱天天韩国日本牛牛牛牛 | 伊人激情| 青娱乐999| 久久久久久久久久久久97 | 国产精品久久久久无码Av网曝门| 在线97视频| 国产精品久久久啊| 大香伊人在线一区| 97久久精品亚洲中六字幕| 日韩人妻网站| 天天看高清麻豆| 啊啊啊啊好疼视频| 妇女乱色二区| 另类欧美色| 激情五月天中文字幕色| 粉嫩av平台| 日韩在线一区高清在线| 国岛片视频| 在线国产探花| 91在线页| 五月丁香在线| 婷婷五月花| 欧美日韩淫加| 亚洲熟女一区| 亚州高清AV| 国产精品九九九| 国产日韩欧美操逼视频| 国产女人操逼视频| 色婷婷小说| 色女99一级片在线观看| av东京热男人的天堂| 欧美瑟综合| 成·人免费午夜在线观看| 黄色操人| 一区不卡在线观看av| 成人一道本免费视频| 午夜欧美女人操逼| 欧美午夜精品久久久久久超碰| 91新在线欧美| 97精品人妻一二三四| 精品久久久av无码免费| 少妇高潮对白在线观看| 久久久久久久人妻| 97天天操天天干| 亚洲色婷婷综合久久久久中文| 国产在线视频午夜精华在| 亚洲 一区二区 自拍| 中亚精品极乱| 欧美一级专区免费大片| 久久区| 亚洲一区二区三区不卡国产欧美| 婷婷av在线中文字幕| 国产动漫操逼视频| 自拍欧美| 啊啊啊啊啊啊啊在线| 97操97干| 97久久精品| 欧美日日操| 国模限制级电影| 亚洲一二三四区在线免费看视频| 亚洲欧洲激情卡通另类文学四射小说网站 | 国产怡红院| 成人开心网在线视频| 国产午夜福利电影免费在线观看| 国产日韩欧美三级片| 男生女生啊啊啊啊| 亚洲男人天堂AV| 日本色色色视频| 中文在线久久字幕| 综合色一区三区二区| 国产av美女被艹的乱叫| 夜夜嗷嗷一区二区| 九九天堂| 偷拍在线观看视频| 久久线上视频免费看| 插穴性爱视频在线观看| 观看视频图片一区二区三区| 91天天综合日韩欧美| 中文字幕 国产区| 97精品国产精品免费观看| 热思思免费视频| 天天摸,夜夜摸| 96超碰网| 亚洲图片色图欧美另类| 九热视频| 日韩 成人 有码| 综合色一区三区二区| 丁香六月婷婷综合| 亚洲AV不卡在线观看| 黄在线| 高树玛利亚无码流出| 亚洲色图第一页| 国产白嫩漂亮KTV在线| 97爱b| 国产精品精品系列在线观看| 天天视频综合在线观看视频| 91 丝袜在线观看| 亚洲囯产精品女人久久久| 自拍二页| 国产成人在线观看网址| 人妻少妇av在线观看| 国产成人啪一区二区| a级成人毛片免费视频高清| 色九九综合AV| 国产亚洲精品玖玖玖在线观看| 搡老女人老91妇女熟女| 久久三| 久久久国产精品亚洲精品| 久久久999| 中文字幕精品人妻丝袜| 乱伦日本中文自拍| 久久av网| 亚洲综合第一页| 天天做天天爱天天爽| 欧美91变态| 偷拍 精品 另类 四区| 欧州一区二区三区四区| 久久夜嗨| 人人操人人爽人人操人人| 精品超碰中文在线| 久久久久亚洲Av无码专区老牛影视| 美女啊啊啊啊pc| 久久受www免费人成| 69丨亚洲丨精品丨入口免费播放| 超碰成人国产| 啊啊啊免费| 国产AV天美| 亚洲精品第一| 91 丝袜在线播放| 婷婷五月天久久精品视频一区二区三区 | 日日操夜夜操天天操免费观看麻豆| 久久免费精品96| 日韩,欧美,中文在线| 亚洲第一页色网| 久久久久9久久久久| 少妇人妻好深太紧了vr91| 941超碰| 乱欲一区二区| 日韩欧美偷拍美女视频| 国产乱伦性爱AV| 91天天看| 91人人看| 97天天| 天天爽天天爽| 999精品久久久久久久| 欧美日韩婷婷中文| 久草五月| 亚洲色图图片| 污到发麻的视频 国产| 夜嗨影院| 色噜噜人妻av中文字幕| 五月丁香啪啪| 亚洲一区二区三区不卡国产欧美| 女人18精品一区二区三区| 又大又黄国产| 亚洲国产午夜真人一级片中文字幕精品黄网站| 女生看匆91网站| 小明看看网址| 欧美日韩高潮喷水91| 手机在线播放国产福利| 色97干| 撸撸成人在线视频| 在线观看亚洲专区| 免费精品无码一级毛片牛牛影视 | 日本一级真人黄色性爱视频| 九色 人妻 大香蕉| 国产一区二区av综合| 无遮挡男女激烈动态图| 九九热只有精品| 欧美亚洲涩涩| 欧美老熟另类| 97人人操人人干| av网页一区二区三区| 人妻另类 专区 欧美 制服| 精品少妇一区二区| 97超碰这里只有精品| 97硬碰| 91操操| 97免费在线| 男人精品天堂一区| 啊啊啊好湿久久| 欧美亚洲国内自拍| 啪啪啪综合网| 日本亚洲熟女视频| 亚洲精品国产熟女久久久久久| 韩国一级做a久久久久| 欧美亚洲首页| 久久久精品九| 亚洲久久东京热一二三四五区视频| 精品十三区| AV天堂电影网| 嗯嗯,啊啊,国产精品| 99热这里| 激情网色| 久九九九九九九九热| 亚洲美女 晚间男人天堂 | 91综合天天看| 天欧美在线| 久久精品成人一区二区三区蜜臀| 97日视频| 国产亚洲人妻综合日韩 久久| 乱伦Av网| A级片日韩欧美国产欧美视频精选观看| 青青草华人在线欧美在线| 亚洲十八禁止| 97免费视频在线观看视频| 少妇精品久久久| 蜜桃一区二区三区| 亚洲综合贴图91| 嗯嗯啊啊啊啊轻点视频| 屁股久久久久久久久| 91久久久久久久| 天天日熟妇| 毛片99-全集电影手机免费观看完整-B029AV | 欧美色一二三| 欧洲与亚洲欧美精品中文字幕| 亚洲男人的天堂AV| 国产精品电影推荐|