久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux下Tomcat開(kāi)機(jī)自啟:systemd配置與排障全指南

Linux下Tomcat開(kāi)機(jī)自啟:systemd配置與排障全指南 如果你手頭有一臺(tái)跑著生產(chǎn)業(yè)務(wù)的 Linux 服務(wù)器上面部署了 Tomcat那你大概率經(jīng)歷過(guò)這種時(shí)刻機(jī)房斷電、服務(wù)器自動(dòng)重啟或者運(yùn)維例行升級(jí)內(nèi)核 reboot 之后同事過(guò)來(lái)說(shuō)“網(wǎng)站打不開(kāi)了”。SSH 上去一看MySQL、Nginx 都活著唯獨(dú) Java 進(jìn)程沒(méi)了——Tomcat 沒(méi)有開(kāi)機(jī)自啟。后來(lái)我專門整理過(guò)一套在 linux 上設(shè)置 tomcat 開(kāi)機(jī)啟動(dòng)的完整方法才把這件回頭看并不復(fù)雜、踩坑時(shí)卻相當(dāng)折磨人的事徹底理順。這篇內(nèi)容適合手里有 Linux 服務(wù)器、用 Tomcat 跑著 Java Web 項(xiàng)目、且經(jīng)受不起下次重啟后服務(wù)靜默消失的開(kāi)發(fā)或運(yùn)維朋友。文章不會(huì)只給你一段能用的配置我會(huì)把方案選型、單元文件每個(gè)參數(shù)的作用、驗(yàn)證方式、常見(jiàn)坑的完整排查鏈路以及配套的 JVM 參數(shù)、日志切割、多實(shí)例部署這些細(xì)節(jié)一并講清楚。1. 為什么 Linux 服務(wù)器上的 Tomcat 必須配置開(kāi)機(jī)自啟1.1 先說(shuō)一個(gè)讓我凌晨爬起來(lái)加班的場(chǎng)景我印象特別深有一年某個(gè)測(cè)試環(huán)境因?yàn)闄C(jī)房變更要重啟一臺(tái)老應(yīng)用服務(wù)器上面跑著 Tomcat 8.5 和幾個(gè)客戶對(duì)接用的 JSP 系統(tǒng)。重啟完成、網(wǎng)絡(luò)通了之后用客戶端工具一連——接口直接報(bào)連接超時(shí)。SSH 上去看Memcached 是起的Nginx 是起的唯獨(dú)java進(jìn)程一個(gè)都看不到Tomcat 壓根沒(méi)有跟著系統(tǒng)起來(lái)。當(dāng)時(shí)這臺(tái)機(jī)器的 Tomcat 是同事手動(dòng)startup.sh拉起來(lái)的配置里也沒(méi)有任何開(kāi)機(jī)自啟的邏輯。更要命的是沒(méi)人記得具體配置細(xì)節(jié)JAVA_HOME、CATALINA_BASE 全靠/etc/profile里的環(huán)境變量撐腰。我后來(lái)花了大半夜把環(huán)境全部摸了一遍才意識(shí)到配置 Tomcat 開(kāi)機(jī)啟動(dòng)這件事不只是寫一行命令那么簡(jiǎn)單它需要把啟動(dòng)方式、環(huán)境變量、用戶權(quán)限、服務(wù)依賴全部理順。從那以后我在任何一臺(tái)要長(zhǎng)期跑 Tomcat 的 Linux 機(jī)器上做的第一件事就是先把開(kāi)機(jī)自啟搞定。1.2 開(kāi)機(jī)自啟的三種主流方案先做個(gè)了斷到目前為止我在不同年代、不同發(fā)行版的機(jī)器上實(shí)際用過(guò)的方案主要有三種方案原理適用場(chǎng)景維護(hù)成本systemd 服務(wù)單元通過(guò)/etc/systemd/system/tomcat.service聲明服務(wù)由 systemd 托管生命周期當(dāng)前幾乎所有主流發(fā)行版CentOS 7、Debian 8、Ubuntu 15低管理命令統(tǒng)一SysV init 腳本在/etc/init.d/放腳本通過(guò)update-rc.d或chkconfig注冊(cè)老系統(tǒng)、最小化容器、嵌入式環(huán)境中依賴順序全手動(dòng)crontab reboot用戶 crontab 里寫reboot /path/startup.sh臨時(shí)性、實(shí)驗(yàn)性環(huán)境低但服務(wù)狀態(tài)和重啟策略幾乎沒(méi)有我見(jiàn)過(guò)不少生產(chǎn)環(huán)境的服務(wù)器還在用第三種方式就是reboot掛一條啟動(dòng)命令。你說(shuō)它不行它確實(shí)能在重啟后把 Tomcat 拉起來(lái)。但問(wèn)題在于沒(méi)有服務(wù)狀態(tài)管理如果想用systemctl查狀態(tài)、自動(dòng)重啟、看失敗次數(shù)、做資源隔離它什么都給不了。而且reboot的 cron 任務(wù)經(jīng)常踩環(huán)境變量坑——crontab 的執(zhí)行環(huán)境不是登錄式 Shell/etc/profile里定義的 JAVA_HOME 它根本讀不到啟動(dòng)一個(gè)失敗一個(gè)。SysV init 腳本在 CentOS 6 時(shí)代是絕對(duì)主力我現(xiàn)在也還會(huì)遇到基于老鏡像的機(jī)器。它的邏輯就是啟動(dòng)時(shí)按 rc.d 里的腳本順序調(diào)用#!/bin/sh從頭寫一套 start/stop/restart 邏輯還要考慮鎖文件、PID 文件。能用但確實(shí)繁瑣而且很多長(zhǎng)期沒(méi)人維護(hù)的 init 腳本里連注釋都過(guò)期了。1.3 為什么我最終把生產(chǎn)環(huán)境的 Tomcat 全部切到 systemd如果機(jī)器發(fā)行版支持 systemd我的建議非常直接別折騰其他方案直接用 systemd。理由不復(fù)雜就三條。第一服務(wù)狀態(tài)可觀測(cè)。systemctl status tomcat看到的是active (running)、activating、failed這些明確狀態(tài)結(jié)合journalctl -u tomcat能看到服務(wù)日志定位速度比在/var/log/tomcat/里翻半天快得多。第二依賴和資源控制原生支持。我可以聲明Afternetwork.target等網(wǎng)絡(luò)就緒也可以設(shè)置MemoryLimit、CPUQuota對(duì) Tomcat 這種占內(nèi)存大頭、容易出現(xiàn)內(nèi)存泄漏的 Java 進(jìn)程這是實(shí)實(shí)在在的護(hù)欄。第三失敗重啟策略。Restarton-failure加上RestartSec讓 Tomcat 意外退出后自動(dòng)拉起。相比在 crontab 里反復(fù)跑pgrep去判斷進(jìn)程存在與否systemd 的處理方式又干凈又可靠?,F(xiàn)在主流發(fā)行版幾乎都跑 systemd所以下面的配置全部圍繞 systemd 展開(kāi)同時(shí)穿插說(shuō)明一些老方案里的對(duì)應(yīng)做法。2. 手把手把 Tomcat 配成 systemd 開(kāi)機(jī)自啟服務(wù)2.1 動(dòng)手前先體檢目錄、賬號(hào)、路徑這三個(gè)事別跳過(guò)配置前我會(huì)先確認(rèn)三件事任何一件沒(méi)確認(rèn)清楚后面都會(huì)回來(lái)找麻煩。第一JDK 的真實(shí)路徑。在命令行里執(zhí)行which java readlink -f $(which java)后一條命令會(huì)把/usr/bin/java這類軟鏈接一路解析到真實(shí)路徑比如/usr/local/java/jdk-17/bin/java那 JAVA_HOME 就是/usr/local/java/jdk-17。千萬(wàn)別想當(dāng)然寫成/usr/lib/jvm/...以readlink解析出來(lái)的為準(zhǔn)。第二Tomcat 安裝目錄和版本。通常我會(huì)用/usr/local/tomcat作為 CATALINA_HOME。要注意目錄里有沒(méi)有完整的bin、conf、lib結(jié)構(gòu)缺少文件大概率是以前解壓到一半或者路徑被改過(guò)??梢詧?zhí)行/usr/local/tomcat/bin/version.sh看版本前提是 JAVA_HOME 已經(jīng)在當(dāng)前 Shell 導(dǎo)出。第三運(yùn)行賬號(hào)。強(qiáng)烈建議不要用 root 直接跑 Tomcat。一旦進(jìn)程被利用或者 war 包出問(wèn)題root 權(quán)限的 Java 進(jìn)程會(huì)造成更大的麻煩。我通常新建一個(gè)系統(tǒng)用戶useradd -r -s /bin/false tomcat chown -R tomcat:tomcat /usr/local/tomcat-r表示系統(tǒng)賬戶-s /bin/false讓它無(wú)法交互登錄對(duì) Tomcat 運(yùn)行來(lái)說(shuō)足夠。大家常問(wèn)的“Tomcat 啟動(dòng)閃退”有相當(dāng)一部分就是目錄權(quán)限不對(duì)啟動(dòng)腳本寫不了日志或 PID 文件導(dǎo)致進(jìn)程退出。2.2 寫一個(gè)能打的 tomcat.service 單元文件在/etc/systemd/system/tomcat.service創(chuàng)建文件這是 systemd 管理 Tomcat 的入口。我先把一份經(jīng)過(guò)生產(chǎn)驗(yàn)證的配置完整貼出來(lái)再做逐行解釋。[Unit] DescriptionApache Tomcat 9 Web Application Container Afternetwork.target Wantsnetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentJAVA_HOME/usr/local/java/jdk-17 EnvironmentCATALINA_HOME/usr/local/tomcat EnvironmentCATALINA_BASE/usr/local/tomcat EnvironmentCATALINA_PID/usr/local/tomcat/logs/tomcat.pid PIDFile/usr/local/tomcat/logs/tomcat.pid ExecStart/usr/local/tomcat/bin/startup.sh ExecStop/usr/local/tomcat/bin/shutdown.sh Restarton-failure RestartSec10 TimeoutStartSec60 TimeoutStopSec30 [Install] WantedBymulti-user.target這個(gè)文件里的[Unit]部分描述服務(wù)是什么、啟動(dòng)順序上的依賴[Service]部分是核心定義了進(jìn)程類型、用哪個(gè)用戶運(yùn)行、執(zhí)行什么腳本[Install]段決定了它掛載到哪個(gè)啟動(dòng)目標(biāo)multi-user.target表示這臺(tái)機(jī)器進(jìn)入正常的非圖形化運(yùn)行級(jí)別時(shí)啟動(dòng)。2.3 單元文件里這些參數(shù)每一行都在解決什么問(wèn)題很多人習(xí)慣網(wǎng)上復(fù)制一份配置能用就行出了問(wèn)題就完全不知道往哪里看。我建議把幾個(gè)關(guān)鍵參數(shù)吃透。Typeforking。Tomcat 的startup.sh啟動(dòng) Java 進(jìn)程后會(huì)立即返回退出真正的 Tomcat 主進(jìn)程是被 fork 出來(lái)的子進(jìn)程所以對(duì) systemd 來(lái)說(shuō)必須聲明Typeforking。如果不聲明或聲成simplesystemd 會(huì)把短暫駐留的啟動(dòng) Shell 當(dāng)成主服務(wù)導(dǎo)致?tīng)顟B(tài)判斷完全錯(cuò)亂。PIDFile 與 CATALINA_PID。systemd 需要跟蹤 Tomcat 實(shí)際主進(jìn)程的 PID 來(lái)管理它。Tomcat 自身通過(guò) CATALINA_PID 來(lái)寫 PID 文件。單元文件里我把 PID 指向/usr/local/tomcat/logs/tomcat.pid。這里有一個(gè)非常典型的坑很多發(fā)行版默認(rèn) Tomcat 配置里沒(méi)有導(dǎo)出 CATALINA_PID啟動(dòng)時(shí)根本沒(méi)有 PID 文件可讀systemd 在 stop 和 status 時(shí)的判斷會(huì)對(duì)不上。解決辦法就是顯式在服務(wù)里設(shè)置同時(shí)寫上PIDFile讓 systemd 知道去哪里讀。Environment。這一步我要特別強(qiáng)調(diào)。systemd 通過(guò)ExecStart啟動(dòng)的服務(wù)不會(huì)讀取/etc/profile、~/.bashrc這些 Shell 初始化文件。不少人的 Tomcat 平時(shí)手動(dòng)啟動(dòng)沒(méi)問(wèn)題一配 systemd 就報(bào)JAVA_HOME is not defined correctly十有八九是這個(gè)原因。所以我把 JAVA_HOME、CATALINA_HOME、CATALINA_PID 統(tǒng)統(tǒng)用 Environment 寫進(jìn)去不依賴任何全局 Shell 變量。After / Wants。Afternetwork.target表示網(wǎng)絡(luò)目標(biāo)完成后才會(huì)啟動(dòng) Tomcat避免在網(wǎng)絡(luò)接口沒(méi)有就緒時(shí)就去綁定端口。如果你的項(xiàng)目強(qiáng)依賴數(shù)據(jù)庫(kù)或 Redis也可以追加Aftermysql.service之類的聲明。注意After不產(chǎn)生啟動(dòng)依賴它只是順序約束要用Requires或Wants來(lái)真正拉起依賴服務(wù)最常見(jiàn)的組合就是Wants...加After...。Restart 策略。Restarton-failure搭配RestartSec10進(jìn)程異常退出時(shí) 10 秒后自動(dòng)重試。on-failure只處理非正常狀態(tài)如果你自己調(diào)systemctl stop tomcat它不會(huì)去重啟這也是我推薦這個(gè)值的原因。TimeoutStopSec。Tomcat 關(guān)閉時(shí)可能要優(yōu)雅停掉應(yīng)用和連接池時(shí)間給太短會(huì)被 systemd 強(qiáng)殺。我設(shè)了 30 秒大多數(shù) Web 應(yīng)用足夠。如果線上應(yīng)用有長(zhǎng)事務(wù)、連接池回收慢可以再調(diào)大一點(diǎn)。2.4 啟用自啟、驗(yàn)證生效一次做過(guò)配置寫完以后執(zhí)行systemctl daemon-reload systemctl enable tomcat systemctl start tomcat每次修改 service 文件必須重新執(zhí)行daemon-reload這是新手最容易漏掉的動(dòng)作。enable會(huì)在/etc/systemd/system/multi-user.target.wants/下生成符號(hào)鏈接下次開(kāi)機(jī)時(shí)自動(dòng)啟動(dòng)start是立即啟動(dòng)并不是必須和enable一起執(zhí)行但先手動(dòng)啟動(dòng)一次能盡早發(fā)現(xiàn)配置錯(cuò)誤。啟動(dòng)后一定要做到驗(yàn)證閉環(huán)systemctl status tomcat systemctl is-enabled tomcat ss -lntp | grep 8080 curl -sI http://127.0.0.1:8080 | head -n 3如果看到enabled、狀態(tài)是active (running)、8080 端口監(jiān)聽(tīng)正常這一步就完成了。我自己的習(xí)慣還會(huì)再補(bǔ)一句journalctl -u tomcat -n 50 --no-pager確認(rèn)日志沒(méi)有異常然后找個(gè)時(shí)間真正 reboot 一次驗(yàn)證自啟——這一步必須有下面會(huì)解釋為什么。3. 配置自啟途中踩過(guò)的坑和完整排查鏈路3.1 環(huán)境變量丟失systemd 說(shuō)這不是它的鍋癥狀很典型手動(dòng)執(zhí)行startup.sh一切正常systemctl start tomcat后過(guò)幾秒狀態(tài)變成failedjournalctl -u tomcat里能看到類似Neither the JAVA_HOME nor the JRE_HOME environment variable is defined At least one of these environment variable is required to run this program原因就是我前面說(shuō)的systemd 啟動(dòng)的進(jìn)程不加載 Shell 環(huán)境文件。很多教程讓你把 JAVA_HOME 寫進(jìn)/etc/profile這只會(huì)影響交互式 Shell不會(huì)影響 systemd。排查鏈路按順序走systemctl show tomcat -p Environment看 systemd 實(shí)際傳給進(jìn)程的環(huán)境變量。如果沒(méi)有 JAVA_HOME去單元文件里補(bǔ)上EnvironmentJAVA_HOME...絕對(duì)路徑以readlink -f $(which java)解析出來(lái)的為準(zhǔn)。XShell 里敲的java -version能用不代表 Tomcat 腳本能用腳本看的是 JAVA_HOME/JRE_HOME不是 PATH 里的 java 命令。3.2 PID 文件缺失狀態(tài)一直卡在 activating有一個(gè)場(chǎng)景我遇到不止一次Tomcat 其實(shí)已經(jīng)起來(lái)了8080 端口也在監(jiān)聽(tīng)業(yè)務(wù)能通但systemctl status顯示的卻是activating (start-pre)或者反復(fù)failed用systemctl stop還停不下來(lái)。根因基本可以鎖定在 PID 文件上。Typeforking加 PIDFile 時(shí)systemd 會(huì)用 PID 文件里的主進(jìn)程號(hào)來(lái)判斷服務(wù)是否成功啟動(dòng)。如果 CATALINA_PID 沒(méi)有導(dǎo)出startup.sh 不寫 PID 文件或者寫的路徑進(jìn)程沒(méi)權(quán)限寫就會(huì)卡在狀態(tài)判斷上。排查方式ls -l /usr/local/tomcat/logs/tomcat.pid cat /usr/local/tomcat/logs/tomcat.pid如果沒(méi)有這個(gè)文件檢查單元文件里 CATALINA_PID 是否配置如果文件存在但權(quán)限是 root檢查chown -R tomcat:tomcat /usr/local/tomcat因?yàn)?Tomcat 運(yùn)行用戶寫不了這個(gè)文件同樣會(huì)導(dǎo)致 systemd 狀態(tài)不對(duì)。SELinux 開(kāi)啟時(shí)如果目錄上下文不對(duì)也可能拒絕寫權(quán)限這個(gè)下面單獨(dú)說(shuō)。3.3 啟動(dòng)閃退排查先在前臺(tái)跑一次 catalina.sh配了自啟之后閃退日志往往被 systemd 收走反而不如直接前臺(tái)啟動(dòng)看得快。排查閃退我最順手的動(dòng)作是把 Tomcat 開(kāi)到前臺(tái)sudo -u tomcat /usr/local/tomcat/bin/catalina.sh runcatalina.sh run是前臺(tái)運(yùn)行日志直接打到終端報(bào)錯(cuò)一眼能看到。常見(jiàn)閃退原因端口被占用。ss -lntp | grep 8080看是不是別的服務(wù)占著或上一次啟動(dòng)的殘留進(jìn)程占著端口。war 包解壓失敗、webapps 下的應(yīng)用啟動(dòng)異常導(dǎo)致線程啟動(dòng)時(shí)報(bào)錯(cuò)退出。內(nèi)存不足或 JVM 參數(shù)非法比如-Xmx設(shè)置超出物理內(nèi)存啟動(dòng)直接報(bào)Could not reserve enough bytes for object heap。系統(tǒng)服務(wù)對(duì)進(jìn)程數(shù)量、文件句柄有限制journalctl -u tomcat里能看到句柄耗盡的跡象。定位到根因后按對(duì)應(yīng)的方式改配置改完再systemctl start tomcat驗(yàn)證。不要反復(fù)無(wú)腦重啟日志不會(huì)騙人。3.4 端口能通但外網(wǎng)訪問(wèn)不了防火墻與 SELinux 兩個(gè)兄弟自啟配好了本機(jī) curl 127.0.0.1:8080 有響應(yīng)外面怎么都訪問(wèn)不到這時(shí)候要懷疑防火墻和 SELinux。firewalld 在 CentOS/RHEL 系機(jī)器上默認(rèn)可能攔截了外部到 8080 的訪問(wèn)firewall-cmd --permanent --add-port8080/tcp firewall-cmd --reloadSELinux 則是另一個(gè)容易忽略的環(huán)節(jié)。Tomcat 安裝到非標(biāo)準(zhǔn)目錄后進(jìn)程寫日志、寫臨時(shí)文件可能被 SELinux 策略擋住。先看當(dāng)前模式getenforce如果是Enforcing可以用restorecon -RF /usr/local/tomcat恢復(fù)目錄的 SELinux 上下文如果 Tomcat 確實(shí)需要連接外部網(wǎng)絡(luò)或端口可能需要設(shè)置對(duì)應(yīng)的 boolean。這里不展開(kāi)講 SELinux 策略撰寫但要記住遇到進(jìn)程行為異常、日志中帶著Permission denied又說(shuō)不清權(quán)限問(wèn)題時(shí)八成和 SELinux 有關(guān)。注意不建議圖省事直接在生產(chǎn)上永久關(guān)閉 SELinux。造成的問(wèn)題應(yīng)該用策略去解決頂多臨時(shí)setenforce 0驗(yàn)證確認(rèn)后再定位是哪條策略。3.5 journalctl 里最值得記住的五類關(guān)鍵線索配自啟的排查基本繞不開(kāi)journalctl -u tomcat我總結(jié)過(guò)幾類最常出現(xiàn)的日志線索看到就知道往哪里查日志線索指向的問(wèn)題JAVA_HOME is not defined環(huán)境變量沒(méi)配置或路徑不對(duì)去 [Service] 段補(bǔ) Environmentpid file write failedPID 文件路徑不可寫檢查目錄權(quán)限、SELinux 上下文Address already in use端口被占用找占用進(jìn)程或改 server.xml 端口Broken pipe、Connection reset通常是反向代理/防火墻/長(zhǎng)連接資源問(wèn)題優(yōu)先看 Nginx 和網(wǎng)絡(luò)側(cè)OutOfMemoryError、GC overhead limit exceededJVM 或堆內(nèi)存不足調(diào) CATALINA_OPTS每次排查都從日志入手按鏈路一層層往下通常能比東翻西找快一半時(shí)間。4. 開(kāi)機(jī)自啟配好之后順手把這些運(yùn)維細(xì)節(jié)也安排上4.1 JVM 參數(shù)放哪最干凈用 setenv.sh 而不是硬塞 service設(shè)置好自啟之后很多人會(huì)問(wèn)我想調(diào) JVM 堆內(nèi)存、GC 參數(shù)怎么辦兩個(gè)選擇一是全部懟在 service 文件的 Environment 里二是在/usr/local/tomcat/bin/下創(chuàng)建setenv.sh。Tomcat 每次啟動(dòng)都會(huì)自動(dòng)加載bin/setenv.sh里導(dǎo)出的環(huán)境變量。這是官方預(yù)留的擴(kuò)展機(jī)制比在 systemd 單元文件里寫一長(zhǎng)串 Environment 干凈得多也更方便維護(hù)。我通常在 setenv.sh 里寫export CATALINA_OPTS-Xms512m -Xmx2048m -XX:MetaspaceSize256m -XX:UseG1GC -XX:HeapDumpOnOutOfMemoryError注意兩個(gè)變量的區(qū)別CATALINA_OPTS只作用于 Tomcat 啟動(dòng)的 JVM不影響它內(nèi)部的輔助工具JAVA_OPTS會(huì)作用于所有基于 Java 的進(jìn)程包括啟動(dòng)腳本里的輔助程序。針對(duì) Tomcat 的堆和 GC 配置優(yōu)先用 CATALINA_OPTS。修改 setenv.sh 后不用重寫 servicesystemctl restart tomcat即可生效這個(gè)先后順序建議固定下來(lái)。4.2 catalina.out 無(wú)限增長(zhǎng)一個(gè) logrotate 配置解決Tomcat 的catalina.out會(huì)越滾越大尤其線上打了大量訪問(wèn)日志或異常棧時(shí)一個(gè)季度漲到幾個(gè) GB 很常見(jiàn)。有些項(xiàng)目把日志輸出在 catalina.out 里不處理遲早拖垮磁盤。我在生產(chǎn)上通常用 logrotate 做每日切割配置放在/etc/logrotate.d/tomcat/usr/local/tomcat/logs/catalina.out { daily rotate 7 copytruncate compress missingok notifempty }這里最需要注意的參數(shù)是copytruncate。因?yàn)?Java 進(jìn)程一直持有 catalina.out 這個(gè)文件句柄直接mv重命名會(huì)導(dǎo)致 Tomcat 繼續(xù)寫舊句柄肉眼看到的是日志“消失”實(shí)際磁盤空間沒(méi)釋放。copytruncate先復(fù)制再清空原文件雖然極端情況下會(huì)丟一點(diǎn)點(diǎn)新日志但比重啟 Tomcat 去切日志劃算得多。4.3 多實(shí)例部署用模板化 service 文件省一半配置如果一臺(tái)服務(wù)器上要跑多個(gè) Tomcat 實(shí)例比如按項(xiàng)目名隔離的web1、web2完全不需要為每個(gè)實(shí)例各寫一份 service 文件。systemd 支持模板單元tomcat.service通過(guò)%i引用實(shí)例名[Unit] DescriptionTomcat instance %i Afternetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentCATALINA_HOME/opt/tomcat-appserver EnvironmentCATALINA_BASE/opt/tomcat-%i EnvironmentCATALINA_PID/opt/tomcat-%i/logs/tomcat.pid PIDFile/opt/tomcat-%i/logs/tomcat.pid ExecStart/opt/tomcat-appserver/bin/startup.sh ExecStop/opt/tomcat-appserver/bin/shutdown.sh Restarton-failure [Install] WantedBymulti-user.target然后一行命令注冊(cè)并啟動(dòng)對(duì)應(yīng)實(shí)例systemctl enable tomcatweb1 systemctl start tomcatweb1需要注意多實(shí)例場(chǎng)景里CATALINA_HOME可以共用一份 Tomcat 程序但CATALINA_BASE必須每個(gè)實(shí)例各自獨(dú)立conf/、webapps/、logs/、temp/放在各自的 BASE 目錄下。這會(huì)讓自啟配置的復(fù)雜度大大下降也方便后續(xù)單獨(dú)重啟某個(gè)實(shí)例而不影響其他應(yīng)用。4.4 升級(jí) Tomcat 版本時(shí)自啟配置怎么平滑過(guò)渡Tomcat 大版本升級(jí)時(shí)最容易踩的雷就是解壓新版到新目錄然后忘了改自啟單元文件里指向 CATALINA_HOME 的路徑重啟回來(lái)發(fā)現(xiàn)啟動(dòng)的還是老版本。我的做法一般是先用軟鏈接固定路徑ln -s /usr/local/tomcat-9.0.85 /usr/local/tomcatservice 文件里始終只寫/usr/local/tomcat升級(jí)時(shí)解壓新版目錄停服務(wù)換軟鏈接指向再啟動(dòng)。如果出問(wèn)題就回退軟鏈接整個(gè)過(guò)程可逆可控。升級(jí)前記得備份conf/server.xml、conf/web.xml和webapps下需要保留的業(yè)務(wù)應(yīng)用。Tomcat 10 把javax.*換成jakarta.*的兼容差異比較大升級(jí)時(shí)要么代碼同步遷移要么先確認(rèn)業(yè)務(wù)是否接受這個(gè)改動(dòng)。4.5 順便提一句安全加固manager 后臺(tái)別裸奔很多網(wǎng)站在 Tomcat 配置完成后conf/tomcat-users.xml里寫死了一個(gè)manager-gui角色賬號(hào)用于后臺(tái)部署 war 包。我的建議是兩步走一是 manager 相關(guān)角色盡量不開(kāi)放公網(wǎng)訪問(wèn)至少在防火墻層或 Nginx 層限制來(lái)源 IP二是如果確實(shí)需要遠(yuǎn)程管理配合 Tomcat 的 Valve 配置做來(lái)源地址白名單而不要只靠一個(gè)弱口令頂著。這個(gè)不屬于自啟范圍但既然聊到線上的 Tomcat順手提醒總比出了安全事件再補(bǔ)要省心。5. 我總結(jié)的幾個(gè)實(shí)操習(xí)慣照著做能少走很多彎路配置和排障都講完了最后分享幾個(gè)我自己養(yǎng)成的習(xí)慣都是踩過(guò)坑后留下的。第一配置完自啟后一定要找時(shí)間重啟一次機(jī)器驗(yàn)證。很多人配完enable就覺(jué)得萬(wàn)事大吉等真重啟才發(fā)現(xiàn)某個(gè)依賴順序或環(huán)境變量在純引導(dǎo)環(huán)境里根本不生效。重啟后確認(rèn)進(jìn)程在、端口在、systemctl status是 active才算完成閉環(huán)。第二每次都先daemon-reload再改狀態(tài)。改 service 文件卻不 reloadsystemd 仍在用舊配置這會(huì)浪費(fèi)大量時(shí)間。我自己的流程是改完文件 →systemctl daemon-reload→systemctl restart tomcat→journalctl -u tomcat -n 30收尾。第三寫文檔比記憶可靠。Tomcat 版本、JAVA_HOME 路徑、實(shí)例名、端口、依賴關(guān)系這些信息散落在不同人腦子里最危險(xiǎn)。我會(huì)在機(jī)器上放一個(gè)/etc/systemd/system/README-tomcat.txt或者同步到私有維基記錄每次變更前后的狀態(tài)和原因下次不管誰(shuí)接手都能快速接上。第四盡量用 systemd 統(tǒng)一管理減少“手藝人腳本”。手寫 shell 腳本輪詢進(jìn)程、在 rc.local 里追加啟動(dòng)命令這些方式應(yīng)急時(shí)可以但長(zhǎng)期維護(hù)下來(lái)狀態(tài)不可觀測(cè)、失敗不自愈的代價(jià)會(huì)越來(lái)越高。把 Tomcat、Nginx、MySQL 這些服務(wù)通通納入 systemd 視角后一條命令就能看清整臺(tái)機(jī)器的服務(wù)圖譜排障思路也會(huì)清晰很多。配置 Tomcat 開(kāi)機(jī)自啟本質(zhì)上并不難難的是把方案選對(duì)、把細(xì)節(jié)做扎實(shí)。希望這篇實(shí)踐筆記能讓你下次面對(duì)“重啟后服務(wù)消失”的時(shí)候不再手忙腳亂。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
影音综合网| 丁香五月天激情| 日本精品性生活久久久| 2010男人的天堂| 做爱A级亚欧| 国语精品av| 亚洲丝袜天堂| 日本有码久久| 婷婷深爱五月| 国产亲戚伦亲在线| 懂色中文一区二区三区| 久久亚洲国产成人| 97操B| 97超碰色屌| 一区二区三区精品视频| 26uuu国产亚洲综合| 久久久久久无码人妻中文字幕| 欧中日成人免费影视| 国产人妻天天干精品| 中文字幕蜜乳av| 久久女女| 欧美色图小说综合| 色在线69堂| 97免费在线视频在线观看| 亚洲综合中文字幕有码| 人人操人人大香蕉| 秋霞免费AV| 在线综合 亚洲 欧美中文字幕| 另类欧美色| 欧洲站一级二级三级h| 成人女人国产| 熟妇精品juliaannAV| 久久超碰爱| 91超级碰碰碰| 淫淫总合网| 天天综合在线4| 加勒比大香蕉视频在线| 欧美夜夜狠| 亚洲男人bt天堂| 丁香五月激情婷婷| 亚洲。日韩。欧美| 亚洲狼狼干综合1| 午夜呻吟欧美| 久操 高清| av午夜玫瑰| 日本九九久久99| 少妇三P| 色香在线| 九久久精品| 丝袜视频网国产90| 精品午夜福利| 91精品人妻偷情| 国产女人与拘做受视频免费| 中文字幕在线观看二区三区| 91婷婷| 国产 日韩 欧美 人妻 熟女 中文| 九月婷婷综合| 亚洲精品欧洲精品| 久久偷偷色综合蜜桃| 亚洲欧美啪啪| 五月天婷婷在线看| 女同在线视频一区| 亚洲综合在线91| 日逼97| 无码天堂| 国产AV激情无码久久无码| 欧美日韩 强奸乱伦| 91操人| 熟女人妻av在线资源,黄色的资源| 五月婷婷激情| 大香网伊人久久综合网eew| 久久精品中文| 国产精品自拍视频| a网站免费观看| 日本不卡三级网在线播放| 日日噜噜夜夜久久亚洲一区二区 | 婷婷香网站| 伊人午夜福利视频| 久久久亚洲Av| 97超级久久强资源| 春色综合免费| 无码 黑人一区二区三区| 国产亚洲禁久一区二区| 国产夜夜操| 97国产精品在线观看| 黄片www视频免费| 亚洲 欧美日韩 另类| 青青草日本无码| 国产精品高潮久久AV| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 亚州五月| 免费一级黄色录像影片| 97综合国产精品高潮久久| 大茄子熟女AV导航| 欧美大香蕉专区网| 2019天天操天天爽天天拍| 欧美色91| 黄片直播三级黄片两女一男| 刺激精品视频| 日韩在线欧美精品一区二区| A V少妇特黄三级| 亚洲熟女乱色一区二区三区久久久| 激情一区二区| 欧美后进式| 久偷拍欧美日韩三区| 97资源久久| 91人妻Pr| 青青草原成人| 男人的天堂啪啪啪啪啪蜜桃不卡| 国内外毛片在线观看| 亚洲国产ⅴ高清在线观看| 麻豆国产原创AV色哟哟| 91无遮挡| 91原创在线观看| 天天干人人乐| 91视频国品一二三区| 91模特在线观看| 男女激情黄色网址| 国产乱人妻精品入口| 亚洲精品九九九| 日本三级黄页| av天堂电影网| 97资源制服丝袜| 男人综合网| 狠狠综合网| 午夜在线播放| 嗯嗯,啊啊,国产精品| 综合欧美亚洲| 久久久久密| 精品三级在线专区| 春色综合免费| 欧美亚州手机在线| 天天看天天干| 夜夜爽夜夜摸夜夜操免费视频| 国语国产操逼伊人AV网| 天天色综合影视网| 91在线视频免费中出| 欧美色人| 少妇内射www在线观看视频| 国产日韩区| 久久久国产精品亚洲精品| 约操熟妇| 九九九不卡| 淫淫总合网| 91骚熟女| 中文字幕人妻色偷偷久久皮| 在线观看日韩av不卡| 欧美色吧综合| 亚洲AO在线| 91三级理论片播放器| 亚洲欧洲激情| 美女尤物福利视频| 啪啪视频亚洲第一| 久久久久久人| 97青娱乐超碰久久| 亚洲AV无码成人精品久久| 久久精品超碰| 极品粉嫩少妇视频| 97色婷| 欧州一区二区三区四区| 欧美日韩国产人人| 中文字幕视频在线观看一区二区| ?亚洲伊人伊成久久人综合网| 色逼综合| 天天超级碰碰碰| 五月丁香综合网| 久久伊人亚洲AV无码网站| 久久久久幕乱码| 91蜜臀熟女| 精品中文字幕一区二区| 国产主播福利| 91n处女在线观看| 欧美性爱一区| 国产又粗又又黄又猛| 亚洲国产ⅴ高清在线观看| 亚洲av资源| 久久一二三四不卡| 亚洲欧洲偷拍一区| 青青草天天亲夜夜操网| 欧美一区二区一级岛国大片| 欧美熟妇色| 色老汉色| 97在线国产精品| 久久综合激情| 国产福利在线视频网站| 偷拍三区| 成人午夜高潮av猛片| 99福利社| …中文字幕亚洲乱,97人妻无码费视…| 大鸡吧尹人在线| 久久精品国产亚洲AV无码电影| 人人摸人人入| 九九碰九九爱97超| 97免费视频在线| 亚洲诱惑天堂| 欧美激情色婷婷花野真衣一区二区| 偷拍欧美激情| 在线97在线| 黄色污污污污污污网站| 伊人五月天| 欧美中出1| 蜜臀AV网站| 欧美日产国产在线成人第一区| 啊啊啊啊啊啊在线观看| 蜜臀久久99精品久久久久久-DVD原版全| 日本精品一区二区三| juliaann丝袜大战黑鬼| 超碰97在线 欧美 国产| 好爽,再快点啊哈嗯嗯嗯嗯| 伊人久久88国产女| 一区| 亚洲性少妇| 福利在线视频一区二区| 夜夜 中文视频rt| 欧美一二在线| 97公开久久| 欧美色图成人网一区二区| 国产精品午夜成人福利| 啊啊啊好大好湿| 精品无码一区二区人妻久久蜜桃| 白嫩妹子国产骚| 亚欧操逼片在线观看| 新精精品久久精品| 熟妇女伦乱视频视频| 91在线国产后入风骚翘臀美女素人| 欧洲精品一区二区三区| 精品一区99999| www.成人无码| 青青草久草| 午夜精品久久一区二区| 蜜乳AV.COM| 久草网站免费在线观看| 综合五月婷婷| 伊人成人情色综合| 日本欧美不卡| 91精品久久久| 日韩免费人妻色情网站| 中文字幕精品亚洲熟女| 欧美在线啊啊| 精品一区二区人妖| renqi久久久久久久久久久久| 厕所偷拍在线| 亚洲精品国产拍免费91在线| 国产高清午夜成人在线观看| 性色av蜜臀av色欲aV| 日韩午夜精品一区二区三区电影| 伊人综合色网| 国产熟女自拍| 欧洲性爱无码区| 亚洲古典另类欧美在线| 欧美夜夜狠| 蜜臀AV成人精品蜜臀| 精品二区久久| 最新国内自拍av免费| 日本一区二区做爱的视频| 亚洲色吧网| 99xav| 久久精品噜噜噜成人看免欧美大片| 超碰在线人人射| 亚洲人精品午夜不卡| 中文乱码字字幕在线第5页| 91性高| 国产嫩草精品A88AV| 欧美人与动性人交a| 国产精品无码论坛| 十八禁黄色成人网站观看| 九九九九九九综合| 日日噜噜夜夜狠狠视频无| 欧美顶级黄片AAAAA在线免费看| 热久久91婷婷| 精品免费囯产一区二区三区| 八人操人人摸人人看| 精品久久一区二区三区四区五区| 亚洲啪啪啪啪视香蕉| 国产无码精品久久久久久| 亚洲精品精品一区二区| av亚洲天堂资源网站| 超碰色大香蕉| 国产精品亚洲免费| 久久精品91| 国产91会所女技师在线观看| 天堂日本亚洲欧美| 射久久| 亚洲精品视频在线播放| 东北操逼| 日本www操操操| 97一本大道亚洲一区| 日本性爱视频一级| 色999偷自拍拍| 蜜臀久久99精品久久久| 色婷婷激情| 日本精品加勒比海一区| 全球成人中文在线| 99精品无码| 在线观看精品国产免费| 天天影视之亚洲综合网| 自拍偷拍 高清无码| 91久久久老司机| www.yeyecao| 国产AV人人 夜夜人人澡| 超碰免费97| 亚洲色图超碰在线| 国产高清成人免费视频| 黄总AV色图| 人人弄人人摸| 精品视频久久区| 色官网色综合| rivers-china.com| 丁香六月婷婷久久综合| 国产色图乱伦| 国产综合久久久鬼色| 日本国产亚洲一区在线观看| 久久人爽| 日韩精品一区二区三区色欲| 欧美96在线|欧| 人人喜人人妻| 日本三级A片网站com| 国产 大胆 对白| 国产强奸超碰AV| 秘书高跟黑色丝袜国产91在线| 久草婷婷| 午夜AV人气不卡| 亚洲一二三四区在线免费看视频| 五月丁香激情综合网| 操人妻视频| 中文字幕97色| 91蜜桃婷婷狠狠久久综合9色| 亚洲天天更新| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 国产亚洲日本| 超碰97爽| 亚洲av影院在线观看| 999色欧美中文字幕| 久草综合京东| 天天操天天舔| 成人一二| 天美传媒精品久久视频| 天天干2区3区| 婷婷丁香成人| 国产精品无套内谢| 夜夜爽夜夜爽| 久久禁| 大鸡吧尹人在线| 人妻aa| 色在线视频导航| 九九九九精品一区| 91超碰人人| 福利在线观看一区二区| a片久久久久久久久久久久| 丝袜狂射91| 国内黄色精品| 99热精品在线观看| 91足交| 日韩有码 一区二区三区| 91模特在线观看| 国产精品久久发布| 色五月亚洲| 中文一区在线视频| AV乱伦专区| 丰满熟女一区二区三区在线播放| 玖玖超碰熟| 99热免费精品| 久久不卡一区二区| 江都AV在线| 这里只有精品视频在线| 久久精品国产免费观看99| 老司机天天操| 伊人五月天婷婷| 久草加勒比一区在线| 欧美亚洲中文字幕| 毛片99-全集电影手机免费观看完整-B029AV| 色哟哟-国产专区| 国产一区二区三区中文字幕| 亚洲婷婷五月天| 亚洲中文日韩精品| 操逼操逼逼操操逼91| 国产丝袜美女在线一区| 中文字幕在线免费观看2| 黄色成年| 好吊色青靑草| 欧美激情综合网| 精品人妻一区二区三区免费视频| av日韩中文字幕| 日本熟妇色熟妇在线视频播放| 开心六月色| 婷婷情色综合网| 最新加勒比丝袜在线| 99热在线观看| 中文字幕丝袜美腿| 大香蕉天天看妹子| 欧美在线色| 骚女高跟AV在线| 亚洲涩涩| 97精品一区| 精久久久| 麻豆AV一区二区天美传媒| 91M一社| 春色91| 91中文字幕| 欧美夜夜草视频| 影音先锋少妇| 免费看久久久性性| 欧美三级不卡| 国产精品国产| 中文字幕乱妇免费视频| 91综合在线| 亚洲最大91网| 97超碰天天| 欧洲与亚洲欧美精品中文字幕| 福利天堂| 四虎在线视频| 一区在线精品中文字幕| 久久精品国产AV一区二区三区| 秋霞网—男女啪啪亚洲免费体验区 | 精品成人无码| 国产综合永久精品日韩鬼片| 亚洲天堂人妻一区二区| 超碰在线97国产| 欧美后入式| 特色a在线上| 操逼逼一区视频| 欧美强奸乱能| 台欧久久精品视频| 亚洲综合贴图91 | 天天操天天射天天日| 影音先锋乱| 嗯嗯啊在线视频| 日日夜夜草草草| 91色欧美| 99在线无码精品秘 入口黑人| www.99在线| 色婷婷蜜臀av| 国产免费内射视频| 蜜乳Av成人片网站| 亚洲天天艹| 丝袜色综合| 男女一进一出视频久久| 日欧操屄视频| 无码久| 男人的天堂网页| 精品国产丝袜一区二区三区乱码 | 久久风骚城市人| 91久久久亚洲| 国产9熟妇视频网站| 国内毛片热久久思思热| 青青草日韩无码| 和协影院中文字幕三区| 亚洲色图欧美色图另类图片| 九九亚洲视频| 96精品一区| 无遮挡一级毛片视频免费的| 欧美综合骚| 99精品无码| AA特级绝黄| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 少妇一区二区三区| 色情五月婷婷| 亚洲色婷婷综合久久久久中文| 日本成人A片免费看| 97超碰69| 麻豆久久精品亚洲精品88| 乱色视频中文字幕| 人人妻人人色一区二区三区| 秋霞影音一区二区三区| 日本久久综合| 午夜视频好爽啊| 麻豆AV96熟妇人妻| 人人妻人人爽 97人人看碰人免费公开视频| 天天综合色| 啊啊啊啊好疼| 天天做天天爽| 美女久久久久久久久久久| 免费精品福利在线观看| 五月天AV资源| 99热最新网址| 91天堂| 国产精品色| 国产精品一区二区密臀| 激情综合五月| 五月天亚洲色图| 99国内精品| 丁香七月婷婷| 天天综合网在线| 99老司机精品视频在线观看| 亚洲日本天堂| 九九人人操| 久久春色| 校园春色亚洲无码| 99热伊人| 另类亚洲一区二区三区| JIZZJIZZ亚洲女人被躁| 大香蕉十区| 91人妻最真实刺激绿帽| 蜜桃视频啊啊啊啊| 香蕉在线一区二区三区| 26uuu最新| 日韩天天本| 岛国成人av在线播放网址| 9 1果冻精品视频| 97久久久久久久精| 大香网站| 91人人| 久久日本熟妇熟色高清| av天堂手机版追回| 极品销魂美女一区二区 | 久久久免费懂色| 欧美婷婷五月天| 国产高清成人免费视频| 亚洲欲| 激情自拍 校园春色| 日韩字幕一区| 天天干18禁| 色九九九九| 丁香五月久久| 天天看天天在线精品| 欧美综合色图片| 欧美中文字幕一区| 大香蕉婷婷| 亚洲天堂中文字| 91亚洲综合在线| 久久久久久9999| 天天综合91在线| 国产综合网站在线播放| AV乱伦国产| 久草综合网| 精品一久久久| 18一区二区三区| 欧美性爱精品一区二区| WWW啪啪的com| 日韩视频中文字幕| 天天综合中文字幕 91| 久久69精品久久久久久久| 成人精品久久| 中文字幕欧美日本乱码一线二线 | 欧美春色| 最新9久久久9免费视频| 九九拍拍精品视频在线播放| 爱爱60秒免费视频| 成片免费播放| 亚洲最大网站av| 青娱乐国产盛宴视频| 精品人妻免费观看| 超碰97人妻| 久久亚洲一区女同性恋中文字幕| 久久久神马影院| 97亚洲欧美日韩| 69综合网| 蜜臀人妻少妇久久在线观看| 9久综合网| 69人妻精品一区二区绯色| 蜜桃无码AV一区二区| 曰本人妻人人澡人人夹| 人人操人人插人www| 综合伊人激情| 日韩操逼性鲍| 免费一级性爱久久| 日韩成人在线性爱视频| 欧美激情性久久久久久| 色欲三区| 久久精品久久九九精品| 蜜乳AV.COM| 性爱视频啪啪啪啪| 无码高清国产AV| 日韩综合无码色欲vv| 欧美一区二区日韩三区| 18禁中文字幕| 首页中文字幕中文字幕免费| 99热这里只有精品地址| 99在线观看| 99精品无码| 四虎 精品 WWW| 国产精品2020| 欧美论理片| 久久影视二区三区行押| 精品人妻高清麻豆av| 97久久久网站| 亚洲 无码 偷拍| 国产熟女一区二区丰满| 97色视频在线| 亚洲色天堂九9| 九九九精品美女| 日语五十路和六十路亚洲国产精品 | 欧美不卡二区| 九九亚洲视频| 欧美香蕉视xxx| 青青欧美| 操熟女91| 尤物黄色在线观看网站| 99九九精品| 97蜜桃综合| 97bbn| 日本大香蕉综合网| 曰韩精品视频一区二区| 日本女人操逼| 精品视频97| 日韩精品人妻中文字幕不卡乱码| 国产精品九九九| 99精品欧美一区二区三区桃色| 亚洲操逼网| 91色爽欧美| 天天综合,91入口| V A在线| 无码精品一区二区三区潘金莲| AV综合中文字幕干| 超碰人妻久久人妻中文97| 久久精品日韩专区免费观看| 日韩兔费看黄片| 一区二区视频在线播放| 97国产精品国| 亚洲成人在线乱码色午夜| 1769一区| 一起草av| 好一吊区二区| 亚洲AV无码翔田千里网站| 成人婷婷丁香| 日本熟妇自慰性高潮一区二区三区| 人人人干干人人干| 激情五月天婷婷| 校园春色综合香蕉| 内射老妇BBWX0C0CK| 91精品久久久久久综合五月天| 99xav| 日韩有码专区| 中文字幕一区二区三区视频播放| 97超碰久| 日本黄色精品专区网站| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 亚洲最大黄网| 人妻天堂三区| 国产无套粉嫩白浆在| 综合97亚洲| 最新国内自拍av免费| 95精品在线| 欧美精品庄| 欧美很很操视频| 九草九九九| 色嗨嗨在线| 人妻少妇精品久久久| 无码人妻精品一区二区三区99不卡| 又黄又爽在线观看视频| 天天综合网在线91| 五月香婷婷| 欧美自拍网| 精品国产肉丝袜在线拍国语| 久热99999| 夜嗨影院| 后入日本1234| 大香蕉乱伦视频网| 麻豆尤物视频网| 成功精品影院| 激情色图| 亚洲熟妇熟在线电影视频| 亚洲色欧美| 97超碰无码网| 久久久精品91八戒| 亚洲色图美腿丝袜| 亚洲色图日韩精品| 无码九九| 五月婷婷激情| 久久精品国产亚洲AV清纯| 欧美最婬乱婬爆婬性视频 | 天天爽天天| 蜜臀久久99精品久久久久久无删减| 久久麻豆一区二区| 91东北熟女| 精产国品一区二三产品| 18禁精品网站在线看| 九9热伊人| 一级免费啪啪片| 超碰97COm中文| 九一综合精品视品av| 日韩偷拍一区二区三区| 欧美 综合 亚洲| 欧美久热| 国产精品麻豆成人av| 韩国国产欧美情侣视频在线| 一区在线国产播放| 999综合网| 日韩中文字幕av在线播放| 久久社区一区二区三区| 亚洲综合网91| 欧美色日本| 久色网| 日韩字幕一区| 国产国产亚洲一二三久久| 精品国产嫩穴视频| 伊人影院综合是一个与深夜成人在线 | 欧美18老人禁| 欧美日韩美女精品久草一区二区三区 | 欧插网站| 一级久久久久久久久久久| 亚洲男人天堂网站| 国产青视频| 91超级碰碰| 久久受www免费人成| 97亚洲自在精品在线观看| 99热精品青草在线| 2018色综合天天操| 午夜a成v人电影| 国产搭汕a级片| 97 九色| 猛交交| 无码 有码 国产18p| 亚洲天堂男人| 久久久999国产精品| 色噜噜人妻丝袜AV资源| 日韩欧美视频青青| 日韩欧美俄罗斯A片| 日本一级特级毛片视频| 日韩电影中文字幕| 精品二999| 日本三级日本三级三级人妇四虎| 欧美色综合影院| a一区二区三区乱码在线| 葡萄牙性视频一二区 | 国产精品久久久久久久久AV大片| 秋霞一级鲁丝片A片| 亚洲欧美97√| 另类老少妇| 亚洲精品1区| 欧亚第一综合网| 野狼激情网| 久久草大香蕉| 亚洲第一在线视频| 天天视频黄网站| 日本1区2区不卡视频| 97在线免费观看| 蜜臀网 一区| 欧美最婬乱婬爆婬牲视频| 久热大香蕉网站| 久久久性爱视频| 亚洲A色| 亚洲aw毛茸茸在线| ss久久| 禁片 高清 在线观看视频网站| 国产精品一区二区手机看片| 欧美色图片91| 日韩在线地址一| 997色在线| 爱干爱射网啊啊啊| 无码少妇精品一区二区60岁老人| AⅤ片水多多| 大屁股人妻女教师撅着屁股| 天天射天天操天天干天天吃2018| 亚洲一区二区在线观看91| 超碰免费人妻在线| 国产在线视频午夜精华在| 熟女人妻一区二区三区免费看 | 91被操| 婷婷av在线中文字幕| 国产精品久久aV| 日韩簧片免费看| 亚洲 欧美 偷拍 唯美| 国产日韩精品人妻久久久久色欲网站 | 9999久久久久| 天天插天天插| 青青草在线成人视频| 天天综和| 日韩精品三级片长长久久| 欧美91久久久久| 亚洲欧美综合网| 综合色一区三区二区| 搡老女人老91妇女老熟女| 精品无码一区二区三区色欲| 另类TS人妖一区二区三区| 在线岛| 在线视频日韩欧美国产| 亚洲五月丁香花狠狠干一区二区三区| 精品妇女一区二区三区| 色婷婷综合久久中文字幕雪峰| 精品无码一二三四区| 久久久精品一区二区| 久久9精品| 91伊人久| 久久亚洲av成人无码国产| 蜜臀av一区二区三区免费观看| 干B视频伊人网| 亚洲鸥美色图| 综合色好色| 伊人久久综合影院| 操碰91| 麻豆一区二区三区精品| 欧美春色| 91在线超高颜值国产| 青草av在线| 国产一区二区三区不卡手机在线| 91操人| 久久久久亚洲Av无码专区老牛影视 | 欧美日韩香蕉| 偷拍 精品 另类 四区| 久久精品99久久久久久| 久艹日日日| 狠狠色噜噜狠狠狠狠狠色综合久久| 色婷婷丁香五月| 久久香蕉超碰97国产精品 | 韩国久久97| 欧美青青草视频| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 久久久久久999| 懂色av色欲av蜜臀av| 伊人天堂在线| 日本免费二区三区| 特级特黄一级毛片免费| 青青草操逼逼视频| 人妻无码视频一区二区三区久久| 伊人天天久久动态图| 国产免费久久久久| 极品久久久久久久久久久久久久| 无码人妻一区二区三区免费九色| 国产精品视频白浆免费| 午夜精品久久久久| 超碰成人人人爽人人爽| 亚洲成人综合在线| 丝袜高跟澳门91视频| 眼镜人妻101.com| 久久9精品视频| 久久人妻熟女一区二区| 午夜欧美女人操逼| 免费久久9999| 欧州一区二区三区四区| 欧美后进式| 大香蕉草草| 中文字幕日本久久| 人妻精品一区一区三区蜜桃91| 91社操逼| 亚洲无限观看| 色五天伊人| 夜夜福利| 在线a v| 色婷婷久久综合超碰| 91精品微拍福利| 久久綜合很很很| 国产精品久久久久久高清无码免费看 | 亚洲图片欧美91N| 97在线视频网站| 嗯嗯啊啊视频在线看| 漂亮人妻被强中文字幕hd| JULIA一区二区三区在线播放| 久久久久婷婷精品av电影| av无码av无码专区| 粉嫩av一区二区三区四季| 欧美日韩性爱无码| 后入式999| 午夜免费福利视频一区| 99re这里只有精品2| 免费毛片在线播放| 91高清欧美| 亚洲人妻一区二区三区| 国产乱子伦一区二区三区在线观看| 防屏蔽在线视频| 91无码西班牙视频在线| 78p欧美| 日日操丁香五月天| 四季av一区二区凹凸精品小说| 日本欧美国内在线| 精品对白久久不卡| 青青草视频爽一爽| 国产探花精品在线| 97超碰国产亚洲精品| 99热超碰在线| 欧美性天天| 美美91成人国产精品欧美精品久久久久久久 | 久久九九99| 狠狠操狠狠操操| 天美传媒AV国产在线| 欧美成人黄网色网站| 友优传媒精品在线一区二区| 99爱久久视频频| 亚一综合久久久久久久久久| 亚洲色图片区| 精品久久久久瑟瑟| 日韩无码黄色片| 美欧色综合| 欧美72网页| 国产精品久久久三级无码| 97欧美综合| 久久久专区| 操久久久久久| 国产女人高潮嗷嗷嗷叫小说 | 免费a v| 啊啊啊好疼| 久久免费中文字幕在线观看| 芊芊操逼视频无码| 久久内射| 白丝在线一区| 婷婷情色综合网| 夜嗨影院| 色欲Av人妻精品一区二| 欧美日韩亚洲少妇寂寞影院正在播放 | 亚欧美综合网。| 69超碰综合| 操我无码| 91人精品妻入口| 欧美九九九| 97视频900| 高清不卡国产| 一区二区娱乐网站| 国产黄色影片在线观看| 偷拍 亚洲 欧美| 亚洲AV在线资源| 宗合情欲网| 黑丝内射一区二区三区| 中国乱伦一区二区| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 91碰碰| 久久天天躁日日躁狠狠躁| 久久久婷| 蜜乳AV色欲AVAV无码| 人妻一区二区三区视频| 久久春色| 亚洲黄色AV电影| 综合网亚洲1| 久久久久国产| www.高清无码诱惑一区.com | 免费夜夜爱黄色视频毛片| 婷婷视频在线免费观看| 欧美亚洲素人制服精品| 精品久久久久久中文字幕视频免费| 东京热AV男人的天堂| 精品国产乱码久久久兰草影视| 91网亚洲| 91扒丝袜综合在线| 亚洲图片欧美91N| 婷婷性爱| 天天做天天爱天天爽| 欧美性生活综合| 国产精品亚洲一区二区三区四区| 亚洲精品天堂久久A∨51成人漫| 亚洲一区在线观看欧洲| 立川理惠被中出无码| 久草在线| 久久久9999| 久久午夜色播影院免费高清| 久久久久久久久久9| 亚洲黄色| 男人天堂欧美| 97免费在线视频| 亚洲影院成人| 国产精品不卡一区二区三区av| 成人国产视频在线观看| 久久伊人最新网址视频| 草草电影院| 亚洲日韩精品久久久久一区壹牛| 丝袜人妻av一区二区| a片久久久久久久久久久久 | 人妻天天爽夜夜爽2| 97在线资源| 日本亚欧爱爱| 十八禁黄色| 97综合在线| 国产毛片毛片4p懂色| 亚洲麻豆av一区二区| 日本成人免费一区二区三区| 中文字幕日韩人妻视频| 亚州一区二区成人片免费| 美女尤物人人操| 激情啪啪拍91| 天天干一干| 91红杏| 人妻五十路在线| 加勒比综合在线| 欧美性爱一区二区| 国产又黄又粗的视频| 97欧美性爱| 五月天激情四射| 99久久久无码| 欧美日韩天堂| 成人一二三区| 日韩有码 一区二区三区| 久操网址| 精品国产一区二区三区av在线资源| 91亚洲精品青草| 欧美 亚洲 另类 综合| 欧美三四五区| 福利视频香蕉免费一区二区在线| 色五天伊人| 色情成人五月天| 欲色影视综合吧| 欧美日韩精品久久久久东北老熟妇| 丰满人妻一区二区三区免费| 日本人妻中文字幕精品| 国模吧 一区二区三区| 99这里有精品| 综合一区二区影视| 欧美日韩1234| 日韩国产成人自拍视频| 乱人伦 国语对白:视频直接看| 亚洲自拍欧美国产首页网曝| 蜜臀va69| 久久伊人亚洲AV无码网站| 最新国产精品久久精品| 嗯嗯啊啊亚欧精品| 国产精品另类一区大香蕉| 热思思免费视频| 最近的最新的中文字幕视频| 天天摸夜夜摸| 九九九不卡| 岛国毛片在线观看免费| 亚洲午夜免费狠狠干| 午夜综合在线| 亚洲无码偷拍| 九九热精品| 欧美激情亚洲情色| 亚洲午夜未满十八勿入网站日本又色又爽又黄| 久草免费在线一区二区| 熟妇艹鸡八| 天天综合网~91| 国产精选三级在线观看| 亚洲国成人情色好看电影| 超碰99re| 97碰在线视频| 天堂综合| 日本成人A片网站| 亚洲色图超碰在线| 亚春色色| 日韩欧美俄罗斯A片| 成人热久久精品| 20cm女自慰在线日韩欧美| 嗯啊不要在线| 99AV| 六月激情婷婷| 欧美在线|亚洲| 永久免费发布性爱网| 色五月天AV| 日本东京热久久久电影| 国产999精品久久久久久| 中日韩久久久免费看| AAAAAAAAA黄片| 97爱b| 尤物网址| 日本精品性生活久久久| 日本性爱欧美性爱| 美骚妇av高清在线| 大学生美女口爆| 狠狠狠狠狠| 蜜臀久久99精品久久久久电影| 男人高清无码一区二区| 伦理弟一页| 亚洲啪啪视频一区二区| 欧美亚洲涩涩| 人妻人人做人人澡人人爽欧美一区| juliaann丝袜大战黑鬼| 欧美偷拍区| 精品二999| 91精品无码人妻系列| 九九人妻| 激情看片网站| 女优大全 - 91n| 久操九九九九| 大香蕉免费3| 麻豆伊人网| 国产91精品福利在线| 日韩人人精品| 欧美操人| 国产自制av蜜乳| 操B久久| 在线视频免费播放一区| 五月天人妻综合| 天天爽天天操| 波多野结衣之双飞调教在线播放| 91色爽欧美| 欧美日韩在线国产在线| 欧美淫乱视频| 91美女丝袜诱惑视频| 婷婷色综合欧美日韩| 神马久久中文字幕| 国产午夜激片Av毛片不卡| 综合亚州欧美| 久久久久久性爱片| 翔田千里无码中出中文字幕| 少妇内射视频| 性爱综合网| 囯产精品久久久久久久久久梁医生 | 色欲蜜臀AV| 99re这里只有精品2| 最新AVzaixian| 国产精品亚洲无码| 精品国产乱码久久久久久免费| 欧洲无码一区二区| 亚洲色图欧美色图制服丝袜| 亚洲国产精品9999在线观看| 后入合集| 97视频在线观看高清资源| 可以在线观看AV的网站| 天堂性色| 另类 综合 日韩 欧美 亚洲| 人人色人人操在线| 性无码专区2020| 玖玖综合视频| 免费人人搞97| 久久久久久久久久8888| 十八禁视频一区二区| 淫纸中9区| 一区二区三区 丝袜高跟| 九九久久精品| 影音先锋视频在线| 色五月AV| 超碰是碰在线观看| 岛国AV一区二区电影| 国产成人精品日本亚洲语言| 男女日B国产| 欧美熟妇色| 91超碰在线播放| 久久综合精品一区二区三区| 日韩免费性爱视频在线观看| 91大神精品长腿在线观看网站| 超碰色美女| 天堂射| 日韩一区二区熟女| 色综合久久久久| 操逼操逼视频操逼| 91AV入口| 欧美在线啊啊| 一本久久久精品| 91爱欧美| 色大师网站www永久网站视频| 免费看毛片操穴| 日本亚洲熟女视频| 日韩性爱视频在线免费观看| 3PAV乱伦视频| 欧美精品黑人猛交高潮| 少妇激情AV| 亚州欧美总和| 噜噜噜久久亚洲精品色情| 日本精品88888888| 超91综合网| 成人情色一区二区| 婷婷亚洲综合| 欧洲一级性爱视频在线观看| A 在线网址| 蜜乳av一区二区| 亚洲高清无毛一区二区| 国产品精品自在在线午夜免费| 欧美激情区| 9丨久久九九九| 99热这里只有精品18| 亚洲中文丝袜美腿诱惑字幕| 91色人| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 亚州色图片在线色| 精品国产乱码久久久兰草影视| 国产精品午夜成人福利| 国产又大又硬又长又粗| 伊人操操| 久久久久久久久久久999| 乱理日韩中文| 亚洲AO在线| 国产熟女一区二区丰满| 激情文学 国产一二三aV| 激情图片伦理国产一区二区日韩| 色呦呦、国产精品| 成人综合视频久久| 大香蕉欧美国产日韩高潮| 亚洲欧洲久久天堂| 国产精品久久久久久久久久久久久久久久 | 淫淫总合网| 亚洲免费精品一区| 国产性刺激| 成人久久精品| 日韩 女同 综合|