久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

3臺2C4G云服務(wù)器部署企業(yè)級AgentX:高可用架構(gòu)與生產(chǎn)實踐

3臺2C4G云服務(wù)器部署企業(yè)級AgentX:高可用架構(gòu)與生產(chǎn)實踐 1. 項目概述從Demo到生產(chǎn)AgentX部署的實戰(zhàn)門檻最近在社區(qū)里看到不少朋友對AgentX這類企業(yè)級智能體框架很感興趣但聊下來發(fā)現(xiàn)一個普遍現(xiàn)象大家能在本地用Docker Compose輕松拉起一個Demo可一旦提到要上生產(chǎn)環(huán)境尤其是用有限的云服務(wù)器資源比如標(biāo)題里提到的3臺2C4G來搭建一個穩(wěn)定、高可用的集群很多人就有點犯怵了。這感覺就像學(xué)會了開卡丁車突然讓你去開F1賽車雖然原理相通但細(xì)節(jié)和復(fù)雜度完全不是一個量級。我自己在去年主導(dǎo)過一個類似AgentX的智能任務(wù)調(diào)度系統(tǒng)的生產(chǎn)部署當(dāng)時資源也很緊張就是幾臺低配的云服務(wù)器。踩過不少坑也總結(jié)出了一套行之有效的方案。今天我就以“3臺2C4G云服務(wù)器部署企業(yè)級AgentX”這個具體場景為例把從資源規(guī)劃、服務(wù)拆分、到高可用配置、監(jiān)控告警的完整鏈路掰開揉碎了講清楚。這不是一個簡單的“安裝教程”而是一個面向生產(chǎn)的“架構(gòu)部署方案”重點在于如何在資源受限的條件下做出合理的權(quán)衡與設(shè)計讓系統(tǒng)真正扛得住生產(chǎn)環(huán)境的考驗。核心目標(biāo)很明確利用3臺同等配置2核CPU4GB內(nèi)存的云服務(wù)器構(gòu)建一個支持水平擴(kuò)展、具備基礎(chǔ)高可用能力的AgentX生產(chǎn)環(huán)境。我們將基于Spring Boot應(yīng)用和Docker容器化技術(shù)來實施。整個方案會緊密圍繞資源利用率最大化和服務(wù)狀態(tài)可控化這兩個原則展開。2. 架構(gòu)設(shè)計與資源規(guī)劃三臺機(jī)器如何分工在只有三臺機(jī)器的情況下把所有服務(wù)堆在一起是災(zāi)難的開始。我們必須進(jìn)行清晰的角色劃分實現(xiàn)資源的隔離與冗余。經(jīng)典的微服務(wù)部署模式在這里需要做一些適配因為節(jié)點數(shù)太少無法實現(xiàn)完美的多副本互備。我們的核心思路是關(guān)鍵有狀態(tài)服務(wù)獨立部署、無狀態(tài)計算服務(wù)負(fù)載均衡、管理節(jié)點與工作節(jié)點分離。基于這個思路我為三臺服務(wù)器我們稱之為node-01,node-02,node-03設(shè)計了如下角色服務(wù)器節(jié)點核心角色部署服務(wù) (示例)資源占用考量node-01管理節(jié)點Nginx (負(fù)載均衡)、Consul (服務(wù)注冊發(fā)現(xiàn))、Prometheus (監(jiān)控)、Grafana (看板)管理服務(wù)輕量但關(guān)鍵需要穩(wěn)定。Nginx和Consul占用資源少監(jiān)控組件需預(yù)留內(nèi)存。node-02核心服務(wù)節(jié)點AgentX-Server (主)、MySQL (主)、Redis (主)承載核心業(yè)務(wù)邏輯和主數(shù)據(jù)存儲是系統(tǒng)心臟需要保證性能。node-03備用/工作節(jié)點AgentX-Server (備)、AgentX-Executor (工作節(jié)點)、MySQL (從)、Redis (從)承擔(dān)核心服務(wù)的備援、異步任務(wù)執(zhí)行和數(shù)據(jù)從庫實現(xiàn)讀寫分離和故障轉(zhuǎn)移。這樣設(shè)計的理由與細(xì)節(jié)補充為什么把Nginx和注冊中心放在node-01負(fù)載均衡器和服務(wù)發(fā)現(xiàn)是流量入口和服務(wù)的“電話簿”必須最先啟動且最為穩(wěn)定。將它們獨立部署在一個節(jié)點上與管理監(jiān)控棧放在一起可以避免因業(yè)務(wù)應(yīng)用Server的部署、重啟或故障而影響到服務(wù)發(fā)現(xiàn)和流量路由。node-01的2C4G資源足夠支撐Nginx、Consul和Prometheus等輕量級服務(wù)。為什么AgentX-Server要主備部署AgentX-Server作為調(diào)度中樞是有狀態(tài)的管理任務(wù)、執(zhí)行器心跳等。雖然我們可以嘗試將其無狀態(tài)化但通常其內(nèi)置的調(diào)度內(nèi)存和數(shù)據(jù)庫連接狀態(tài)使得簡單的多實例負(fù)載均衡可能引發(fā)任務(wù)重復(fù)調(diào)度等問題。因此采用一主一備的“冷備”或“熱備”模式更穩(wěn)妥。node-02運行主實例node-03運行備實例。備實例平時不接收調(diào)度請求但通過VIP虛擬IP或Nginx upstream的backup參數(shù)配置在主實例宕機(jī)時能自動頂替。這比在2臺機(jī)器上跑兩個對等實例更簡單可控。數(shù)據(jù)庫和緩存的主從部署這是保障數(shù)據(jù)可靠性和提升讀性能的基礎(chǔ)。在node-02部署MySQL主庫和Redis主節(jié)點在node-03部署它們的從庫/從節(jié)點。這樣設(shè)計的好處是讀寫分離AgentX-Server的寫操作如記錄任務(wù)日志指向主庫大量的狀態(tài)查詢、配置讀取可以走從庫減輕主庫壓力。數(shù)據(jù)備份從庫本身就是一份實時備份。故障轉(zhuǎn)移如果主庫宕機(jī)可以手動或通過腳本將從庫提升為主庫雖然這個過程不是完全自動化的但在三節(jié)點架構(gòu)下是成本最低的高可用方案。AgentX-Executor部署在node-03Executor是具體執(zhí)行任務(wù)的“工人”通常是無狀態(tài)的且資源消耗與任務(wù)類型強相關(guān)。將其單獨部署在node-03可以與node-02的核心服務(wù)進(jìn)行資源隔離避免一個重型任務(wù)拖垮數(shù)據(jù)庫或調(diào)度中心。未來如果需要擴(kuò)展執(zhí)行能力可以很容易地增加新的節(jié)點專門部署Executor。注意這個規(guī)劃是理想模型。實際中如果某些服務(wù)非常輕量可以考慮適度混合部署以節(jié)省資源。例如如果Redis內(nèi)存占用很小可以考慮將其主節(jié)點與AgentX-Server主節(jié)點同機(jī)部署。但MySQL通常建議獨立主機(jī)鑒于我們只有三臺機(jī)器與Server同機(jī)是無奈之舉需密切關(guān)注監(jiān)控。3. 基礎(chǔ)環(huán)境與依賴服務(wù)部署實操在開始部署AgentX業(yè)務(wù)服務(wù)之前我們需要先搭建好這個“地基”——即所有依賴的中間件和環(huán)境。我們以node-01和node-02的操作為例。3.1 所有節(jié)點Docker與Java環(huán)境標(biāo)準(zhǔn)化三臺服務(wù)器都需要安裝Docker和Java確保環(huán)境一致。Docker安裝與配置優(yōu)化避免使用復(fù)雜的安裝腳本直接使用官方源。以CentOS 7為例# 安裝yum工具包 sudo yum install -y yum-utils # 添加Docker官方倉庫 sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo # 安裝Docker引擎 sudo yum install -y docker-ce docker-ce-cli containerd.io # 啟動并設(shè)置開機(jī)自啟 sudo systemctl start docker sudo systemctl enable docker安裝后關(guān)鍵一步是配置Docker鏡像加速器和日志驅(qū)動這對生產(chǎn)環(huán)境穩(wěn)定性至關(guān)重要。# 編輯daemon.json這里使用阿里云鏡像加速器需替換為自己的加速器地址 sudo tee /etc/docker/daemon.json -EOF { registry-mirrors: [https://your-own-mirror.mirror.aliyuncs.com], log-driver: json-file, log-opts: { max-size: 10m, max-file: 3 } } EOF sudo systemctl daemon-reload sudo systemctl restart docker實操心得log-driver設(shè)置為json-file并限制大小是防止容器日志寫滿磁盤的最簡單有效方法。曾經(jīng)有次線上故障一個服務(wù)瘋狂打印日志幾分鐘就把磁盤占滿導(dǎo)致整個節(jié)點癱瘓。自從統(tǒng)一配置日志輪轉(zhuǎn)后再沒出過這類問題。Java環(huán)境安裝AgentX通?;赟pring Boot需要JDK 8或11。建議使用OpenJDK并通過alternatives管理版本。# 安裝OpenJDK 11 sudo yum install -y java-11-openjdk-devel # 檢查版本 java -version3.2 node-01部署Nginx與Consul集群Nginx部署我們使用Docker運行Nginx并將其配置掛載到宿主機(jī)便于管理。# 創(chuàng)建目錄存放配置和日志 sudo mkdir -p /data/nginx/{conf,html,logs} # 拉取Nginx鏡像 sudo docker pull nginx:alpine # 先簡單運行一個臨時容器拷貝默認(rèn)配置出來 sudo docker run --name nginx-temp -d nginx:alpine sudo docker cp nginx-temp:/etc/nginx/nginx.conf /data/nginx/conf/ sudo docker cp nginx-temp:/etc/nginx/conf.d /data/nginx/ sudo docker rm -f nginx-temp接下來編輯/data/nginx/conf/nginx.conf在http塊中增加 upstream 定義指向后續(xù)要部署的AgentX-Server節(jié)點。這里我們先預(yù)留配置等Server部署后再調(diào)整。http { ... upstream agentx_server { server node-02:8080 max_fails3 fail_timeout30s; # 主節(jié)點 server node-03:8080 backup; # 備用節(jié)點平時不參與負(fù)載主節(jié)點宕機(jī)后啟用 } server { listen 80; server_name your-domain.com; # 或服務(wù)器IP location / { proxy_pass http://agentx_server; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } # 可以添加一個狀態(tài)檢查頁面 location /nginx_status { stub_status on; access_log off; allow 127.0.0.1; deny all; } } }最后使用掛載卷的方式運行Nginx容器sudo docker run -d --name nginx --restartalways \ -p 80:80 \ -v /data/nginx/conf/nginx.conf:/etc/nginx/nginx.conf:ro \ -v /data/nginx/logs:/var/log/nginx \ nginx:alpineConsul集群部署Consul用于服務(wù)注冊與發(fā)現(xiàn)。在生產(chǎn)環(huán)境Consul服務(wù)端需要以集群模式運行以保證自身高可用。我們在node-01上部署一個三節(jié)點的Consul Server集群實際上三個實例可以都在同一臺機(jī)器通過不同端口區(qū)分但這會失去高可用意義。理想情況是每個節(jié)點一個實例但我們只有三臺機(jī)器且node-02和node-03壓力較大因此采用一種折中方案在node-01上運行一個單節(jié)點Server并啟用-bootstrap-expect1。對于小型集群這可以接受但需要意識到Consul Server本身存在單點故障風(fēng)險。另一種更優(yōu)方案是使用更輕量的Nacos其數(shù)據(jù)可以持久化到外部MySQL容災(zāi)性更好。這里我們采用單節(jié)點模式演示# 創(chuàng)建Consul數(shù)據(jù)目錄 sudo mkdir -p /data/consul/data # 運行Consul Server sudo docker run -d --nameconsul-server --restartalways \ -p 8500:8500 \ -v /data/consul/data:/consul/data \ consul:latest agent -server -bootstrap-expect1 -ui \ -bind0.0.0.0 -client0.0.0.0 \ -data-dir/consul/data -nodeconsul-node-01訪問http://node-01-ip:8500即可打開Consul Web UI。3.3 node-02與node-03部署MySQL與Redis主從MySQL主從部署在node-02啟動MySQL主庫sudo docker run -d --namemysql-master --restartalways \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORDYourStrongRootPassword \ -e MYSQL_DATABASEagentx \ -v /data/mysql/master/data:/var/lib/mysql \ mysql:8.0 --character-set-serverutf8mb4 --collation-serverutf8mb4_unicode_ci --server-id1 --log-binmysql-bin --binlog-formatROW關(guān)鍵參數(shù)解釋--server-id1唯一標(biāo)識主庫--log-bin開啟二進(jìn)制日志用于復(fù)制--binlog-formatROW使用行模式更安全。在node-03啟動MySQL從庫sudo docker run -d --namemysql-slave --restartalways \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORDYourStrongRootPassword \ -v /data/mysql/slave/data:/var/lib/mysql \ mysql:8.0 --character-set-serverutf8mb4 --collation-serverutf8mb4_unicode_ci --server-id2 --relay-logmysql-relay-bin --read-only1參數(shù)解釋--server-id2不能與主庫重復(fù)--relay-log指定中繼日志--read-only1設(shè)置從庫為只讀防止誤操作。接下來是配置主從復(fù)制的核心步驟在主庫node-02上創(chuàng)建用于復(fù)制的用戶并授權(quán)。sudo docker exec -it mysql-master mysql -uroot -p # 輸入密碼后執(zhí)行SQL CREATE USER repl% IDENTIFIED BY ReplPassword123!; GRANT REPLICATION SLAVE ON *.* TO repl%; FLUSH PRIVILEGES; SHOW MASTER STATUS; -- 記錄下返回的 File 和 Position例如 File: mysql-bin.000001, Position: 157在從庫node-03上配置指向主庫。sudo docker exec -it mysql-slave mysql -uroot -p # 輸入密碼后執(zhí)行SQL將 MASTER_LOG_FILE 和 MASTER_LOG_POS 替換為上一步記錄的值 CHANGE MASTER TO MASTER_HOSTnode-02-ip, MASTER_PORT3306, MASTER_USERrepl, MASTER_PASSWORDReplPassword123!, MASTER_LOG_FILEmysql-bin.000001, MASTER_LOG_POS157; START SLAVE; SHOW SLAVE STATUS\G;查看SHOW SLAVE STATUS\G的輸出確保Slave_IO_Running和Slave_SQL_Running都是Yes說明復(fù)制正常。Redis主從部署Redis配置相對簡單。在node-02啟動主節(jié)點sudo docker run -d --nameredis-master --restartalways \ -p 6379:6379 \ -v /data/redis/master/data:/data \ redis:alpine redis-server --appendonly yes --requirepass YourRedisPassword在node-03啟動從節(jié)點并指定主節(jié)點sudo docker run -d --nameredis-slave --restartalways \ -p 6379:6379 \ -v /data/redis/slave/data:/data \ redis:alpine redis-server --appendonly yes --slaveof node-02-ip 6379 --masterauth YourRedisPassword --requirepass YourRedisPassword參數(shù)解釋--slaveof指定主節(jié)點地址端口--masterauth提供連接主節(jié)點的密碼。4. AgentX核心服務(wù)部署與配置詳解地基打牢后現(xiàn)在開始部署我們的主角——AgentX。假設(shè)我們已經(jīng)有了編譯好的Spring Boot Jar包agentx-server.jar和agentx-executor.jar以及對應(yīng)的Dockerfile。4.1 構(gòu)建Docker鏡像與推送在本地或CI環(huán)境中為Server和Executor分別構(gòu)建鏡像。# 以agentx-server的Dockerfile為例 FROM openjdk:11-jre-slim VOLUME /tmp COPY target/agentx-server.jar app.jar ENTRYPOINT [java,-jar,/app.jar]構(gòu)建并推送到私有倉庫如Harbor或直接scp到服務(wù)器。這里演示直接scp到服務(wù)器后構(gòu)建# 在node-02上 scp agentx-server.jar rootnode-02-ip:/opt/agentx/ ssh rootnode-02-ip cd /opt/agentx sudo docker build -t agentx-server:1.0.0 .4.2 AgentX-Server主備節(jié)點配置與啟動AgentX-Server的配置核心是數(shù)據(jù)庫、Redis以及注冊中心。我們需要準(zhǔn)備application-prod.yml。node-02 (主節(jié)點) 配置示例# application-prod.yml spring: datasource: url: jdbc:mysql://node-02-ip:3306/agentx?useUnicodetruecharacterEncodingutf8useSSLfalseserverTimezoneAsia/Shanghai username: root password: YourStrongRootPassword driver-class-name: com.mysql.cj.jdbc.Driver redis: host: node-02-ip port: 6379 password: YourRedisPassword database: 0 cloud: consul: host: node-01-ip port: 8500 discovery: service-name: agentx-server instance-id: ${spring.application.name}:${spring.cloud.client.ip-address}:${server.port} health-check-path: /actuator/health health-check-interval: 10s # AgentX特定配置例如調(diào)度線程池、任務(wù)日志保留策略等 agentx: server: port: 8080 admin-port: 8081 # 管理端口 access-token: your-secure-token # 與Executor通信的令牌 job-log-retention-days: 30使用此配置啟動容器sudo docker run -d --nameagentx-server-master --restartalways \ -p 8080:8080 \ -p 8081:8081 \ -v /opt/agentx/config:/config \ -e SPRING_PROFILES_ACTIVEprod \ agentx-server:1.0.0node-03 (備節(jié)點) 配置差異備節(jié)點的配置幾乎相同但有兩個關(guān)鍵點數(shù)據(jù)庫連接理論上應(yīng)該連接自己的本地從庫(node-03:3306)實現(xiàn)讀寫分離。但需注意如果AgentX-Server有寫操作如任務(wù)狀態(tài)更新則必須連接主庫。這里需要根據(jù)AgentX的具體實現(xiàn)來判斷。如果它支持讀寫分離配置最好如果不支持備節(jié)點也應(yīng)連接主庫node-02:3306這會對主庫造成額外壓力但保證了數(shù)據(jù)一致性。這是一個典型的架構(gòu)權(quán)衡。服務(wù)注冊備節(jié)點也會注冊到Consul但通過Nginx的backup標(biāo)識或給服務(wù)打上不同標(biāo)簽如role:backup讓負(fù)載均衡器或網(wǎng)關(guān)能區(qū)分主備。假設(shè)我們采用連接主庫的方案并讓備節(jié)點也注冊但通過Consul的Tag來區(qū)分??梢栽趎ode-03的配置中增加spring: cloud: consul: discovery: tags: rolebackup instance-id: ${spring.application.name}-backup:${spring.cloud.client.ip-address}:${server.port}然后需要調(diào)整node-01上Nginx的配置將backup指令與Consul的Tag結(jié)合或者使用更高級的流量管理工具。一個簡單的做法是備節(jié)點正常啟動但Nginx upstream中將其標(biāo)記為backup這樣只有在主節(jié)點不可用時流量才會切到備節(jié)點。4.3 AgentX-Executor工作節(jié)點部署Executor是無狀態(tài)的工作節(jié)點可以水平擴(kuò)展。我們在node-03上部署一個實例。其配置主要指向AgentX-Server的地址通過Nginx入口或直接Consul發(fā)現(xiàn)和注冊自身信息。# application-prod.yml for executor agentx: executor: app-name: agentx-executor server-addr: http://node-01-ip/ # 指向Nginx由Nginx代理到活躍的Server # 或者使用服務(wù)發(fā)現(xiàn)server-addr: http://agentx-server/ access-token: your-secure-token # 必須與Server配置一致 ip: # 不配置則自動獲取 port: 9999 # Executor自身端口 log-path: /data/applogs/agentx/executor/jobhandler log-retention-days: 30啟動Executor容器sudo docker run -d --nameagentx-executor-01 --restartalways \ -p 9999:9999 \ -v /data/applogs/agentx/executor:/data/applogs/agentx/executor \ -v /opt/agentx/config-executor:/config \ -e SPRING_PROFILES_ACTIVEprod \ agentx-executor:1.0.0踩坑實錄Executor的log-path務(wù)必掛載到宿主機(jī)持久化目錄。曾經(jīng)有一次容器重啟日志目錄丟失排查歷史任務(wù)執(zhí)行情況時非常痛苦。另外Executor的內(nèi)存設(shè)置-Xmx需要根據(jù)任務(wù)類型調(diào)整。如果執(zhí)行的是內(nèi)存密集型任務(wù)一定要在Docker運行參數(shù)中通過-e JAVA_OPTS-Xmx1g -Xms1g來限制防止單個任務(wù)吃光所有內(nèi)存導(dǎo)致宿主機(jī)OOM。5. 高可用、監(jiān)控與災(zāi)備策略服務(wù)跑起來只是第一步讓它們在生產(chǎn)環(huán)境穩(wěn)定運行還需要一套“護(hù)航”機(jī)制。5.1 基于Nginx和Consul的服務(wù)高可用Server層高可用如前所述通過Nginx的upstream模塊和backup參數(shù)實現(xiàn)了主備切換。當(dāng)主Server (node-02:8080) 宕機(jī)Nginx會自動將請求轉(zhuǎn)發(fā)給備Server (node-03:8080)。需要注意的是由于Session或內(nèi)存狀態(tài)可能丟失備Server接管后可能需要重新加載一些任務(wù)上下文這取決于AgentX-Server的設(shè)計是否將狀態(tài)完全持久化到了數(shù)據(jù)庫。Executor層高可用Executor是無狀態(tài)的可以部署多個。AgentX-Server會通過注冊中心Consul感知所有在線的Executor。當(dāng)一個Executor下線Server會自動將后續(xù)任務(wù)調(diào)度到其他健康的Executor上。因此我們可以在資源允許時在node-01或未來新增的節(jié)點上再部署一個Executor實例進(jìn)一步提升任務(wù)處理能力的可靠性。數(shù)據(jù)庫層高可用MySQL主從復(fù)制提供了數(shù)據(jù)冗余。如果主庫 (node-02) 宕機(jī)需要手動進(jìn)行故障轉(zhuǎn)移在從庫 (node-03) 上執(zhí)行STOP SLAVE;和RESET SLAVE ALL;然后SHOW MASTER STATUS;記錄新的位點。修改AgentX-Server的數(shù)據(jù)庫連接配置指向新的主庫 (node-03)。如果有其他從庫需要重新指向新的主庫。 這個過程無法完全自動化需要人工介入但通過編寫腳本和結(jié)合監(jiān)控告警可以縮短恢復(fù)時間。5.2 監(jiān)控告警體系搭建沒有監(jiān)控的系統(tǒng)就是在“裸奔”。我們在node-01部署的Prometheus和Grafana就派上用場了。Prometheus配置編輯Prometheus的配置文件prometheus.yml抓取各個節(jié)點的指標(biāo)。scrape_configs: - job_name: node-exporter static_configs: - targets: [node-01:9100, node-02:9100, node-03:9100] - job_name: agentx-server metrics_path: /actuator/prometheus static_configs: - targets: [node-02:8080, node-03:8080] relabel_configs: - source_labels: [__address__] target_label: instance regex: (.*):\d replacement: $1 - job_name: mysql static_configs: - targets: [node-02:9104, node-03:9104] # mysqld_exporter端口 - job_name: redis static_configs: - targets: [node-02:9121, node-03:9121] # redis_exporter端口需要在所有節(jié)點上運行node_exporter在數(shù)據(jù)庫節(jié)點運行mysqld_exporter和redis_exporter。這些都可以通過Docker容器輕松部署。Grafana看板導(dǎo)入針對Spring Boot、MySQL、Redis和Linux節(jié)點的現(xiàn)成Dashboard模板就能快速建立起可視化的監(jiān)控體系。關(guān)鍵要關(guān)注的指標(biāo)包括系統(tǒng)層CPU使用率、內(nèi)存使用率、磁盤IO和空間、網(wǎng)絡(luò)流量。應(yīng)用層AgentX-ServerJVM堆內(nèi)存、GC次數(shù)、線程池活躍線程數(shù)、HTTP請求QPS/延遲、數(shù)據(jù)庫連接池狀態(tài)。應(yīng)用層AgentX-Executor任務(wù)執(zhí)行隊列長度、任務(wù)執(zhí)行成功率/失敗率、單個任務(wù)執(zhí)行耗時。中間件層MySQL連接數(shù)、慢查詢數(shù)、InnoDB緩沖池命中率Redis內(nèi)存使用、連接數(shù)、命中率、命令耗時。告警規(guī)則在Prometheus Alertmanager中配置告警規(guī)則當(dāng)關(guān)鍵指標(biāo)異常時如服務(wù)器內(nèi)存使用率85%、MySQL連接數(shù)80%、AgentX任務(wù)失敗率連續(xù)5分鐘5%等通過郵件、釘釘、企業(yè)微信等渠道通知運維人員。5.3 數(shù)據(jù)備份與災(zāi)備恢復(fù)預(yù)案對于生產(chǎn)系統(tǒng)備份是最后的救命稻草。MySQL備份邏輯備份使用mysqldump每天凌晨進(jìn)行全量備份并保留最近7天。# 在node-02或node-03上通過crontab定時任務(wù) 0 2 * * * docker exec mysql-master mysqldump -uroot -pYourPassword --all-databases --single-transaction --routines --events | gzip /backup/mysql/full_$(date \%Y\%m\%d).sql.gz物理備份定期對數(shù)據(jù)目錄 (/data/mysql/master/data) 進(jìn)行快照如果云服務(wù)器支持或者使用xtrabackup工具進(jìn)行在線熱備速度更快對業(yè)務(wù)影響小。Redis備份雖然我們有AOF持久化但仍建議定期將RDB文件拷貝到異地??梢詫懸粋€腳本定時執(zhí)行SAVE或BGSAVE命令然后將生成的dump.rdb文件歸檔。應(yīng)用日志備份將Docker容器的日志通過json-file驅(qū)動和應(yīng)用自身的業(yè)務(wù)日志掛載到宿主機(jī)的目錄納入統(tǒng)一的日志收集系統(tǒng)如ELK或Loki并設(shè)置合理的保留策略。制定詳細(xì)的《故障恢復(fù)手冊》記錄每一種故障場景如單臺服務(wù)器宕機(jī)、數(shù)據(jù)庫主庫崩潰、網(wǎng)絡(luò)分區(qū)等下的處理步驟、負(fù)責(zé)人和預(yù)計恢復(fù)時間RTO。6. 性能調(diào)優(yōu)與安全加固要點部署完成并能穩(wěn)定運行后我們還需要從性能和安全性兩個維度進(jìn)行優(yōu)化。6.1 資源限制與JVM調(diào)優(yōu)三臺2C4G的機(jī)器資源寸土寸金必須給每個容器設(shè)置合理的資源限制。# 以AgentX-Server容器為例限制CPU和內(nèi)存 sudo docker run -d --nameagentx-server-master --restartalways \ --cpus1.5 \ # 限制使用1.5個CPU核心 --memory2g \ # 限制最大內(nèi)存為2GB --memory-swap2g \ # 禁止使用交換分區(qū)避免性能抖動 -p 8080:8080 \ -e JAVA_OPTS-Xms1g -Xmx1g -XX:UseG1GC -XX:MaxGCPauseMillis200 \ agentx-server:1.0.0JVM參數(shù)解釋-Xms1g -Xmx1g將堆內(nèi)存初始值和最大值都設(shè)為1GB避免運行時動態(tài)調(diào)整帶來的性能開銷。-XX:UseG1GC采用G1垃圾收集器在有限內(nèi)存下能提供相對較好的吞吐量和停頓時間平衡。-XX:MaxGCPauseMillis200設(shè)置GC最大停頓時間目標(biāo)為200毫秒。經(jīng)驗之談對于內(nèi)存只有4GB的宿主機(jī)分配給單個容器的內(nèi)存最好不要超過2GB需要為宿主機(jī)操作系統(tǒng)和其他進(jìn)程如Docker daemon、監(jiān)控組件預(yù)留足夠內(nèi)存。曾經(jīng)因為給一個Java容器分配了3GB內(nèi)存導(dǎo)致宿主機(jī)頻繁觸發(fā)OOM Killer隨機(jī)殺死其他容器問題排查起來非常困難。6.2 網(wǎng)絡(luò)與安全配置防火墻僅開放必要的端口。例如node-01開放80Nginx、8500Consul、9090Prometheus、3000Grafananode-02和node-03開放應(yīng)用端口8080, 9999、數(shù)據(jù)庫端口3306, 6379以及監(jiān)控組件端口9100, 9104等??梢允褂迷品?wù)商的安全組或系統(tǒng)自帶的firewalld/iptables。服務(wù)間通信加密MySQL強制使用SSL連接并在連接字符串中配置useSSLtrue。Redis啟用密碼認(rèn)證我們已經(jīng)做了并考慮將Redis部署在內(nèi)部網(wǎng)絡(luò)不對外暴露6379端口。AgentX Server與Executor確保access-token足夠復(fù)雜并且通信鏈路如果跨公網(wǎng)應(yīng)考慮使用HTTPS。鏡像安全使用來自官方或可信倉庫的基礎(chǔ)鏡像如openjdk:11-jre-slim定期更新以修補安全漏洞。對自建鏡像進(jìn)行安全掃描。6.3 日常維護(hù)與巡檢清單系統(tǒng)上線后需要建立日常巡檢機(jī)制每日檢查監(jiān)控大盤關(guān)注錯誤日志特別是AgentX的任務(wù)失敗日志檢查備份任務(wù)是否成功執(zhí)行。每周分析慢查詢?nèi)罩緝?yōu)化數(shù)據(jù)庫索引檢查磁盤空間使用趨勢提前清理無用日志或擴(kuò)容。每月進(jìn)行故障演練模擬node-02宕機(jī)驗證主備切換流程是否順暢審查用戶和權(quán)限設(shè)置。這套基于3臺2C4G云服務(wù)器的AgentX生產(chǎn)部署方案麻雀雖小五臟俱全。它不是一個追求極致性能和高可用的豪華方案而是一個在有限資源下通過精心的架構(gòu)設(shè)計和細(xì)致的運維管理實現(xiàn)穩(wěn)定、可用、可控的務(wù)實方案。每一個技術(shù)選型和部署決策背后都是對資源、復(fù)雜度和維護(hù)成本的權(quán)衡。希望這份詳細(xì)的拆解能幫助你不僅把AgentX跑起來更能讓它穩(wěn)健地跑在生產(chǎn)線上。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲久久久久| 嗯~啊~快点 死我视频免费看网站| 日韩精彩免费| 亚洲天堂少妇| 国产男人又猛又粗又爽| 欧美大香蕉97| 立川理惠被中出无码| 亚洲国产日韩欧美熟妇在线| 日韩钢筋无码高清啾啾啾| 91美女精品| 日韩黄色一区二区三区| 欧美青青草视频| 狠狠爱夜夜| 午夜电影在线观看无码专区| 久久久久久久久久久久久9999| 精品少妇一区二区| 免费精品人妻一区二区三| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 影音先锋一区二区在线资源| 色吧91| 搡老女人老妇女AAA一VU麻豆| 神马福利久草| 国产玖玖| 校园春色 男人天堂 | 欧美第一页| 亚洲AO在线| 欧美精品人妻视频| 中文字幕在线免费观看 | 高清孕妇孕交 交| 亚洲精品日日夜夜52| 嗯嗯啊啊的视频| 欧美成人AⅤ大片在线观看| 屁股久久久久久久久| 日韩性爱1级片视频| 九九拍拍精品视频在线播放 | 超碰成人人人爽人人爽| 亚洲色偷偷色噜噜狠狠99网| 天天亚洲| 欧美激情综合色综合啪啪五月| 骚乳在线| 欧美日韩国产一区二区小黄片大全| 九热视频| 九九九九亚洲| 综合激情五月丁香| 偷拍亚洲情色| www色婷婷| 天天影视网色欲色香| 极品尤物在线观看| 久伊人网78| 97超碰日韩| 男人的天堂kva| 干美女人妻| 全球成人中文在线| www熟女乱伦com| 中文在线久久字幕| 国产日韩区| 欧美熟女妇同| www.zbzhongsen.com| 丰满人妻一区二区三区| 99综合自拍| 亚洲AV无码黄色强奸| 国产超碰欧美| 天天影视综合网欧美精品| 操b在线观看| 色欲人妻一区二区在线| 91精品丝袜在线观看| 日韩小电影| 欧美性爱一区| 色欲天天综合网| 香港澳门日本三级网站| 青久久| 日本三级久| 一本色道久久天天射天天干| A 天堂| 日韩精品影视| 中文一区二区婷婷视频| 黄色大香焦1级‘′‘| 久超碰这里只有精品| 97人妻色| 超碰精品国产无码| 91亚.色| 偷拍 精品另类 凸凹了四区| 国产午夜无码片在线观看影视| 黑人性欧美| 精品无码久久久| 亚洲啪啪视频一区二区| 色五月AV| 久久中文字幕女同性恋一区| 啊好爽受不了无码| 99在线免费视频| 操操逼操操逼操操逼逼| 亚洲欧美国产中文视频| 亚洲中文sv| 射欧美综合| 婷婷综合五月| 家庭乱伦网站国产| 久久性爱视频免费看| 加勒比性爱成人在线| 少妇蜜汁| 色色五月天婷婷| 亚洲精品人妻在线| 99亚洲精品| 东京太热男人的天堂久久久| 久日综合网| 啊啊啊啊啊在线观看网址 | 成人片视频| AA丁香综合激情| 亚洲精品三区在线观看| 九九热九九| 精品视频一区二区| 久久久久七视频| 欧美亚洲玖玖玖| 国产尹人在线视频免费| 99热在线播放| 丁香六月天| 成人免费毛片| 91五十路| 99久久久无码精品国产人| 精品对白久久不卡| 亚洲色阁| 97视频免费在线| 78久久久| 亚洲精品99| a级成人毛片免费视频高清| 婷婷超| 国产sv美女内射| 一二三四区操操Av| 色九九久九九| 91精品丝袜久久久久久| 亚洲日韩精品一区二区| 日逼97| 中文区中文字幕免费看| 天天舔日美女视频| 91精品人妻一品二品三品| 超碰天天去日穴| 尤物AV免费网站| 国产日韩中文字幕欧美| 可乐操亚洲蜜911| 亚州,欧美在线| 99re在线视频这里只有精品| 78p欧美| 特级大荫道BBwBBwBBW| 成人日韩欧美| 亚洲精品97在线| 丰满少妇人妻久久久久久| 91女网站| 久久婷婷欧美| 国产怡红院在线| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 无码78| 美女久久久久久久久久久| 蜜臀久久99精品久久久久久婷婷| 丰满人妻aA一区二区三区| 精品人妻久久久久一区二区三区| 75大香蕉| 75大香蕉| 久久久一二三四区| 七月婷婷综合| 亚洲 无码 偷拍| 久久久久亚洲熟妇熟女| 亚洲精品毛片在线观看| 成人av免费观看| 亚洲一区二区性爱电影| 超碰97精品在线| 热天堂一区二区| 嗯嗯嗯不要不要免费视频| 欧美日本天堂| 久久久月天| 俄罗斯及免费在线看| 日韩97P| 国产久久免费精品视频| 亚洲激情四射| 日本东京热大香蕉a片| 久久久久久久久久久精| 日本成熟少妇A∨网站| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 在线国产福利网址导航| 久久久A∨| 加勒比在线视频| 色欧美天天| 二区熟妇韩日| 亚洲色欲一区二区三区| 白嫩91在线亚洲| 成·人免费午夜在线观看| av一区二区三区四区| 乱伦系列一区二区| 青青草视频在线观看一区二区| 蜜桃丰满熟妇av无码区不卡| 天天肏天天干| 亚洲欧美国产成人综合不卡| 亚洲一区二区三区麻豆传媒| 久久久久96| 色姑娘综合网| 欧美三级中文字幕hd| 精品久久久久9999| 校园激情狠狠四射| 思思热国产高清| 国产三级多多影院2022国产AA一级毛片无码 | 国产精品密臀网在线观看| 欧美日韩亚洲国产中文永久天天看| 亚洲成人贴图| 久草大| 国产农村妇女精品一| 亚洲少妇免费视频\| 91热| 91呆哥人妻| 国产传媒日本欧美专区| 69一区二区三区 | 欧 美 自 拍 偷 拍| 91色久| 插老姨肥穴| 高清孕妇孕交 交孕妇| 婷婷av在线中文字幕| 99热国产| 加勒比久久av| 国产浮力影院第1页| 一区二区精品更新提醒| 精品国产乱码久久| 欧美日韩91| 亚洲码和欧洲精品激情系列| 欧美性第一页| 操我无码| 欧美 日韩 另类 亚洲| 人妻丝袜美腿中文字幕| 超碰久热| 亚洲综合色在线| 一类无码操逼视频| 五月天久久婷婷亚洲| 视频国产成人精品日本亚洲18| 丁香五月色| 亚洲极品| 曰韩无码777| 国产99999久久精品| 97超碰色色| 久久老子无码午夜伦不卡| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 亚洲少妇在线影音| 亚洲欧美自拍偷拍| 新视频sss国产| 超碰成人公开| 亚洲精品1区| 成人a大片在线观看| 麻豆激情综合| 综合久久六月久久婷婷| 亚洲国产中文字幕| 亚洲最大成人a毛毛片| 欧美专利1区2区3区4区5区免费| 日韩欧美传媒一区国产| 青草视频在线看看看看看看看看看| 国产精品午夜福利| 久久久com| 狠狠爱夜夜| www.婷婷| 91爱网| 九九九网页| yaouchengrenav| 深夜操逼网| 国产日韩久久| 人人摸人人干| 91精品国产91久久青草| 7777奇米影视久久| 二三四区精品| 五月天婷精品激情| 91天天看| 日韩美女高潮喷水视频| 极品尤物女神在线观看| 国产免费内射视频| 天天享受天天看| www.91人妻.com| 久湿久久| 五月天玖玖资源站| 免费精品无码一级毛片牛牛影视| 综合干干干av久久久综合网 | 日本肏逼视频在线观看| 久久女人| 黄色十八禁网站| 久久久国产亚洲精品系列| 4tube欧美女厕所| 日韩有码免费视频| 新亚洲无码| 男插女青青影院| 亚洲午夜福利视频| 国产无码精品无码| 日韩BBN| 久久啊哟| 亚洲熟女av日韩熟女| 爱爱动态60秒| 亚洲人码13| 免费精品99| 九九九精品成人免费视频小说| A啊啊在线观看| 色情五月丁香| 日日夜夜精品| 99999精品| 一区二区三区男女操逼黄色小电影| 欧美的性爱网站免费| 日本2020一区二区| 欧美曰韩国产精品| 亚洲精品视频二区| 亚欧高清v| 高清孕妇孕交 交孕妇| 婷婷香蕉欧美在线一区二区三区| 亚洲一欧洲中文字幕在线| 超碰97 线线 在现| 精品人妻一二三四区视频| 人妻激情另类| 国产特级毛片AAAAAA高潮流水| 天天综合,91入口| 九九热免费在线国产视频伊人五月| 免费中文在线| 精品久久久久久中文字幕三区| 国产精品久久久亚洲第一牛牛_在线观看 | 精品一区二区三区国产| 超碰人人干天天射| WWW.加勒比人妻一区不卡.com| 亚洲九九夜夜| 在线岛| 91东北熟女| 久久成人精品| 欧美 日韩 婷婷 五月| 91综合在线| 国产v片在线免费观看| 蜜桃精品视频一区二区三区| 久久99手机免费视频| AV免费在线播放一区| 日韩精品-原创伙伴| 人妻大香蕉| 亚欧中文字幕在线视频| 福利风月五月天影院| 五月丁香婷婷色| 肉嘟嘟www视频在线观看高清| 91色人妻| 熟女探花啪啪| 97免费视频在线观看| 四虎影视国产精品| 久久偷偷色综合蜜桃| 久久少妇视频| 熟妇艹鸡八| 99性爱视频| www国产天美久久久| 国产精品人妻无码久久久互動交流| 国产偷人妻精品一区二区在线| 性色一线| 野狼激情网| 欧美三级不卡| 97超碰美国| 99热66| 亚洲欧美激情在线视频| 午夜福利视频在线一区| 亚洲蜜臀精品视频久久| 欧美高清在线| 夜夜做夜夜爽精品视频| 国产精品97超碰| 尤物视频偷拍免费| 99re这里只有精品2| 国产精品色| 亚洲自拍青操视频| 蜜汁欧美| 久久人妻熟女一区二区| 偷拍视频青青草在线视频| julia国产在线| 国产偷人妻精品一区二区在线| 亚洲色悠悠久久88| 91N综合网在线| 亚洲成人一二三区| 日韩一级二级在线| 毛片视频白嫩| aaaa黄片| 五月丁香影院| 国产13区| 婷婷色香| 91欧美综合在线| 久久久久久久久国产| 国产精品白丝AV| 天天操熟妇| 亚洲精品黄码久久久久| 啊啊啊啊啊啊好多水| 久久精品国产亚洲AV先锋| 日韩av无码网站| 久久六六| 日韩乱伦AⅤ| 美国人人操人人操| 欧美性爱一级操| 国产午夜激片Av毛片不卡| 99在线无码精品秘 入口黑人 | 欧美资源| 欧色性第一页| 色九九九九九九| 国产sv美女内射| 校园春色综合网| 中文AV制服乱伦| 国产精品一级特黄aaa大片在线观看| 亚洲福利影院一区久久| 强奸乱伦中文字幕AV| 五月婷婷久久综合| 亚洲色图大香| 99国产精品在线观看| 一区二区三区成人| 天天亚洲| 精品久久久久久中文字幕视频免费| 国产一区自拍欧美日韩| 91久久99久久91熟女精品| 啊啊啊操一区| 蜜臀无码一区二区| 水滴偷拍| 中国国产精品一区视频| 丁香六月婷婷久久综合| 97久久久精品| 国产精品剧情| 色婷婷六月丁香七月婷婷| 久草网站免费在线观看| 日韩人妻操B| 日韩精品人妻中文字幕久久久| 中文字幕欧洲有码| 欧美偷拍区| www.五月天| www被窝色com| 3PAV乱伦视频| 欧美大香蕉专区网| 丝袜无码a片| 懂色Av一区二区三区| 丝袜综合网| 无码av永久免费专区网站| 日韩欧美视频青青| 精品无码一区二区三区| 家庭乱伦国产| 免费观看有码高清视频| 精久久久| 秋霞成人做爱| 射丝袜高跟鞋99| 亚洲97p| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 91操熟女| 久久久网站| 国产视频第2页| 人妻少妇久久中文字幕一区二区 麻豆| 一级久久久久久久久久久| 91国产丝袜足交精品视频| 天天综合网在线91| 日韩 欧美 另类 人妻| 亚洲激情 欧美色图| 亚洲精品白丝| 日本精品网站在线中文| 91欧美高清| 中文字幕在线2| 超清福利精品视频在线| 熟女乱伦二区| 国产丰满少妇久久久精品影院| 美女诱惑一区| 手机在线播放国产福利| 性色国产东北露脸精品视频| 97精品一区二区视频| 亚洲成人久久美女| 99最新日韩偷拍视频| 天天躁日日躁AAAAXXXX国产| 99蜜桃臀亚洲成人在线观看| 久久久久久久9| 性爱综合网| 玖玖无码超碰| 久久精品国产亚洲AV高清演员表| 久久蜜桃综合网| 欧洲性爱无码区| 国产精品一区二区在钱播放| 又大又大又大又粗爽高潮观看| 国内自拍 日韩激情 99| 久9爱经典视频| 国产成人免费观看在线视频| 日日骚av| 女优视频第10页| 人妻丝袜日本| 国产怡红院| 天堂亚洲精品| 夜夜操二区| 激情色图| 久久久av爱| 精品国产91av一区二区三区| 97精品97久久| 中国探花熟女| 欧美宗合色| 久久久艹艹艹| 国产精品人人爽人人做可爱福利| 久久人爽| 丁香九月激情| 色网色网色网色网色网色| 天天综合精品| 欧美性爱无码一区二区三区| 精品在线78| 97久久精品亚洲| 国产捆绑一区| 伊人色综合欧美| 一区二区偷拍拍视频| 成人综合网 欧美| 亚洲自拍偷拍视频在线| 国产视频一区二区三区久久亚洲天堂| 三级精品三级在线观看| dy888午夜老子影视达达兔| 久久男人的天堂国产| 少妇久久| 日韩AV电影网站| 国产久久久久久久久一区二区| 玖玖视频在线资源一区二区三区| 亚洲欧美自拍偷拍| 大香蕉2017| 口爆综合网| 91美女小视频| 岛国999| 亚一综合久久久久久久久久| 色97综合中文字幕| 韩国三级三级BD在线| 网页导航五月天免费一二三区| 婷婷五月天激情四射| 男人的天堂日本东京热| 日韩免费三级黄片电影| 99精品丰满人妻无码| 亚洲黄色影视| 高清无码在线播放网站| 国产97色在线 | 亚洲| 蜜臀AV成人精品蜜臀AV久久| 亚洲中文日韩精品| 亚洲人妻中文在线视频| 97精品视频在线播放| 久久这里都是精品| 日本性爱少妇| 国产1024在线播放| 熟女高潮精品一区二区| 亚洲欧美综合色| 中文久久爆乳| 91少妇| 亚洲天天自拍| 国产欧美黑人丰满在线| 一区二区三区网站日日骚| 熟女精品va中文字幕| 亚洲欧美人妻| 久久久女人| 加勒比伊人影院| 91亚洲不卡一区| 大香蕉手机在线| 熟女一区二区| 日本道久久综合色色| 国产精品点击进入在线影院| 国产h小视频在线观看免费| 国产欧洲精品亚洲午夜拍精品| 德国一二三不卡| 久99热| 亚洲成人福利电影免费| 国产精品视频麻豆入口| 日本精品网站在线中文| 97香蕉网| 日韩欧美加勒比| 91老司机视频| 9久9久| 国产欧洲精品亚洲午夜拍精品| 天天综合网91入口| 啊啊啊好湿久久| 夜夜嗨AV一区天天| 激情综合五| 性欧美另类高清| 日本一区99| 浓厚中出中文字幕在线| 极品粉嫩少妇视频| 亚洲色图91欧美日韩| av中文字幕在线熟女| 超碰在线人妻不卡| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 91丨豆花丨熟女| 91视频精品| 神马久久久久久| 亚洲精品乱码线路中文字幕| 精品十三区| 日日日日做夜夜夜夜无码| 欧美 亚洲| 久久东京热久久| 加勒比aⅴ| 97超碰中文在线| 国产成人91一区二区三区| 五月婷婷丁香六月丁香| 亚洲AV无码国产精品久久久久| av在线资源| 啊灬啊灬啊灬啊灬高潮奶出了免费视 | 久久9久久| 久久久亚洲熟妇资源| 久久老熟女| 久久精品人妻一区| 日本免费专区| 97在线视频观看| 中出789在线视频| 欧美亚洲综合高清在线| 欧美人妻少妇| 超碰 欧美| 精品人妻一区二区三区蜜桃视频| 亚洲欧美电影| 国产强奸乱伦第1页| 人妻铁牛TV| 日韩欧无码一区二区三区免费不卡| 肏逼视频日本| 欧美五区| 91丝袜| 操比国产| 男人下部插入女人下部| 嫩草影院在线观看精品 | 视频黄色国产一级| 亚洲无码AV九九九| 欧美啪啪女女| 日韩素人无码一区二区三区三州| 一区二区三区四区五区高清无码永久视频| 97超级欧美| 999熟女精品| 欧美亚洲中文字幕| 无遮挡又黄又刺激的视频| 欧美丰满少妇xx高潮| 国产 v乱码一区二| 免费看污网站| 粉嫩av一区二区三区四季| 亚洲色婷婷综合久久一区二区三区| 最近二区三区视频大全| 国产家庭乱伦性爱视频| 久久精品中文字幕无码l| www.色婷婷| 九草在线大香蕉| 五月天日日操夜夜操| 欧美激情综合| 333kkkk·亚洲com久久| 综合国产97| 激情小说亚洲图片| 天天综合欧美| 久久透逼视频| 狠狠综合| 亚洲综合九| 少妇久久久久久久| 久久九九国产精品| 亚洲 中文 女同| 国产熟码AV| 操b在线观看| 婷婷爱五月| 欧亚日韩三区| 天堂网亚洲区手机版| 国产91亚洲精品一区二区三区| 欧美性巨大╳╳╳╳╳高跟鞋| 婷婷五月天补不补| 精品欧美日韩在线观看| 一个人免费视频观看在线WWW| 激情专区综合| 久久超碰98| 私人尤物在线精品不卡| 超碰碰小说97| 国内毛片国产欧美拍| 婷婷五月天激情网| 偷拍片久久| 国产AAAAAABBBBB| 天天做天天爱天天高潮| 久操视频在线| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 久久在线观看免费视频| www.av在线观看| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 18禁美女裸体无遮挡啪啪| 曰韩欧美国产传媒麻豆第一区| 色悠久久久av| 久久黄片国产一区二区| 青青11操操操操操操操操| 日本一二三免费久久| 秋霞无码av鲁丝片一区| 亚洲综合99999| 小说区 图片区色 综合区| 五月丁香激情综合网| 丝袜狂射91| 中文字幕国产| 欧亚第一综合网| 日韩免费簧片| 亚洲天堂女优在线| 五月天亚洲色图| 天天干美少妇一区| 久久综合97| 日本色婷婷| 草莓精品视频在线免费观看| 97色香蕉| 啊啊啊轻点在线观看| 吉川爱美亚洲二区在线| 久热伊人99re| 久久久久久无码人妻中文字幕| 神马久久久久眼| 成人亚欧免费视频| 免费观看性欧美一级| 日日躁天天躁狠狠躁| 黑人精品XXX一区一二区| 五月天色电影| 老熟女91av| 亚洲不卡不卡中文字幕不卡| 国产AV天美| 91精品人妻偷情| 精品无码一区二区| 成年无码动漫av片无尽在线 | 日本精品不卡一二三区| 自拍大香蕉乱插| 乱伦a片视频| 亚洲成a人v欧美综合天堂下载| 啊嗯嗯啊好大好爽| 亚洲欧美97| 久艾草在线精品视频在线观看| 97色插| 麻豆综合一区av| 亚洲污污网站| 国产欧美日韩精品中文| 热热色综合网| 久久乐| 日韩成人无码| 欧美亚洲se91| 婷婷激情五月天小说网| 91综合天天看| 嗯啊不要在线| 秋霞免费无码视频日韩A片| 欧美999999| 综合欧美日本三级| 亚洲熟女av中文字幕| 欧美日韩国第一区| AV和黑人在线播放| 情色五月天就去干| 色婷婷丁香五月| 人人弄人人摸| 91网18| 久久久久国产一区二| 国内一级精品| 国产精品久久久久久夜夜夜| 中文字幕精品一区二区精| 九九久精品| 按摩中文字幕| www.99中文字幕| 色老大| 91扒丝袜综合在线| 亚洲黄色网址视频| 国产精品九九九| 亚洲综合九| 精品人妻伦一二三区久久| 欧美性生活男人的天堂| 人澡逼| 九九九九九九九精品视频| 久久这里只精品免费福利| k频道色撸撸| 志村玲子视频一区二区| 日韩激情毛片一级久久久| 中文字幕黄色一起草| 91九色丨国产丨爆乳| 欧美专区日本专区| 探花视频免费观看国产专区| 91撸色网 玖玖网 欧美| 在线观看av区| 午夜亚洲WWW湿好大| 亚洲欧美内射| 欧美综合在线91| 婷婷五月天福利| 九九综合久久中文字幕| 天天色欧美| 欧美激情黑人| 久久伊人网视频一区二区三区| 免费综合亚洲中文| Sekablack无码一区| 物业黑人 AV一区| 国产精品久久久久绯色| 日本三级日本三级99| 日韩欧美操逼xxx| 97久久超碰日韩精品| ai欧美亚洲小说| 欧插网站| 久9综合在线| 黄色片大香蕉| 97日韩欧美亚洲| www黄片免费看com| 91高跟美女在线播放| 26uuu久久| 日韩丝袜人妻AV| 精品国模无码| 欧美97视频| 成人a级高清视频在线观看| 色哟哟-国产专区| 国产精品96| 中文字幕在线免费观看2| 欧美人妻精品一区二区| 日韩欧美偷拍美女视频| 国产欧美日韩女同性恋ww喷水精品 | 国产午夜在线观看| 有码专区最新中文字幕有码| 亚洲黄色网址| 色色99| 99视频自拍| 99re99| 91网站18在线| 精品久久99| 中文字幕熟女人妻丝袜丝| 日产狠狠干| 色哟哟 日韩精品| 国产熟码AV| 另类 日韩 熟女| 亚洲成人ab| 欧美玖玖爱免费玖玖| 日本免费不卡二区| 婷婷五月成人| 久久精品国产亚洲AV片多多 | 欧美丝袜91| 日韩人妻少妇中文字幕| 人人 操人人 操人人| 毛片一区二区| 久久99午夜精品一区人妻| 最新岛国大片| 欧美五十路熟| 第四色奇米影视777| 自拍偷拍草一草| 国产一区二区三区白丝| av网站在线观看了| 亚洲成人在线高清| 岛国在线免费视频| 久久亚洲欧美中文字幕国语| av最新免费中文字幕| 午夜操逼不卡| 这里只有精品视频在线观看麻豆 | 亚洲欧美清纯| 天天爱天天操| 日韩91网站| 欧美亚洲今日在线| 亚洲图片欧美色| 婷婷干黄色| 久久久久亚洲AV无码专区少妇| 欧美性爱免费短视频| 亚洲 日本 国产 综合| 久久精品毛片免费不卡| 爱av免费| 91精品久久久久久综合五月天| 五月婷婷综合激情| 狠狠中文字幕| 精品一久久久| 中文一区二区| 久久久啊啊啊| 欧美色欧美| 国产AV色黄看到爽| 日本高清_区二区三区 | 欧美性爱在线无码| 男人的天堂啪啪啪啪啪蜜桃不卡| 狼人综合婷婷激情四射 | 亚洲无码精品AV久久久| 天天操天天射天天日| 天天日天天干天天整| 日本三级韩国三级99| 无码人妻一区二区一牛影视| www.男人天堂| 粉嫩av一区二区三区天美传媒 | 亚州宗合另类| 日韩欧美被操黄免费观看| 欧美,亚洲,日韩,v,天堂,手机在线观看| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 高潮毛片无遮挡高清免费| xxx0国产在线播放| 亚洲.欧美.丝袜.中文.综合| 熟妇视频一区二区三区在线观看| 99www.bibizy香蕉资源国产一区二区三区高清 | 97欧美精品| 日韩性爱1级片视频| 99久久网站| 丰满人妻一区二区三区四| 欧美 熟女 日韩| 校园春色 亚洲| 极品销魂美女一区二区| 午夜影美女日鸡鸡天天视频国产| 98色网| 日韩美女,国产传媒,视频一区| 亚洲色欧| 翔田千里爆乳巨臀无码| 国产成人+综合亚洲+天堂| 午夜呻吟欧美| chaopen97久久| 搡老熟女免费视频| 美国aaaaa一级黄片| 欧美专区在线| 欧美女同在线| 被窝影院午夜看片无码| 91啪啪视频| 亚洲美女 晚间男人天堂| 欧美精品黑人猛交高潮| 波多野结衣被操50分钟免费视频| 丁香五月激情啪啪| 久久妇| 97超碰人人操人人操| 狠狠激情综合狠狠操中文字幕| 欧美色九九九| 色臀AV| 无色无码| 久久熟妇五十路一区| 一二区在线观看视频| 在线播放免费av福利片| 久久久9视频| 亚洲操操操无码| 免费一级精品啪啪视频| 欧美日韩国产传媒在线精品| 亚洲中文sv| 岛国网址国产| 久久偷拍人| 青青在线视频日韩欧美| 亚洲成人综合在线| 日韩不卡一二三四| 国产又猛又粗又爽又黄| 天天添天天干电影| 久久精品区| 白嫩国模丰满一二三区| 大香蕉一人在线| av影片在线观看不卡| 五月天大香蕉| 91亚.色| 亚洲成人性爱在线观看| 日本男人插女人的逼黄色| 久操91视频| 色精品极品| 特色a在线上| 色情综合网| 操淫穴亚洲五月丁香 | 91中出在线| 国内精品久久人妻性色av| 台湾佬激情综合| 亚洲综合九九| 艹我哪美一区无码| 男人的天堂com| 午夜丁香| 国产日韩美女小穴视频网站不卡| 亚洲欧美日韩精品久| 天天激色| 亚洲αv一区二区三区| 中文字幕久久亚州无码| 人人看欧美性爱| 欧美一二三区四五区| 麻豆国产97在线| 午夜呻吟欧美| 3PAV乱伦视频| 一区麻豆 高清中文字幕| 久久精品国产亚洲5555| 熟妇人妻一区二区三区| 丝袜 中出 制服 人妻 美腿 中文字幕| 色色婷| 久久αⅴ| 综合网欧美在线| 成年无码动漫av片无尽在线 | 天天视频网站黄| 老鸭窝黄色视频网站| 免费啪啪av| 情色五月天网| 国产尤物AV尤物在线观看不卡| 五月天人妻综合| 亚洲AV无码久久久国产精品| 91男人综合| 欧亚性爱视频免费看| 欧美色图亚洲色,麻豆| 亚洲AV成人在线| 男人的天堂va在线| 中文字幕在在线观看网站| 亚洲欧洲中文日韩女优乱码| 久久久不卡区一区二区三区久久久| 人妻丰满熟妇一区二区三| 九一性生活免费视频| 日韩性爱播放| 欧美懂色综合网| 乱理日韩中文| 欧美日本中字另类在线| 亚洲色悠悠久久88| 日韩一级欧美一级在线观看| 青青草一区二区高清无码视频| 人妻天堂综合网| 欧美高清18A片| 啊啊啊啊好大好硬啊啊啊啊啊 | 欧美综合自拍| 欧美日韩精品久久| 操逼网站视频漫画国产| 91综合中文字幕| 九九热视频这里只有精品| 日操粉逼逼| 国产熟女无套内射| 99RE在线视频精品,这里只有精品| 韩国午夜理伦三级好看| 久久久精精精| 欧美A√综合网 | 野狼福利社区| 九九九九九九九九九五码| 秋霞曰韩R级| 中文字幕一区二区三区50路| 久久蜜桃综合网| 蜜乳AV网址| 中文字幕在线观| 国产精品视频在线播放 | 加勒比AV天堂| 丁香五月av| 亚洲国产成人精品999| 九九九只有精品| 欧美少妇一区二区三区| 91小视频| 亚洲密乳AV| 91少妇高潮| 午夜精品久久久99| 五月丁香色婷婷| 女同女同恋久久级三级| 夜夜高潮夜夜爽夜夜爱爱一区| 亚洲AV无码久久精品蜜桃小说| 日韩另类| 国产精品亚洲一级av第二区| 97爱啪| 99热精品国产| 丰满人妻-区二区三区免费| 日日日日做夜夜夜夜无码| 97视频在线播放| 大香蕉日亚洲日本亚大 | 不卡中文字幕aⅴ在线| 九九九999久久久网站| 亚洲青色欧美| 97中文天堂| www.久久久久| 精品人妻一区| 哈哈操电影| 新视频sss国产| 美女露胸露屁股| 亚洲精品亚洲人成人网| 熟妇的味道HD中文字幕| 亚洲熟女综合网| 夜夜嗨TV| www.男人天堂| 操b网站亚洲无码| 九九热免费国产视频婷婷伊人| 中文字幕 国产区| 激情小说成人日本无码一| 欧美日韩在线视频网站| 三四中文字幕| 精品二区久久| 97草草| 99精品人人爽| 天天干天天日天天射黄色片| 久热色情精品| 能看的av| 99精品免费| 亚洲偷拍自拍在线视频| 自拍偷拍亚洲熟女妇人精品| 色色色日本| 最新亚洲黄色免费电影| 国产精品69久久久久久久| 亚洲资源网| 亚洲色图欧美另类在线| 大鸡吧尹人在线| 五月久久HDAV| 国产乱码久久| 操少妇很爽av| 青青操青娱乐| 婷婷久草一区二区三区| 25国产精品免费观看| 久久国产视频性吧 | 极品色综合| 亚洲中文字幕av| 欧美综合中文| 欧美九九九| 色偷偷超碰亚洲| 91激情国产| 国产精品电| 欧美综合色| 九九九九九九精品| 黑丝制服中文字幕| 一级AAA片一区二区三区| 四虎免费在线播放| 欧美美逼| 九九九九9999| 91综合色| 亚洲97| 麻豆国产97在线| 18禁止看精品中文字幕| 人人 操人人 操人人| 啪啪啪东京| 丰满人妻一区二区三区四区| 一本一道vs波多野结衣| 精品黑人一区二区| 亚洲天堂人妻熟妇视频| 日本高清一区二区在线| 日本肉体xxxx裸交| 人妻熟女一区在| 高潮内射在线| 白丝少妇一区二区| 综合性视频99| 九九九九亚洲| 男人的天堂kva| 欧美色图亚洲激情| 青娱乐福利99| 久久九九视频九九视频| 欧美自拍偷拍免费观看| 97在线精品| 日韩天堂av电影在线观看| 九九拍拍精品视频在线播放| 啊啊啊啊啊啊啊在线| 日韩美女高潮喷水视频| 青青草导航在线视频| 97干在线视频| 无码高清操逼网址| 国产精品无码av在线| 亚洲综合激情五月久久| 无码99| 亚洲欧洲第二视频在线观看色图| 色噜噜人妻av中文字幕| 男人天堂欧美| 99久久国产精品免费高潮| 不卡一区二区日本视频 | 青青草中文-久久青草精品一区二区三| 日韩在线76| 国产肏屁眼视频| 精品无av| 欧美成人性爱视频在线播放| 大香蕉乱级| 激情专区综合| 午夜久久一区二区无码中出| 超碰在97| 亚洲色人阁| 免费黄色片。| 天天日天天操心| 传媒免费一区二区三区| 少妇三p| 亚洲无码国产精品久久| 亚洲经典啪啪| 精品然女一区二区| aV中文麻| 噜噜噜在线视频| 四虎AV在线观看| 久久超碰亚洲人| 日韩欧美麻豆 | 水滴偷拍| 一区二区三区亚洲| 大奶啊啊好爽 | 日韩一区二区精彩视频| 婷婷操逼| 亚洲天堂情色| 欲香欲色| ?亚洲伊人伊成久久人综合网| 蜜臀av在线播放一区二区三区| 欧美传媒一区| 日产操逼| 色色国产| 天天综合网~91入口| 精品国产乱码久久久久久蜜臀| 国产精品久久久久久片| 欧美性暴力猛交XXXX| 色婷婷成人综合| 人乳av| 亚洲h片在线免费观看| 九九亚洲| 91在线丝袜| 香伊人在线| 激情一区二区三区在线观看| 欧美最大综合网| AV乱伦专区| 激激五月| 玖玖无码超碰| 亞洲久久直播| 综合亚洲情色| 国产精品一区二区三区免费视频| 偷拍自拍在线视频观看| 成人久久无码www| 久久专区| 97色碰| 我爱搞逼综合网| 成人免费看吃奶视频网站| 欧美美女自慰一区二区三区| 91久久久久| 91av一区二区在线观看| 亚洲男人天堂2019|