久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

基于騰訊云構(gòu)建企業(yè)級物聯(lián)網(wǎng)OTA系統(tǒng):架構(gòu)設(shè)計與安全實踐

基于騰訊云構(gòu)建企業(yè)級物聯(lián)網(wǎng)OTA系統(tǒng):架構(gòu)設(shè)計與安全實踐 1. 項目概述為什么我們需要一個“云上”的OTA系統(tǒng)做嵌入式或者物聯(lián)網(wǎng)設(shè)備開發(fā)的朋友對“OTA”這個詞肯定不陌生。它全稱是“Over-The-Air”翻譯過來就是“空中下載技術(shù)”。簡單說就是讓你的設(shè)備比如一個智能插座、一個工業(yè)網(wǎng)關(guān)或者一塊開發(fā)板能夠通過網(wǎng)絡(luò)自動下載并更新固件而不用你跑到現(xiàn)場去插線、燒錄。這聽起來很美好對吧但真正自己動手從零搭建一套穩(wěn)定、安全、可管理的OTA系統(tǒng)坑可不少。幾年前我負(fù)責(zé)的一個智能家居項目就踩過大坑。當(dāng)時為了快速上線OTA功能做得非常簡陋設(shè)備直接從一個靜態(tài)的HTTP服務(wù)器拉取固件包。結(jié)果呢服務(wù)器被刷爆、升級包被惡意替換、設(shè)備變磚……各種問題層出不窮運維同事差點把我“祭天”。痛定思痛我開始研究如何構(gòu)建一個企業(yè)級的OTA解決方案。經(jīng)過多個項目的迭代我發(fā)現(xiàn)基于成熟的公有云平臺來構(gòu)建OTA后端是性價比最高、最穩(wěn)妥的選擇。而騰訊云憑借其豐富的產(chǎn)品矩陣和穩(wěn)定的服務(wù)成為了我的首選。今天我就把自己基于騰訊云搭建OTA遠(yuǎn)程升級系統(tǒng)的實戰(zhàn)經(jīng)驗從架構(gòu)設(shè)計、核心組件選型到安全策略、實操步驟和避坑指南毫無保留地分享出來。這套方案不僅適用于物聯(lián)網(wǎng)設(shè)備對于任何需要遠(yuǎn)程管理、分發(fā)二進(jìn)制文件的場景比如邊緣計算盒子、自助終端等都有參考價值。你會發(fā)現(xiàn)借助云服務(wù)我們能把精力從繁瑣的基礎(chǔ)設(shè)施運維中解放出來更專注于業(yè)務(wù)邏輯和設(shè)備本身。2. 整體架構(gòu)設(shè)計與核心思路拆解在動手敲代碼之前我們必須把架構(gòu)想清楚。一個完整的OTA系統(tǒng)遠(yuǎn)不止是“設(shè)備下載文件”那么簡單。它至少需要解決四個核心問題固件存儲與分發(fā)、升級任務(wù)管理、設(shè)備狀態(tài)追蹤、升級過程安全?;谶@些需求我設(shè)計了下面這套以騰訊云為核心的后端架構(gòu)。2.1 核心組件選型與職責(zé)劃分我的核心思路是用對象存儲做倉庫用云函數(shù)做大腦用消息隊列做神經(jīng)用數(shù)據(jù)庫做記憶。下面是每個騰訊云組件扮演的角色騰訊云對象存儲COS這是整個系統(tǒng)的“倉庫”。所有版本的固件包.bin, .img文件都安全地存放在這里。COS提供了高可靠性、高可用性和極強(qiáng)的擴(kuò)展性完全不用擔(dān)心存儲空間和帶寬問題。更重要的是它可以生成具有時效性的簽名URL實現(xiàn)安全、可控的固件下載。云函數(shù)SCF這是系統(tǒng)的“大腦”和“調(diào)度中心”。所有業(yè)務(wù)邏輯比如創(chuàng)建升級任務(wù)、驗證設(shè)備升級權(quán)限、生成固件下載鏈接、處理設(shè)備上報的狀態(tài)等都通過一個個云函數(shù)來實現(xiàn)。它無服務(wù)器Serverless的特性讓我們無需關(guān)心服務(wù)器運維按實際調(diào)用次數(shù)付費成本極低。消息隊列CMQ/TDMQ這是系統(tǒng)的“神經(jīng)系統(tǒng)”。當(dāng)管理后臺創(chuàng)建一個升級任務(wù)后可以通過消息隊列將任務(wù)指令異步、可靠地推送給海量設(shè)備。設(shè)備端的SDK訂閱相關(guān)主題就能實時收到升級通知。這解耦了后臺任務(wù)創(chuàng)建和設(shè)備端觸發(fā)提升了系統(tǒng)的響應(yīng)能力和可靠性。云數(shù)據(jù)庫MySQL/RedisMySQL作為“核心記憶”存儲結(jié)構(gòu)化數(shù)據(jù)。主要包括firmware_meta表存儲固件元信息版本號、文件COS路徑、MD5、文件大小、適用設(shè)備型號、更新日志、創(chuàng)建時間。ota_task表存儲升級任務(wù)任務(wù)ID、目標(biāo)固件版本、設(shè)備篩選條件、升級策略、任務(wù)狀態(tài)、創(chuàng)建時間。device_upgrade_record表存儲每臺設(shè)備的升級記錄設(shè)備ID、任務(wù)ID、升級狀態(tài)、開始時間、結(jié)束時間、失敗原因。Redis作為“高速緩存”存儲會話級和狀態(tài)數(shù)據(jù)。例如設(shè)備上報的臨時升級狀態(tài)、頻繁訪問的固件信息、防止重復(fù)請求的令牌等可以放在Redis中極大提升接口性能。API網(wǎng)關(guān)API Gateway這是系統(tǒng)的“門面”。它將后端的云函數(shù)包裝成標(biāo)準(zhǔn)的HTTP/HTTPS API接口提供給設(shè)備端和管理后臺調(diào)用。API網(wǎng)關(guān)負(fù)責(zé)認(rèn)證、鑒權(quán)、流量控制、監(jiān)控和日志是我們實現(xiàn)安全訪問的第一道關(guān)卡。這個架構(gòu)的優(yōu)勢在于全托管、高彈性、強(qiáng)安全。每個組件都是騰訊云托管的服務(wù)我們不需要維護(hù)任何物理服務(wù)器。當(dāng)設(shè)備量從幾百臺暴增到幾十萬臺時COS和SCF可以自動擴(kuò)容消息隊列能保證消息不丟失整個系統(tǒng)能平穩(wěn)支撐。2.2 升級流程的“雙車道”設(shè)計設(shè)備如何知道該升級了我推薦兩種主流模式可以比作“廣播通知”和“主動查詢”雙車道。車道一服務(wù)端推送模式推薦用于實時性要求高的場景管理員在后臺創(chuàng)建升級任務(wù)選擇目標(biāo)設(shè)備和固件。后臺調(diào)用云函數(shù)云函數(shù)將升級指令包含任務(wù)ID、固件版本號等信息發(fā)布到消息隊列的特定主題。設(shè)備端SDK長期在線并訂閱了該主題實時接收到升級指令。設(shè)備觸發(fā)升級流程。這種模式實時性最好設(shè)備能在秒級內(nèi)響應(yīng)升級指令。適合用于緊急漏洞修復(fù)或重要功能推送。車道二設(shè)備定時輪詢模式兼容性最好適用于所有設(shè)備設(shè)備在啟動后或定時如每2小時向服務(wù)端的“檢查更新”API發(fā)起請求。請求中攜帶設(shè)備ID、當(dāng)前固件版本、設(shè)備型號等信息。提供該API的云函數(shù)查詢數(shù)據(jù)庫判斷是否存在針對該設(shè)備的、未執(zhí)行的升級任務(wù)。如果存在則返回升級任務(wù)信息和帶簽名的固件下載URL。設(shè)備觸發(fā)升級流程。這種模式對設(shè)備端要求低即使設(shè)備不支持長連接也能工作。是OTA系統(tǒng)的保底機(jī)制。在實際項目中我通常兩者結(jié)合使用。設(shè)備端同時實現(xiàn)消息訂閱和定時輪詢。平時通過消息隊列保持低功耗的實時監(jiān)聽一旦網(wǎng)絡(luò)異常或消息丟失定時輪詢可以作為可靠的備份機(jī)制確保升級指令最終能送達(dá)。3. 核心細(xì)節(jié)解析與實操要點架構(gòu)清晰了我們來看看幾個最關(guān)鍵環(huán)節(jié)的實現(xiàn)細(xì)節(jié)這些地方直接決定了OTA系統(tǒng)的穩(wěn)定性和安全性。3.1 固件包的安全設(shè)計與完整性校驗固件包是OTA的核心資產(chǎn)絕不能出問題。我設(shè)計了一套從生成到驗證的完整鏈條1. 固件包預(yù)處理編譯服務(wù)器上完成# 假設(shè)已有編譯好的 firmware.bin # 1. 計算固件的MD5和SHA256用于完整性校驗 md5sum firmware.bin firmware.bin.md5 sha256sum firmware.bin firmware.bin.sha256 # 2. 使用開發(fā)團(tuán)隊的私鑰對固件的SHA256哈希值進(jìn)行簽名 # 例如使用 openssl openssl dgst -sha256 -sign private_key.pem -out firmware.sig firmware.bin # 3. 將固件、MD5文件、SHA256文件和簽名文件打包成一個升級包 tar -czvf firmware_v1.0.1.tar.gz firmware.bin firmware.bin.md5 firmware.bin.sha256 firmware.sig最終上傳到COS的就是這個firmware_v1.0.1.tar.gz包。同時需要將固件的版本號、MD5、SHA256、簽名或簽名文件的COS路徑、文件大小、適用型號等元信息寫入數(shù)據(jù)庫的firmware_meta表。2. 設(shè)備端升級時的校驗流程設(shè)備上完成設(shè)備下載完升級包并解壓后必須按順序執(zhí)行以下校驗任何一步失敗都應(yīng)立即中止升級并報錯大小校驗比對下載文件的大小與服務(wù)端告知的大小是否一致防止網(wǎng)絡(luò)傳輸不完整。哈希校驗計算下載的firmware.bin的MD5或SHA256與包內(nèi)的.md5或.sha256文件內(nèi)容比對。這一步防止文件在傳輸或存儲過程中損壞。簽名校驗最關(guān)鍵使用預(yù)置在設(shè)備安全存儲區(qū)如efuse的公鑰對firmware.sig進(jìn)行驗簽驗證其是否與firmware.bin的SHA256哈希值匹配。這一步是防止固件被惡意篡改的最后防線。只有通過簽名校驗的固件才被認(rèn)為是合法、來自官方開發(fā)團(tuán)隊的。實操心得密鑰管理是命門用于簽名的私鑰必須離線保存最好使用硬件安全模塊HSM。編譯服務(wù)器的私鑰一旦泄露整個OTA系統(tǒng)的安全基石就崩塌了。設(shè)備端的公鑰則需要在出廠時燒錄且不可被后續(xù)軟件修改。對于資源受限的MCU可能無法進(jìn)行非對稱加密驗簽?zāi)敲粗辽僖靡粋€設(shè)備端預(yù)置的對稱密鑰來計算HMAC作為替代方案但安全性稍弱。3.2 升級任務(wù)與設(shè)備分組的灰度發(fā)布策略“一刀切”的全量升級是危險的。一個未經(jīng)充分測試的新固件如果直接推給所有設(shè)備可能導(dǎo)致大規(guī)模變磚。因此灰度發(fā)布金絲雀發(fā)布是OTA系統(tǒng)的必備功能。我的實現(xiàn)方案依賴于數(shù)據(jù)庫中的ota_task表和device_info表。ota_task表中有一個target_devices字段它不直接存儲設(shè)備ID列表那樣不靈活而是存儲一個篩選規(guī)則。例如任務(wù)可以設(shè)定為target_devices:{model: GW-2000, version: 1.2.0, percentage: 10}含義針對型號為“GW-2000”且當(dāng)前版本低于1.2.0的設(shè)備隨機(jī)選取10%進(jìn)行升級。當(dāng)設(shè)備調(diào)用“檢查更新”API或收到消息時云函數(shù)會根據(jù)設(shè)備ID查詢device_info表獲取其型號、當(dāng)前版本、所屬區(qū)域等標(biāo)簽。查詢所有活躍的ota_task用設(shè)備的標(biāo)簽去匹配任務(wù)的target_devices規(guī)則。如果匹配成功再根據(jù)“percentage”等灰度規(guī)則通過一個確定的算法如device_id % 100 percentage判斷該設(shè)備是否命中本次升級。如果命中則返回升級信息?;叶韧七M(jìn)流程內(nèi)部測試創(chuàng)建任務(wù)target_devices指定為內(nèi)部測試設(shè)備的ID列表。1%灰度任務(wù)目標(biāo)改為特定型號的1%隨機(jī)設(shè)備。觀察這批設(shè)備的升級成功率、失敗原因和設(shè)備運行日志。10%灰度如果1%灰度表現(xiàn)穩(wěn)定將比例擴(kuò)大到10%。繼續(xù)觀察。50% - 全量逐步擴(kuò)大范圍直至覆蓋全部目標(biāo)設(shè)備。注意事項灰度規(guī)則的靈活性target_devices字段的設(shè)計要足夠靈活支持多維度篩選。除了型號、版本、隨機(jī)比例還可以加入“城市”、“網(wǎng)絡(luò)運營商”、“設(shè)備分組”等業(yè)務(wù)標(biāo)簽。這樣我們可以先對“北京聯(lián)通的設(shè)備”進(jìn)行灰度再推廣到全國。3.3 利用COS簽名URL實現(xiàn)安全下載我們不可能把COS的固件文件設(shè)置為公開可讀那太危險了。也不能把COS的永久密鑰放在設(shè)備端因為一旦泄露對象存儲就門戶大開。騰訊云COS的“臨時密鑰”和“預(yù)簽名URL”機(jī)制完美解決了這個問題。流程如下設(shè)備通過認(rèn)證后向“獲取下載地址”API發(fā)起請求。該API背后的云函數(shù)首先校驗設(shè)備是否有權(quán)限升級到此版本。校驗通過后云函數(shù)使用騰訊云的SDK生成一個針對該固件文件的、具有時效性例如15分鐘的預(yù)簽名URL。# Python示例在云函數(shù)中 from qcloud_cos import CosConfig, CosS3Client import datetime def generate_presigned_url(bucket, key, expired_seconds900): config CosConfig(Regionap-guangzhou, SecretId臨時密鑰Id, SecretKey臨時密鑰Key) client CosS3Client(config) url client.get_presigned_download_url( Bucketbucket, Keykey, # 固件在COS中的完整路徑 Params{}, # 可以加響應(yīng)頭參數(shù)如ResponseContentDisposition指定下載文件名 Expiredexpired_seconds ) return url將這個僅15分鐘內(nèi)有效的URL返回給設(shè)備。設(shè)備在有效期內(nèi)使用此URL直接下載固件。過期后該URL自動失效。這樣即使URL在傳輸過程中被截獲攻擊者也只有很短的窗口期進(jìn)行利用大大提升了安全性。云函數(shù)本身使用的是從CAM訪問管理獲取的臨時密鑰其權(quán)限被嚴(yán)格限制在“生成指定目錄下文件的簽名URL”這一最小范圍內(nèi)遵循了最小權(quán)限原則。4. 實操過程從零搭建OTA后端核心理論說了這么多我們動手搭一個最簡單的可運行原型。這里我以“設(shè)備定時輪詢”模式為例演示最核心的“檢查更新”和“上報狀態(tài)”兩個API的實現(xiàn)。4.1 環(huán)境準(zhǔn)備與云資源創(chuàng)建首先你需要在騰訊云控制臺創(chuàng)建以下資源假設(shè)你已有騰訊云賬號對象存儲COS創(chuàng)建一個存儲桶例如ota-firmware-1250000000。在桶內(nèi)創(chuàng)建目錄結(jié)構(gòu)firmware/{device_model}/。例如firmware/gw2000/。上傳一個測試固件包如firmware/gw2000/v1.0.1.bin。重要存儲桶的訪問權(quán)限設(shè)置為“私有讀寫”。云數(shù)據(jù)庫MySQL購買一個MySQL實例最低配置即可。創(chuàng)建數(shù)據(jù)庫ota_center。執(zhí)行以下SQL創(chuàng)建核心表CREATE TABLE firmware_meta ( id int(11) NOT NULL AUTO_INCREMENT, version varchar(50) NOT NULL COMMENT 版本號如v1.0.1, model varchar(50) NOT NULL COMMENT 適用設(shè)備型號, file_path varchar(255) NOT NULL COMMENT COS文件路徑, file_size bigint(20) NOT NULL COMMENT 文件大小(字節(jié)), file_md5 varchar(32) NOT NULL COMMENT 文件MD5, description text COMMENT 更新描述, is_released tinyint(1) DEFAULT 0 COMMENT 是否已發(fā)布, create_time datetime DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (id), UNIQUE KEY idx_version_model (version,model) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4; CREATE TABLE ota_task ( id int(11) NOT NULL AUTO_INCREMENT, task_name varchar(100) NOT NULL, firmware_id int(11) NOT NULL COMMENT 關(guān)聯(lián)的固件id, target_condition json DEFAULT NULL COMMENT 目標(biāo)設(shè)備篩選條件JSON, status enum(pending,running,paused,completed) DEFAULT pending, creator varchar(50) DEFAULT NULL, create_time datetime DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (id) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4; CREATE TABLE device_upgrade_record ( id bigint(20) NOT NULL AUTO_INCREMENT, device_id varchar(64) NOT NULL, task_id int(11) NOT NULL, from_version varchar(50) DEFAULT NULL, to_version varchar(50) DEFAULT NULL, status enum(downloading,verifying,upgrading,success,failed) NOT NULL, error_msg varchar(255) DEFAULT NULL, start_time datetime DEFAULT NULL, end_time datetime DEFAULT NULL, PRIMARY KEY (id), KEY idx_device_id (device_id), KEY idx_task_id (task_id) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;云函數(shù)SCF與API網(wǎng)關(guān)我們將通過API網(wǎng)關(guān)觸發(fā)云函數(shù)。在創(chuàng)建云函數(shù)時選擇“Web函數(shù)”或“事件函數(shù)”并關(guān)聯(lián)API網(wǎng)關(guān)觸發(fā)器會更方便。4.2 核心云函數(shù)代碼實現(xiàn)Python示例我們創(chuàng)建兩個云函數(shù)check_update和report_status。函數(shù)一check_update檢查更新這個函數(shù)接收設(shè)備ID和型號返回是否有可用的升級任務(wù)及下載信息。# -*- coding: utf8 -*- import json import logging import pymysql from qcloud_cos import CosConfig, CosS3Client from datetime import datetime, timedelta import os logger logging.getLogger() logger.setLevel(logging.INFO) # 從環(huán)境變量讀取配置安全 db_host os.getenv(DB_HOST) db_user os.getenv(DB_USER) db_password os.getenv(DB_PASSWORD) db_name os.getenv(DB_NAME) cos_secret_id os.getenv(COS_SECRET_ID) # 應(yīng)使用臨時密鑰此處簡化演示 cos_secret_key os.getenv(COS_SECRET_KEY) cos_region os.getenv(COS_REGION, ap-guangzhou) cos_bucket os.getenv(COS_BUCKET) def main_handler(event, context): 處理設(shè)備檢查更新請求 # 1. 解析請求參數(shù) try: # 從API網(wǎng)關(guān)事件中獲取請求體 if body not in event: return {code: 400, message: Invalid request} req_body json.loads(event[body]) device_id req_body.get(device_id) device_model req_body.get(model) current_version req_body.get(current_version) if not all([device_id, device_model, current_version]): return {code: 400, message: Missing required fields} except Exception as e: logger.error(fParse request error: {e}) return {code: 400, message: Bad request format} # 2. 查詢數(shù)據(jù)庫檢查是否有符合條件的升級任務(wù)和固件 connection None try: connection pymysql.connect(hostdb_host, userdb_user, passworddb_password, databasedb_name, charsetutf8mb4) with connection.cursor(pymysql.cursors.DictCursor) as cursor: # 查找針對該型號、已發(fā)布、且版本高于設(shè)備當(dāng)前版本的固件 sql SELECT fm.* FROM firmware_meta fm WHERE fm.model %s AND fm.is_released 1 AND fm.version %s ORDER BY fm.version DESC LIMIT 1 cursor.execute(sql, (device_model, current_version)) firmware cursor.fetchone() if not firmware: # 無新固件 return { code: 200, data: {has_update: False} } # 檢查是否有正在進(jìn)行的、包含此設(shè)備的升級任務(wù) (簡化邏輯實際需匹配target_condition) task_sql SELECT ot.id FROM ota_task ot WHERE ot.firmware_id %s AND ot.status running LIMIT 1 cursor.execute(task_sql, (firmware[id],)) task cursor.fetchone() if not task: # 有固件但無任務(wù)可能未開始灰度 return { code: 200, data: {has_update: False} } # 3. 生成固件的預(yù)簽名下載URL (有效期15分鐘) cos_config CosConfig(Regioncos_region, SecretIdcos_secret_id, SecretKeycos_secret_key) cos_client CosS3Client(cos_config) # 假設(shè)file_path是類似 firmware/gw2000/v1.0.1.bin 的路徑 file_key firmware[file_path] download_url cos_client.get_presigned_download_url( Bucketcos_bucket, Keyfile_key, Expired900 # 15分鐘 ) # 4. 在升級記錄表中插入一條“待開始”的記錄 insert_sql INSERT INTO device_upgrade_record (device_id, task_id, from_version, to_version, status, start_time) VALUES (%s, %s, %s, %s, downloading, %s) ON DUPLICATE KEY UPDATE statusdownloading, start_time%s, error_msgNULL now datetime.now() cursor.execute(insert_sql, (device_id, task[id], current_version, firmware[version], now, now)) record_id cursor.lastrowid connection.commit() # 5. 返回升級信息 response_data { has_update: True, task_id: task[id], record_id: record_id, firmware: { version: firmware[version], size: firmware[file_size], md5: firmware[file_md5], description: firmware.get(description, ), url: download_url # 預(yù)簽名URL } } return { code: 200, data: response_data } except pymysql.Error as e: logger.error(fDatabase error: {e}) if connection: connection.rollback() return {code: 500, message: Database operation failed} except Exception as e: logger.error(fUnexpected error: {e}) return {code: 500, message: Internal server error} finally: if connection: connection.close()函數(shù)二report_status上報狀態(tài)設(shè)備在升級過程中的每個關(guān)鍵節(jié)點開始下載、校驗成功、開始寫入、升級成功/失敗都需要調(diào)用此接口上報狀態(tài)。# -*- coding: utf8 -*- import json import logging import pymysql from datetime import datetime import os logger logging.getLogger() logger.setLevel(logging.INFO) # 數(shù)據(jù)庫配置同上略 def main_handler(event, context): 處理設(shè)備升級狀態(tài)上報 try: req_body json.loads(event[body]) device_id req_body.get(device_id) record_id req_body.get(record_id) # 檢查更新時返回的記錄ID status req_body.get(status) # downloading, verifying, upgrading, success, failed error_msg req_body.get(error_msg, ) if not all([device_id, record_id, status]): return {code: 400, message: Missing required fields} if status not in [downloading, verifying, upgrading, success, failed]: return {code: 400, message: Invalid status} except Exception as e: logger.error(fParse request error: {e}) return {code: 400, message: Bad request format} connection None try: connection pymysql.connect(hostdb_host, userdb_user, passworddb_password, databasedb_name, charsetutf8mb4) with connection.cursor() as cursor: now datetime.now() update_sql UPDATE device_upgrade_record SET status %s, error_msg %s, end_time CASE WHEN %s IN (success, failed) THEN %s ELSE end_time END WHERE id %s AND device_id %s # 只有當(dāng)狀態(tài)是成功或失敗時才更新end_time end_time_value now if status in [success, failed] else None cursor.execute(update_sql, (status, error_msg, status, end_time_value, record_id, device_id)) if cursor.rowcount 0: # 未找到對應(yīng)記錄可能是record_id或device_id不匹配 return {code: 404, message: Upgrade record not found} connection.commit() return {code: 200, message: Status updated successfully} except pymysql.Error as e: logger.error(fDatabase error: {e}) if connection: connection.rollback() return {code: 500, message: Database operation failed} except Exception as e: logger.error(fUnexpected error: {e}) return {code: 500, message: Internal server error} finally: if connection: connection.close()4.3 設(shè)備端升級流程偽代碼設(shè)備端的邏輯相對固定以下是一個簡化的主流程偽代碼你可以根據(jù)實際平臺如FreeRTOS、Linux、Android等用C/C或其他語言實現(xiàn)// 設(shè)備端OTA核心流程偽代碼 int device_ota_main_loop() { while (1) { // 1. 定時檢查更新例如每2小時 if (should_check_update()) { ota_info_t info check_update_from_server(); if (info.has_update) { // 2. 上報狀態(tài)開始下載 report_status_to_server(DOWNLOADING); // 3. 下載固件包 if (download_firmware(info.url, info.size, LOCAL_FILE_PATH) ! SUCCESS) { report_status_to_server(FAILED, Download failed); continue; } // 4. 上報狀態(tài)下載完成開始校驗 report_status_to_server(VERIFYING); // 5. 完整性校驗大小、MD5、簽名 if (verify_firmware(LOCAL_FILE_PATH, info.md5, info.size) ! SUCCESS) { report_status_to_server(FAILED, Verification failed); delete_file(LOCAL_FILE_PATH); continue; } // 6. 上報狀態(tài)校驗通過開始升級 report_status_to_server(UPGRADING); // 7. 進(jìn)入Bootloader或特定分區(qū)進(jìn)行固件燒寫 // 這是最關(guān)鍵的步驟需要硬件支持雙分區(qū)、恢復(fù)機(jī)制等 if (perform_upgrade(LOCAL_FILE_PATH) ! SUCCESS) { // 升級失敗嘗試回滾如果有備份分區(qū) rollback_if_possible(); report_status_to_server(FAILED, Upgrade process error); } else { // 8. 上報狀態(tài)升級成功 report_status_to_server(SUCCESS); // 9. 重啟設(shè)備運行新固件 system_reboot(); } } } sleep(CHECK_INTERVAL); } return 0; }5. 常見問題與排查技巧實錄在實際部署和運營中你會遇到各種各樣的問題。下面是我踩過坑后總結(jié)的一些典型問題及其排查思路。5.1 設(shè)備端升級失敗問題排查設(shè)備端是問題的高發(fā)區(qū)。當(dāng)設(shè)備上報“failed”狀態(tài)時我們需要根據(jù)error_msg和設(shè)備日志快速定位。問題現(xiàn)象可能原因排查步驟與解決方案下載失敗1. 網(wǎng)絡(luò)不穩(wěn)定。2. COS簽名URL過期。3. 設(shè)備存儲空間不足。1. 檢查設(shè)備網(wǎng)絡(luò)連接重試機(jī)制是否生效建議實現(xiàn)斷點續(xù)傳。2. 確認(rèn)設(shè)備從獲取URL到開始下載的時間間隔是否超過URL有效期如15分鐘。可適當(dāng)延長有效期或在下載前重新請求URL。3. 檢查設(shè)備可用存儲空間是否大于固件包大小的2倍需要臨時存儲。校驗失敗MD5不匹配1. 下載文件不完整或損壞。2. 設(shè)備端MD5計算邏輯有誤。3. 服務(wù)端存儲的MD5值錯誤。1. 優(yōu)先懷疑下載問題。對比下載文件大小與服務(wù)器記錄是否一致。實現(xiàn)下載后的文件大小校驗。2. 在設(shè)備端用標(biāo)準(zhǔn)工具如md5sum命令對下載文件進(jìn)行計算與程序計算結(jié)果比對。3. 核對數(shù)據(jù)庫firmware_meta表中該固件的file_md5值是否正確。簽名校驗失敗1. 設(shè)備端公鑰與簽名私鑰不匹配。2. 固件包在簽名后被篡改。3. 設(shè)備端驗簽代碼邏輯錯誤。1.這是最嚴(yán)重的問題。確認(rèn)出廠燒錄的公鑰與編譯服務(wù)器使用的私鑰是否配對??赏ㄟ^在服務(wù)器上用私鑰簽名一個測試文件在設(shè)備端用公鑰驗證來測試。2. 確保從COS下載到驗簽的整個鏈路中固件文件未被修改。3. 檢查驗簽函數(shù)的輸入?yún)?shù)原始固件數(shù)據(jù)、簽名數(shù)據(jù)是否正確。升級過程中斷電變磚1. 沒有實現(xiàn)雙分區(qū)或恢復(fù)機(jī)制。2. 升級流程非原子操作中途斷電導(dǎo)致系統(tǒng)損壞。1.必須實現(xiàn)回滾機(jī)制。推薦A/B雙分區(qū)設(shè)計設(shè)備始終從A分區(qū)運行升級時下載固件到B分區(qū)校驗成功后將B標(biāo)記為活動分區(qū)重啟后從B運行。如果B分區(qū)啟動失敗Bootloader應(yīng)能自動回滾到A分區(qū)。2. 升級過程如擦寫Flash應(yīng)盡可能原子化并做好電源管理意外斷電后能從中斷點恢復(fù)或回滾。升級后設(shè)備無法啟動1. 新固件本身有Bug。2. 固件與設(shè)備硬件型號不匹配。3. 升級過程破壞了Bootloader或關(guān)鍵參數(shù)區(qū)。1. 這正是灰度發(fā)布要避免的?;貪L到上一版本。2. 檢查服務(wù)端firmware_meta表中的model字段與設(shè)備型號是否精確匹配。設(shè)備上報的型號信息必須準(zhǔn)確。3. 確保升級腳本或Bootloader嚴(yán)格限制了固件的寫入范圍絕不觸碰Bootloader區(qū)域。實操心得日志日志日志在設(shè)備端務(wù)必在升級流程的每一個關(guān)鍵步驟開始下載、下載完成、開始校驗、校驗通過、開始寫入、寫入完成、重啟前都打印詳細(xì)的日志并盡可能通過狀態(tài)上報接口同步到云端。這些日志是線上問題排查的“生命線”。我曾遇到一次升級失敗最終就是靠設(shè)備上報的“在校驗前存儲空間檢查失敗”這條日志定位到是某個日志文件過大占滿了空間。5.2 服務(wù)端性能與穩(wěn)定性保障當(dāng)設(shè)備量達(dá)到十萬、百萬級別時服務(wù)端的壓力會劇增。數(shù)據(jù)庫瓶頸device_upgrade_record表會快速增長頻繁的插入和更新可能成為瓶頸。解決方案對device_upgrade_record表進(jìn)行分表。可以按device_id哈?;虬碿reate_time月份進(jìn)行分表。對于歷史完成的數(shù)據(jù)可以定期歸檔到冷存儲如COS從在線MySQL中移除。COS下載帶寬與費用海量設(shè)備同時下載固件會產(chǎn)生巨大的下行流量和費用。解決方案啟用CDN加速為COS存儲桶開啟CDN加速。設(shè)備從離它最近的CDN節(jié)點下載固件速度更快且能降低COS源站的壓力和流量費用。利用P2P分發(fā)高級對于非常大的固件包如超過100MB可以考慮讓已升級成功的設(shè)備作為種子為其他設(shè)備提供P2P下載這能極大降低云端帶寬成本。但這會顯著增加設(shè)備端和協(xié)調(diào)服務(wù)的復(fù)雜度。云函數(shù)并發(fā)與超時檢查更新接口可能被海量設(shè)備在短時間內(nèi)調(diào)用。解決方案適當(dāng)調(diào)高云函數(shù)的并發(fā)實例上限和內(nèi)存配置。優(yōu)化函數(shù)內(nèi)代碼特別是數(shù)據(jù)庫查詢。為firmware_meta和ota_task表的查詢條件字段如model,version,status建立合適的索引。對于“檢查更新”這種讀多寫少的場景可以考慮使用Redis緩存。將針對每個設(shè)備型號的最新可用固件信息緩存到Redis并設(shè)置合理的過期時間如5分鐘。云函數(shù)先查緩存緩存未命中再查數(shù)據(jù)庫能極大減輕數(shù)據(jù)庫壓力。消息隊列堆積在推送模式下如果設(shè)備端離線消息會堆積。解決方案為消息隊列設(shè)置合理的消息保留時間如3天。同時設(shè)備端SDK需要實現(xiàn)可靠的消息接收和去重機(jī)制避免重復(fù)升級。5.3 安全加固的額外思考除了前面提到的簽名校驗和臨時URL還有幾個安全點需要注意設(shè)備身份認(rèn)證check_update和report_status接口不能裸奔。最簡單的方案是使用設(shè)備證書或動態(tài)令牌。每個設(shè)備在出廠時預(yù)置一個唯一證書或密鑰。每次請求服務(wù)端時用該密鑰對請求參數(shù)和時間戳生成一個簽名服務(wù)端驗證簽名合法性。這能防止偽造設(shè)備請求。接口防重放攻擊上面的簽名機(jī)制中加入了時間戳服務(wù)端可以校驗請求時間戳與服務(wù)器時間的偏差如±5分鐘超過范圍的請求視為重放攻擊直接拒絕。升級指令防篡改在推送模式下發(fā)送到消息隊列的升級指令包含固件版本、URL等也應(yīng)進(jìn)行簽名。設(shè)備端收到指令后需驗證簽名確保指令來自可信的服務(wù)端。管理后臺安全創(chuàng)建升級任務(wù)的管理后臺必須有嚴(yán)格的權(quán)限控制RBAC并開啟操作審計。任何固件上傳、任務(wù)創(chuàng)建的操作都應(yīng)記錄操作人、時間和詳情。搭建一套基于騰訊云的OTA系統(tǒng)就像為你的設(shè)備艦隊建立了一個空中指揮所。它讓你能安全、精準(zhǔn)、可控地對成千上萬的設(shè)備進(jìn)行“外科手術(shù)式”的更新。從最初的簡單文件服務(wù)器到如今這套集成了對象存儲、云函數(shù)、消息隊列和數(shù)據(jù)庫的完整方案我最大的體會是擁抱云原生把專業(yè)的事交給專業(yè)的云服務(wù)。我們不再需要為服務(wù)器擴(kuò)容、帶寬不足、安全防護(hù)而焦慮可以將全部精力投入到設(shè)備端升級邏輯的健壯性和業(yè)務(wù)功能的迭代上。最后分享一個小技巧在項目初期可以不用一步到位實現(xiàn)所有功能。先跑通最小閉環(huán)——讓一臺測試設(shè)備能完整地走完“檢查-下載-校驗-升級-上報”的流程。這個閉環(huán)通了你就有了底氣。然后再逐步疊加灰度發(fā)布、安全加固、狀態(tài)監(jiān)控、數(shù)據(jù)分析等高級功能。這樣迭代開發(fā)風(fēng)險可控團(tuán)隊也更容易看到成果。希望這篇長文能幫你少走彎路如果你在實踐過程中遇到新的問題歡迎隨時交流。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日日夜夜精品视频| 天天操天天射青青草| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 亚洲av资源| 欧美 亚洲| 视频一区二区免费在线| 福利操逼| 亚洲一区二区精品福利| 大鸡巴久久久| 乱码人妻一区二区三区| 久久熟女嫩草成人片免费| 揉揉揉夜夜| 中文操逼字幕| 亚洲色图日韩精品| 99久久com免费视频′| 偷拍超碰| 爱逼综合| 国产男人又猛又粗又爽| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 啊啊啊好爽快点啊啊啊嗯嗯| 色爱欲亚洲| 超碰到97情色| 操b在线观看| 国产精品婬乱一级毛片彝族| 中文字幕性感少妇av| 在线观看十八禁| 秋霞鲁丝午夜无码一区二区三| 一本大道青青| 极品尤物女神在线观看| 婷婷五月天久久精品视频一区二区三区| 蜜桃精品一区二区三区久在线| 一卡二卡三卡| 亚洲暴力强奸AV| 中文字幕国产精品1区| 天天内射| 日本在线观看网址| 亚洲欧洲综合视频在线| 91 亚洲情侣偷拍 久久| 秋霞Av理论一级在线| 女同性恋久久| 欧洲天天在线| 99热在线只有精品| 久久成人国产| 久久鲁夜| 91老熟女| 五月天婷婷成人网| 91艹逼精品| 久久老熟女| 岛国大片在线观看网站入口| 无码heyzo高清一区| 欧美第二页午夜| 美国日韩黄片| 又大又白奶子| 久热伊人| 色综合网1| 中文字幕人乱码中文字的预防方法 | 超碰色97| 91黑人无码激情在线| 黑人中出21连凳花野真衣| 99在线观看视频在线高清| 逼操网站| 精品久久久久瑟瑟| 欧美色就是色| 五月丁香久久| 色香网| 亚洲精品影视老司机| 91麻豆天美国产欧美| 久久男人| 中日韩久久久| 久久久久网站-538在线视频-欧美永久乱码| 久久久一区二区三区麻豆| 很黄很色的视频在线观看| 天天日B狠狠操| 9997se| 日韩一区二区精彩视频| 久久久97| 97频视在线| 26uuu国产亚洲综合| 久久9久9久99久9久9| 国产一区二区精品在线视频| 中文字幕一区电影在线观看| 国产污视频麻豆传媒一区二区| 色综合一区二区三区| 日韩一区二区精品视频| 久久久97| 国产盗摄美女如厕大神作品在线观看| 青娱乐老司机视频| 极品粉嫩少妇视频| 一区不卡在线观看av| 成人网欧美风情| 色香网| 欧美日韩999| 日日日日做夜夜夜夜做无码97| 日韩无码黄色片| 亚洲美女精品| 91网九色蝌蚪操熟女| 大稥蕉免费视频这里只有精品| 久久久96| 色五月第四色| 欧美日韩国产中文精品字幕自在自线| 精品无码产区一区二| 日韩欧美大力操| oumeisetupian| 26uuu久久| 厕所偷拍在线| 91香蕉视频在线观看免费| 刺激精品视频| 五月天婷婷成人网| 青青草狠狠撸| 性爱av网站| 欧美78P| 夜夜操2028| 一本色道久久综合精品婷婷| 混色激情av| 色色毛片| 久久久熟女一区| 激情五月天丁香社区| 亚洲极品| 人妻啊啊人妻啊啊| 亚洲无码成人精品| 欧美激情黑人| 99热| 中国大陆国产高清AⅤ毛片| 国产精品久久久久999| 999亚洲国产视频| 久久风骚城市| 精品夜夜澡人妻无码| 玖玖爱在线视频免费观看| 四月丁香婷婷| 99久久e免费热视| 校园春色亚洲色图| 东京热av男人的天堂| 亚州AV无码国产精品| 久久久久久久| 青青国产在线拍揄自揄拍| 黄色网址在线免费观看| 欧美色999| 97bbn| 久热九九| 女性91网站| 丝袜亚洲91| 国产成人精品亚洲日本| 亚洲 中文 欧美 日韩 在线| 丝袜AV一二三区| 久久久精品91八戒| 69一区二区三区| av午夜影院在线播放| 台湾佬大香蕉| 亚州色国| 91色五月俺来也| 在线观看AV片| 老熟女网站| 秋霞午夜视频一区二区| 青青草中文-久久青草精品一区二区三| 国产精品第一页国产大屁股视频免费区 | 鸥美极品| 国产青一二三| 在线观看黄色电话| 亚洲黄色电影| 天天干夜夜肏| 伊人青青草久久| 99欧美| 色色福利| 黄色香蕉视频网站一区| 欧美性五月| 日本不卡码黄色 | 加勒比性爱成人在线| 97爱免费插| 亚洲色图亚洲无码强奸乱伦| 密臀在线一区尤物| 夜夜国自区| 久日91在线| 久久久一级| 人人做人人妻人人夜视频| 亚洲欧美日韩制服另类| 久久久久久9| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 丁香六月婷婷综合| 嫩草一区二区在线观看| 欧美与日韩97| 精品国产99| 天天综合网~69| 色五月综合网| 中国亚洲呦女专区| 91人妻中文| 91伊人久| 免费看片黄| 久久亚洲AV无码白度| 67914在线兔费成人视频| 九九国产热| 欧美综合色站| 男人的天堂2010| 性做久久久久久免费观看软件| 国产黄色影片在线观看| 日韩免费簧片| 日B操| 3级毛片一二| 超碰久在线天天做| 中文字幕伊人| 国产精品国产| 日本黄色天堂| 欧美精品,四区。五区| 欧美在线55555| 99爱久久视频频| 九月丁香婷婷| 国产性感骚丝袜在线| 亚洲另类综合欧美| 91丨九色丨大屁股| 啪啪综合网| 成人在线视频网| 十八禁视频网站| 黄网色一区二区三区四区精品| 国产精品激情久久久久久久| 一级黄色性爱裸体视频| 国产午夜精品理论片一二三区区| 久草新在线| 麻豆视频一区二区| AA级电影三区| 日韩精品亚洲专区在线影视| 精品中文字幕一区二区l - 百度| 97欧美性爱| 欧成人在线| 日韩中文字墓| 亚洲精品欧美专业| 91国产丝袜白虎| 91bbbbbb| 91色交| 国产亚洲色停停久久99精品91| 狠狠躁AV| 亚洲中文一区二区三区视频| 欧美激情在线观看视频| 亚热日本熟女| 色色亚洲| 久久精品一区二区三区四区五区| 啊啊啊啊啊啊啊在线| 亚洲欧洲综合成人av一区| se吧提供91精品国产91久久久久久| av天堂5| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 国产乱码精品一区二区三区四川| 人妻熟女一区二区三区视频| 神马久久久久久| 啪啪视频mP4| 97硬碰| 人妻激情偷乱视频一区二区三区| 91呆哥人妻| 综合97| 午夜欧美女人操逼| 久久久性爱视频| 黄骗免费网站| 婷婷五月天无码 | 欧美日韩国产高清在线一二三区| 欧姜老司机| 91精品综合久久久久久五月丁香| 色欧美天天| 久久国产视频专区一二三| 久久草视频污视频| 少妇熟女一区二区三区| 国产人妖的免费的视频| 日韩欧美国产一区二区三区四区| 亚洲国产精品V?在线播放| 国产AV人人夜夜澡人人爽麻豆| 欧美最大综合网| 国产精品久久泡妞网站| 97超碰香蕉| 亚洲无码超碰免费| 九九色热| 极品粉嫩少妇视频| 亚洲情色 欧美| 欧美一区二区一级岛国大片| 婷婷视频网| 色噜噜综合在线| 麻豆国产成人精品| www.四虎在线| www.高清无码诱惑一区.com| 色婷婷婷五月天激情四射| 一区二区日韩欧美久久| 看全色黄大色大片免费视频| 欧美第一页| 久久久久久久| 被男人吃奶很爽的毛片| 国产精品成人无码av| 日韩伦理久 久久 清纯| 欧美熟女逼久久久久久| 9国产超碰| 色玖玖| 天天干天天日天天射黄色片| 香蕉99秘 一区精品蜜桃臀| 日韩兔费看黄片| 精品v日韩欧美国产| 黄色大片一区二区密桃丝袜| 美女十八禁| 天天操夜夜操狠很操| 我要色综合网站| 男女啊啊啊| 无码 黑人一区二区三区| 色色婷婷丁香| 午夜男人一级A片7777| 一本道综合色图| 天天天肏屄肏屄肏屄欧美欧美| 亚洲一区二区性爱电影| 日本美女性生活久久久久久久| 青草影院内射高潮| AV天堂国产| 曰韩欧美国产传媒麻豆第一区| 亚洲骚男同com| 亚洲第一免费视频| 中文字幕亚洲欧美在线不卡| 国产精品 视频| 午夜AV人气不卡| 不卡免费av在线播放| 乱伦一二三区| 欧美国产日韩高清在线| 亚洲综合一| 国产精品麻豆免费视频| 嗯嗯啊啊用力视频免费| 男人女人18禁片免费看网站| 玖玖97综合 | 蜜臀久久99精品久久久久久-DVD原版全| 特级毛片特黄久久免费看| 动漫片子网站3黄| 啪啪自拍九九综合| www.超碰| 97超碰伊人| 成人麻豆av电影网站| 国产精品乱码久久久久久久久久久久| 懂色av一区二区三区天美传媒| 黄色二级片网站| 欧美婷婷久久| 午夜国产综合视频在线观看| 亚洲不卡AV在线| 日本精品九九九| 手机在线A片| 91女在线观看| 视频一区二区免费在线| 色婷婷综合久久久久中文一区二区| 大香蕉久久| 熟女精品一区二区三区| 欧美日韩欧美| 粉嫩国产精品久久粉嫩| 国产高清亚洲日韩一区| 粉嫩国产精品久久久| 亚洲熟女乱综合一区二区三区 | 色婷五月| 精品偷拍13p欧美dodk视频| 三男一女不戴套的A片| 欧洲无码一区二区| 久草尤物| 色欲色香天天天综合网www-亚洲综合国| 成人精品在线免费视频| 久热久一区二区三区| av影片在线观看不卡| 台欧久久精品视频| 日韩av免费一级电影| 夜夜嗷嗷一区二区| 91人妻素女| 熟妇一区,二区,三区。| 九九无码| 中文乱码字字幕在线第5页| 97精彩视频网站| 国产精品美女视频诱惑| 国产啊v在线免费播放| 精品九九淫乱男| 三级网色| 男人的天堂VA| 青青草在线成人视频| 妇女性内射冈站HDWWWCOM| 大香网伊人久久综合网eew| 内射老妇BBWX0C0CK| 成人精品视频| 久久久久国产精品片区无码直播 | 亚洲精品 欧美精品| 国产操偷| 天美传媒AV在线| 黑丝少妇在线观看| 国产精品亚洲色婷婷久久久| 无码人妻系列少妇| 久久99热这里只频精品6学生| 亚洲色图图片| 精品二999| 色婷久久| 热无码中文亚洲H一道本一区二区| 做爱福利视频一区二区| AV电影在线播放| 中国熟女老妇仑乱一区二区三区| 五月天加勒比啪| 家庭乱伦麻豆| 狠狠干妹子| 日韩一级二级| 草草影院最新网址| 大奶的诱惑| 久久有碼| 色欧美天天| 91色人妻| 国产中文字幕在线观看| 内射中出日韩在线观看视频| 天天做日日爱夜夜爽| 综合网天天| 国产在线精品电影观看| 殴美牲| 99性爱在线观看| 久久超碰网| 无卡一区=区| 射丝袜高跟鞋99| 久久精品国产免费观看99| 91视频综合网| 性欧美第一页| 男人网站婷婷| 亚欧韩av| 欧美精品一区二区少妇免费A片| 九草九九九| 精品毛片av一区二区| 97在线免费视频观看| 亚洲成人妻日韩在线| 成人欧美一区二区三区黑人一| 精品人妻1区| 老熟妇91| 亚洲在钱| 97这里只精品| 91人人爽人人爽| 久久婷婷综合国际产色怕| 强奸抽插av| www欧美91| 天天热精品| 神马午夜久久久| 久久欧美按摩999| 蜜臀99久久精品| 伊人国产成人av网站| A男人的天堂| 超碰激情808| 日本黄色XXX| 久久9 9 9精品| 国产无马av| 少妇3P性爱自拍| 无码动漫av中文字幕| 久久伊人影院| 0755午夜福利视频| 欧美性爱另类综合| 天天操天天射天天日| 色亚洲欧美| AV色五月天| 亚洲自拍一区夜夜操| 亚洲一二三精品久久网| 青青青国产| 欧美做爰无码A片视频| 一起草日韩| 国产Av超碰| 欧差乱伦二三| 亚洲情色综合| 久久九色| 午夜男女爽爽大片免费观看| 亚洲欧美另类激情小说| 久久的免费性爱视频| 亚洲影视综合| 97超碰欧美| 91久久| 欧美亚洲图片| 九九久久久| 亚洲天堂男| 狠狠爱夜夜| 亚洲欧美碰碰| 成年人黄色| 男女一进一出视频久久| 精品国产乱子伦一区二区三区,精品一 | 天天综合有色网| 伊人青青一区成人视频在线观看区| 99国内精品| 色综合色色| 久久无码成人| 404操逼福利视频| 黄片色区软件| 色香色欲天天综合网天天来吧| 日本一区二区三区四区免费观看| 69精品久久久久中文字幕| 免费看欧美美女黄色大片| 91干熟女| 色色无码| 蜜桃久久久久久久| 青青草在线视频欧美| 91欧美综合在线| 人人九九精| 欧美三级偷拍| 中文字幕99999| 亚洲**2021在线观看| 18禁精品网站在线看| 中日韩熟女| 国产精品青草综合久久| 懂色AV一区二区三区| 日本日逼高清| 国产精品岛国片在线观看| 岛国精品视频在线观看| 欧美精品四区| 青娱乐大香蕉| 啊啊啊啊,啊啊好多水| 国产综合网站在线播放| 日本熟妇精品九九| 丰满少妇精品一区二区| 另类图片天天影视| 久久久久人妻二区精品叶可怜| 伊人五月天激情| 97香蕉碰碰人妻国产欧美| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 亚一综合久久久久久久久久| 91黑人狂躁丰满熟妇| 欧美在线播放| 日韩人妻一二三区视频| 99热精品在线播放| 五月色综合| 中文字幕乱码人妻一区二区三区,99精品| 色网在线| 天久久久噜噜噜久久国产精品爽爽| 国产高清午夜成人在线观看| 强奸乱伦中文字幕AV| 一区二区视频在线播放| 99热免费| 怡红院成人av| 一区二区视频在看| 欧美影音在线| 亚洲情色 欧美| 久久成年片色大黄全免费网站| 3D污黄视频在线观看| 91人人臊| 国产精品 午夜福利| 操逼不卡中文字幕| 国产精品久久发布| 欧美性Fer办公室秘书| 国产熟妇 码视频户外直播| 免费A V在线播放| 国产久久一区二区午夜| 亚洲色天堂九9| 国产JDAV无码视频在线观看| 亚洲高清在线| 大香蕉伊在线久草麻豆天堂故事| 农村少妇久久久久久久| 美国精品国产精品| 欧美劲爆视频一区二区| juliaann丝袜大战黑鬼| 精品久| 久热香蕉精品在线视频| 男人的天堂激情| 亚洲第一视频 欧美风情 日韩| 视频在线97| 日本精品性生活久久久| 情侣操 逼视频99| 清纯唯美亚洲综合| 日本丝袜人妻内射| 曰本精品久久久| 97操b| 嗯嗯啊啊好大好爽| AⅤ片水多多| 亚洲中文字幕97久久精品少妇| 欧美亚州色的图| 东京热一区二区中文字幕| 欧美顶级黄色大片免费| 久久国产精品,久久国产| 亚洲综合网91| 国产一级做a爰大片免费久久| 东北女人的毛片| 91久久| www.99热| 久久久涩| 超碰成人国产| 91影视亚洲| 大香蕉免费3| 久久久久久久久久久久久久久性生活视频| 久久精品成人| 手机看av网站在线看| 欧美 日韩 婷婷 五月| 在线观看亚洲成人精品| 九九精品99| 成人熟女视频一区二区三区| 超碰欧美| 大鸡巴久久久| 91亚洲综合| 亚洲性爱高潮影院| 9久9久9久9久视频网站| 人人操人人狠狠操| 亚洲加勒比色图| 国产操操日韩三级黄| 伦理弟一页| 国内一区二区免费| 九九久久九九久久| 天天插网| 久久的网站啊啊啊啊啊| 女性喷水高潮在线观看| 日韩av女优在线免费一区| 人人插人人摸人人| 啊啊啊啊啊啊啊啊要喷了| 妇女性内射冈站HDWWWCOM| 亚洲aw毛茸茸在线| 天天射天天操天天干天天吃2018 | 国产精品一区二区a| 欧美亚州手机在线| 天天澡天天爽日日AV| 男人天堂站| 国产精品国产亚洲区艳妇糸列| 中文字幕丝袜美腿| 夜夜骑夜夜操| 一区二区精品更新提醒| 91精品国产日韩欧美综合| 蘋果手機免費看成人Av| 国产中文字幕曰本毛片| 97在线播放 | 欧美熟妇精品黑人巨大91| 99热综合| 精品无码久久久久久久杏吧| 97激情97激情| 欧美一级黄片视频在线| 91色综合色| 97干在线视频| a级免费在线观看| 操逼精品视频| 玖玖爱免费观看视频| 国产怡红院在线| 国产精品亚洲美女久久久久| 亚洲精品人体| 久久av网| 蜜臀久久99精品久久久久久-DVD| 青草伊人网| 人妻人人澡人人爽人人| 色婷婷亚洲婷婷| 久久骚| 亚洲欧美国产日本一区二区三区| 女生久久网| 神马午夜久久久| 精品成人av一区二区三区在线| 青娱乐休闲视频在线观看| 国产91丝袜 在线播放| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 国产操逼逼网| 天天干夜夜| 在线观看一卡二卡| 天天综合网~91综合网| 极品白嫩美女白浆成人福利在线看| 欧美综合综合| 97这里有精品| 99人妻| 人妻精品一区二区全免费| 在线岛国新天堂8| 99热国产| 乳欲人妻办公室奶水| 美女爽爽爽刺痛洞洞| 亚洲男人天堂2019| 777AV电影| 麻豆天美制片厂网站视频| 在线精品福利免费播放| 久久精品熟女亚洲AV麻豆软件| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 国产精品动态一区二区三区四四| 天天综合精品| 久久亚洲AV无码专区首页| 超碰在线91| 91丝袜美腿片| 色五月婷婷麻豆在| 日本Xx性爱| 超碰2017| 99re6在线视频精品免费完整版安卓版| oumeisetu综合| 日韩在线观看字幕精品| 999热这里只有精品| 射丝袜大香蕉| 天天综合网久久ww| 九九Av| 国产宅男宅女在线观看| 懂色av一区二区三区天美传媒| 亚州色阁| 青青草亚洲一区| 99热伊人| 99re公开精品免费视频| 中文字幕后石码三区四区| 久草线上视频免费看| 五月天开心网| 日本一级二级三级网站| 人人爱人人乐人人操| 97精品一区| 国产久久日| 97精品国产97久久久久久户外免费| 久久美女福利是上海美女| 91搞逼视频| 久久国产精品m码| 亚洲清纯唯美| 清清草影| 五月丁香六月激情综合| 亚洲乱伦图片视频| 天天影视综合色| 在线小视频| 91性高| 久久人人爽人人爽人人片Ⅴ| 探花视频免费观看国产专区| 欧美色网络| 九九亚洲精品| 顶级少妇BT天堂| 熟女啪啪视频| 国产精品久久久久久久毛片1| 婷婷影院入口| 国产成人精品必看| 裸体1区| 视频一区二区三区精品| 白嫩国模丰满一二三区| 九九九国产精品| 色97| 天天艹天天日| 91美女精品| 九月AV| 日本日皮视频逼| 91w欧美| 天天日日本| 亚洲成人免费中文字幕| 尤物一级在线免费观看| 99re69| 国产一区二区三区久久久精品| 九九九九精品| 九九九国产| 操曰本熟女| 久久久久大香青草精品综合| 美女诱惑在线一区| 好好的日:com久久九九| 国产内射爽爽大片| 欧美日韩另类字幕中文| 亚洲午夜AV| 青娱乐福利99| 午夜视频久久久| 97在线视频观看| 91丨豆花丨熟女| 天天干18禁| 日韩精品亚洲一二三| 国产夫妻性生活视频| 国产精品白丝AV| 激情四射婷婷六月天| 熟女熟妇一区二区三区视频| 天天天堂影视日韩亚洲91| 校园春色家庭伦理欧美激情| 国产自产22区| 男人天堂毛片| 日韩色| 99热这里都是精品| 2017天天操| 家庭乱伦麻豆| 91色人妻| 人人操,操人人| 十八禁啪啦拍视频无遮挡| 日韩精品一二三四| 99这里有精品| 欧美日韩少妇色情| 人妻无码视频一区二区三区久久| 96精品久久久| 久久久人妻| 国产精品香蕉| 久久国产性爱| 东京日日夜夜| 天天色黄色影院天天操| 亚洲囯产精品女人久久久| 少妇天堂| 91亚洲丝袜| 精品无码一区二区人妻久久蜜桃| 四虎免费在线播放| 黄久久| 欧美双插| 国产在线视频二区| 日韩中文字幕视频在线观看| 亚洲综合小说另类图欧美视频激情小说色五月天| 欧美三级一级| 亚洲宗合网| 97国产精品久久久久 | heyZO天然素人无码AⅤ专区| av网页一区二区三区| 色色色五月婷婷| 丰满少妇人妻久久久久久| 亚洲一二三| 日日摸日日碰夜夜爽视频| 四虎国产精品永久在线囯在线| 手机午夜电影神马久久| 国产亚洲综合欧美一区| 91在线限制级| 超碰9 7女人| 懂色Av| 尤物国产一区在线观看| 欧美嗯啊……在线观看视频免费| 欧美日韩人人早| 美女高潮国产高清| 秋霞操逼片| 日本视频一区二区三区| 天天影视色香色欲| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 太久视频| 激情四射五月天| 亚洲美女精品| 久久久国产精品亚洲精品| 青青草男人天堂| 欧美激情一| 欧美高清18A片| 国产成人久久久精品免费AV| 天天操天天射青青草| 免费99精品国产自在在线| 永久免费观看的毛片的网站| 级做a爱无码性色永久免费| 久久综合97| 日韩人妻无码不卡网站| www.91理论| 精品久久大胆人体| 免费操逼视频下载| 久久超碰亚洲人| 欧美色亚洲色| 久久直播国产| 射欧美综合| 成人怡红院| 黄网色一区二区三区四区精品| 精品免费国产二区三区| 少妇高潮九九九九| 欧美性爱伊人| 欧美精品三区| 婷婷av在线中文字幕| 五月天色图影视| 天天干夜夜| 黄色av网站在线播放| 麻豆黄色五月天| 日日干夜夜欢| 日韩高清黄片| 中文字幕一二三区| 欧美性爱一区二区三区| 日本欧美亚洲高清在线看| 精品久久久久久久久久久久| 农村女一级毛卡片| 色色99| 亚洲成人AB| 嫩草影院在线观看精品| 嫩草 人人网精品| 精品国产乱码久久久久久网站入口| 91艹B视频| 黄色二级片网站| 午夜毛片亚洲精品片国产久久久| 日本欧美国内在线| 少妇精品久久久八区九区| 国产传媒操逼视频| 麻豆成人av| 中文字幕一区二区免费在线| 淮穴色AV| 久久精品熟妇丰满人妻99| 高清无码网址| 免费在线视频97| 久久综合五月天| 青青草国产一区二区三区| 3P乱轮视频| 密臀视频一区二区三区| 无遮挡一级毛片视频免费的| 亚洲五区熟女| 国产黄色视频久久| 中文字幕高清20页视频| 亚洲全色网| 天天影视网综合少妇| 欧美日韩不卡传媒| 色婷婷九月| 欧美性爱一区二区三区| 99色婷婷| 97超碰香蕉| 蜜臀久久一区二区| 亚洲无992tv| 青青草操逼逼视频| 国产精品日日摸夜夜添骚逼| 国产人妻精品久久久一区二区三区 | 国产免费一区2区3区| 伊人网av| 少妇被c 黄 免费观看| 久久伊人在线五区| 日韩欧美操逼xxx| 麻豆精品天美| 综合欧美日韩在线观看| 干b网| 99精品无码| 国产成人五月天丁香花| 亚洲婷婷五月天| 精品人妻一二三| 夜夜騷av、一區二區| 五月婷网站| 男人天堂无码| 六月丁香网| 91无码西班牙视频在线| 青娱乐大香蕉| 亚洲一本色道中文无码aV天美| 亚洲欧美综合网站| www.超碰| 综合伊人网12色| 亚州再线| 亚洲精品天堂久久A∨51成人漫| 免费成人在线熟妇网| 国产日韩欧美亚洲精品95 | 黑丝少妇| 综合伊人网12色| 91国产大片| 久久久久亚洲Aⅴ无码| 国产精选视频| 在线看片国产精品每日更新| 丁香婷婷五月| 九九久久一区二区伦理| 少妇三P| 岛国激情视频在线观看| 很狠操| 久久久婷婷婷| 很很操在线| 亚洲人成色9999精品久久 | 99re99| 麻豆精品天美| 亚洲天堂区| 国产成人99久久亚洲综合| 久草电影网| 啊啊啊好舒服好爽啊啊啊视频| www欧美性爱| 日本阿v天堂在线观看| 亚洲国产中文字幕| 男人天堂.AB| 亚洲精品无码少妇久久| 91在线欧美| 亚洲一区制服诱惑| 人人操av| 美女尤物人人操| 春色91| 夜草欧美| 免费观看有码高清视频| αⅴ天堂| 精品人妻一区二区免费蜜桃视频| 九九九九免费高| 中文字幕永久在线| 碰超人人在线一区二区三区| 欧美 传媒 麻豆 日韩 偷拍| 国产后入内射| 无码又爽又硬又激情免费视频| 操婢日韩| 大香蕉中文201| 久久五月份| 日韩精品资源专区二区| 69精品久久久久中文字幕| 国模精品娜娜一二三区| 久久久性| 97视频免费在线| 91蜜臀在线久久久久| 91在线超高颜值国产| 97免费在线观看| 亚洲情色综合网| 国产精品午夜成人福利| www久久久| 殴美在线AⅤ| 人人爱人人乐人人操| 91操熟女视频| 久久同城AV| 日韩精品人妻中文字幕有码午| 国产 v乱码一区二| 另类图片欧美激情综合| 久久久亚洲熟妇资源| 亚洲精品1区| 熟妇最新先锋一二三区| 大香蕉九九| 在免费jIzzjIzz在线视频| 日韩 国产 欧美自拍| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 97色97干| 日韩有码专区| 91热热色| 麻豆区久久久久亚| 欧美美女后入| 免费成人在线熟妇网| 色五月天AV| 久久9亚洲| 99久久久无码| 日韩国产品视频中文字| 蜜桃成人1区2区3区| 日本岛国黄色网址| 自拍偷拍2025在线观看| 日本欧美亚洲高清在线看| 国产一区二区a毛片| 26uuu成人影片| 91av熟女人妻| 日韩一级性爱无码| 国产无码久久高清| 久久精品国产精品一区| 女人综合网| 淫荡网址| 香蕉欧美| 99亚洲国产精品色一区二区三区| 97碰| 91精品国产91久久青草| a'v在线资源| 高清有码一区二区| 久久久久久久强迫| 免费无码婬片AAAA片直播色戒| 亚洲欧洲色情高清| 亚洲大色堂| 操人妻逼91| 欧美91在线+|+欧美| 国产精品久久久久久久久久久久久久久| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 啊啊啊啊嗯嗯嗯用力好爽| 69一区二区三区| 欧美狠狠操| 激情接吻视频久久久久久| 国产精品96久久久久久| 熟女乱伦A| Julia在线播放亚洲久久| 神马午夜久久| 9997se| 日韩久久三区| 综合网欧美在线| 日本不卡高清免v欧美日韩在线观看| 欧美人妻二区三区| 熟女自慰久久久| 91中文精品日韩欧美在线 | AV和黑人在线播放| 三级网色| 91九九| 在线女人91| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 色拍偷亚洲| 天天舔日美女视频| 久久老女人| WWW啪啪的com| 中日韩熟女| www.狠狠操| 嗯嗯嗯啊啊啊操的我好爽| 2017大香蕉国产精品久久| 中文字幕精品专区搜索结果91| 国产精品午夜福利| 97日视频| 十八禁电影伊人网| 亚洲男人天堂2017| 亚洲国产综合视频| 尤物黄色在线观看网站| 国产精品久久久鸭无码的功能| 亚洲偷拍欧美激情| 激情五月天综合网| 思思热久久成人| 麻豆三极片| 大干人妻| 亚洲成人色情五月天丁香花| 狠狠干综合| 视频国产精品未满十八禁止在线观看| 少妇无码999| 亚洲资源网| 躁躁日曰躁2020| 欧美日韩丝袜 | 天天天天操| 免费亚洲黄色视频在线观看| 韩国一级婬片A片无码天美| 麻豆成人AV| 啊啊啊慢点| 色偷偷男人的天堂麻豆| 用力操死我| 91chinese在线| 国产精品白领在线观看| 久久久久久久久久久久97 | 97在线视频观看免费| 欧美精品成人一区二区在线观看| 男人把坤坤插入女人的下体| 亚洲情色综合网| 97免费在线视频| 亚洲二区精品在线观看| 91女人的网站| 日韩天天本| 天天亚洲综合| 蜜桃网熟妇| 91av一区二区在线观看| 丁香六月婷婷| 蜜臀久久久国产| 欧美高清第一页| 特级丰满少妇一级AAAA爱毛片| 中文字幕视频在线观看一区二区| 搡老熟女国产1000部| 久久久精品网站| 极品尤物在线观看| 日韩中文字幕2020| 天天日天天干天天操| 人妻精品一区二区在线| 精品免费1| 农村少妇久久久久久久| 久久亚洲AV无码专区首页| 91精品国产综合久久久蜜臀| 综合激情一一91| 国产呦精品系列在线观看| 亚洲国产日韩欧美熟妇在线| 97在线无精品 | 亚洲va有码在线天堂| 婷婷久草一区二区三区| 九草九九九| 一级片在线观看高清无码| 不卡超碰护士AV在线免费播放| 婷婷人妻激情| 午夜啪啪片| 久久熟妇五十路一区| 97超碰美女| 操人91| 99热99re6国产在线播放| 久久国产AⅤ| 久久极品一区二区| 东北老熟女| 日韩免费看黄片| 亚洲资源网| 日本韩国国产精品一区| 天美国产三级传媒| 无码人妻一区二区一牛影视| 蜜屁av| 国产成人网站在线观看| 在线情色电影 91大 | 热99这里有精品综合久久 | 男人久久精品| 国内精品嫩模A∨私拍小视频| 日韩性色b| 干少妇视频| 2010男人的天堂| 人妻美腿丝袜日韩| 国产精品探花视频| 男人精品天堂一区| 强奸乱伦AV网站| 青青草色插素人| 久久riav中文精品| 东京成人一区| se吧提供国产乱老熟视频胖女人| 18精品一区| 久久AV无码AV| 人妻天天爽夜夜爽爽| 精品午夜福利| 中文字幕黑人大片| 亚洲91色| 国产原创精品| 久久精品一区二区三区四区五区| 久久久97| 日韩精品高清资源在线| 精品国产一区探花在线观看| 亚洲第一页色| …亚洲黄色厕厕女女在线播…| 偷拍伦理视频| 精品九九| 亚洲 图片 欧美 色图| 丰满美女一级毛片在线播放| 一本正道久久熟女| 少妇一级无码精品| av亚洲天堂资源网站| 久偷拍欧美日韩三区| 日本精品第一视频在'| 9999久久久久| 91第一页| 青青青操| se吧提供91精品国产91久久久久久 | 国产噜噜噜噜噜久久久久久久久| 亚洲成人性| 六月丁香啪啪| 亚州性色| 射丝袜高跟鞋99| 日本人妻中文字幕精品| 无码视频一区二区| 国产女人操逼视频| 97亚洲自在精品在线观看| 天天爽夜夜操| 中国人高清www色视频免费| 高潮内射在线| 另类图片欧美激情综合| 欧美国产成人在线| 亚洲欧洲日韩国产自在线| 欧美操逼录像国产黄色国产| 天天日老熟妇| 青青操在线亚洲视频观看欧美在线| 亚洲中文日韩欧美大香蕉视频|