久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

CKKS同態(tài)加密實戰(zhàn)指南:從原理到參數(shù)調(diào)優(yōu)

CKKS同態(tài)加密實戰(zhàn)指南:從原理到參數(shù)調(diào)優(yōu) 1. 為什么是 CKKS它解決了同態(tài)加密的哪塊短板1.1 從整數(shù)到浮點BFV/BGV 的天然局限很多剛接觸全同態(tài)加密的人第一次跑通的是 BFV 或 BGV 方案因為它們邏輯直白把一個整數(shù)當(dāng)作多項式系數(shù)加密加法和乘法在密文上精確對應(yīng)明文整數(shù)運算。至少在數(shù)學(xué)層面這套邏輯非常干凈。但一旦你想拿它做點真實業(yè)務(wù)問題立刻冒出來——真實業(yè)務(wù)里幾乎全是浮點數(shù)。模型的權(quán)重是 0.731、1.2047 這種小數(shù)統(tǒng)計指標(biāo)是平均值、方差距離計算是歐氏距離。BFV/BGV 不是不能處理小數(shù)而是處理起來非常別扭。你得給每個數(shù)手動乘一個縮放因子把它變成整數(shù)然后祈禱乘法次數(shù)不多。因為每做一次乘法縮放因子的量級會指數(shù)膨脹你不得不算著位寬定期做截斷稍不留神精度就崩了。我當(dāng)時第一次嘗試用 BFV 模擬一個簡單的線性回歸推理模型只有 3 個特征、1 層乘法還能勉強跑通。但換成 2 層神經(jīng)網(wǎng)絡(luò)中間要經(jīng)過激活函數(shù)、多層矩陣乘法縮放因子的管理直接失控。那段時間我最大的感受是方案在數(shù)學(xué)上沒問題工程上幾乎沒法用。CKKS 就是沖著這個痛點來的。1.2 近似計算思路把誤差當(dāng)特性而不是缺陷CKKS 全稱是 Cheon-Kim-Kim-Song按 2017 年論文的名字翻譯過來就是“近似數(shù)算術(shù)的同態(tài)加密”。它和 BFV/BGV 最本質(zhì)的區(qū)別在于CKKS 主動承認(rèn)計算結(jié)果是近似的誤差是設(shè)計的一部分而不是方案的副作用。它的做法可以類比成定點數(shù)運算把一個浮點數(shù)放大 2^40 倍變成一個大整數(shù)參與環(huán)上的運算做完后再縮小回去。每次乘法后所有數(shù)據(jù)自動進入一個新的縮放級別這個機制在方案層面被固定下來叫作 rescale。你不用像用 BFV 那樣手動維護縮放因子也不用擔(dān)心哪天忘了截斷導(dǎo)致整數(shù)溢出。方案內(nèi)部就把“小數(shù)點位置”管理好了。解密時你得到的不再是精確的明文而是“明文 一個小噪聲”。這個噪聲在參數(shù)合理時非常小比如小數(shù)點后 10 位以內(nèi)。對絕大多數(shù)機器學(xué)習(xí)推理、統(tǒng)計分析場景來說這個精度完全夠用。這套設(shè)計思想在密碼學(xué)界其實很激進。傳統(tǒng)同態(tài)加密追求的是“密文上算的和明文上算的完全一致”CKKS 直接把這個目標(biāo)改成了“足夠接近”。恰好現(xiàn)實世界里有大量計算本身就不需要精確結(jié)果。1.3 CKKS 的適用邊界CKKS 不是萬能藥。它擅長浮點計算、向量批量處理、深度較大的算術(shù)電路但不擅長精確比較、取整、求余這類操作。金額結(jié)算這種一分錢都不能差的場景千萬別用 CKKS老老實實回去用 BFV 或者別做同態(tài)。此外CKKS 的 bootstrapping自舉雖然已經(jīng)實用化但開銷依然很高能通過參數(shù)設(shè)計避開就避開。適合用 CKKS 的場景主要有幾類隱私保護的機器學(xué)習(xí)推理輸入是密文模型參數(shù)可以明文也可以密文聯(lián)邦學(xué)習(xí)場景下的安全聚合把各參與方的梯度加密后聚合醫(yī)療數(shù)據(jù)、基因數(shù)據(jù)的加密統(tǒng)計分析金融風(fēng)控中的加密查詢或加密評分這篇文章后面會圍繞原理、實操、參數(shù)調(diào)優(yōu)和踩坑鏈路展開。如果你是第一次接觸 CKKS建議先跑通最小代碼再回頭看數(shù)學(xué)如果你已經(jīng)在跑 CKKS 但精度不對、性能太差可以直接跳到第 5 章。2. 拆開 CKKS 引擎編碼、縮放與噪聲預(yù)算2.1 復(fù)數(shù)向量如何“裝進”多項式所有基于 RLWE環(huán)學(xué)習(xí)錯誤問題的同態(tài)加密方案都工作在同一個代數(shù)結(jié)構(gòu)上多項式環(huán) R Z[X]/(X^N 1)。這里 N 是 2 的冪常見取值是 8192、16384、32768。明文、密文、密鑰全都是這個環(huán)上的元素也就是次數(shù)小于 N 的整數(shù)多項式。CKKS 的巧妙之處在編碼環(huán)節(jié)。雖然在環(huán)上只能處理整數(shù)多項式但 CKKS 能把一個長度為 N/2 的復(fù)數(shù)向量編碼進一個多項式里。大致過程是這樣的你有一個復(fù)數(shù)向量 z長度是 N/2對它做共軛對稱擴展變成一個長度為 N 的向量對這個向量做逆傅里葉變換實際操作中就是逆 FFT把結(jié)果乘以縮放因子 Δ四舍五入成整系數(shù)多項式解碼就是逆過程多項式系數(shù)除以 Δ做傅里葉變換取前 N/2 個分量。為什么必須做共軛對稱擴展因為逆傅里葉變換的結(jié)果天然是關(guān)于原點共軛對稱的而我們要編碼的向量只有 N/2 個自由度必須保證編碼后的多項式落在環(huán)的某個特殊子空間里解密后取回的那 N/2 個值才剛好是原始數(shù)據(jù)。我第一次看這個編碼過程時繞了好久才轉(zhuǎn)過彎來。它本質(zhì)上就是“把數(shù)據(jù)藏進系數(shù)的頻域表示里”所以 CKKS 里對數(shù)據(jù)的操作最后都會對應(yīng)到頻域上的逐點操作。這也是為什么后來打包、旋轉(zhuǎn)、矩陣乘法這些操作都有非常優(yōu)雅的實現(xiàn)方式。有個細(xì)節(jié)容易忽略編碼時是逆 FFT不是逆 NTT。雖然 BFV 也做類似變換但那是為了快速多項式乘法用的是模素數(shù)域上的 NTTCKKS 編碼是真正在復(fù)數(shù)域上做傅里葉變換。理解這一點你就明白為什么 CKKS 天然支持復(fù)數(shù)而不只是實數(shù)了。2.2 scale 機制為什么乘法后一定要 rescalescale 是 CKKS 里最重要的概念沒有之一。你可以把 scale 理解為定點數(shù)里的小數(shù)點位置。編碼時乘的那個 Δ 就是初始 scale典型值設(shè)成 2^40也就是 40 位二進制精度大約相當(dāng)于 12 位十進制小數(shù)。兩個 scale 為 Δ 的密文相加結(jié)果的 scale 還是 Δ沒問題。但兩個密文相乘時數(shù)學(xué)上對應(yīng)的是兩個多項式乘積明文的乘積自然變成了“明文 × 明文”它的 scale 變成了 Δ2。如果不做任何處理再來一次乘法就變成 Δ3再來幾次系數(shù)大小直接突破模數(shù)上限數(shù)據(jù)徹底損壞。CKKS 的方案機制是每次乘法后做一個 rescale 操作把密文的每個系數(shù)除以 Δ近似地同時把 scale 從 Δ2 降回 Δ。這樣下一輪乘法依然面對的是 scale 為 Δ 的密文整個計算可以無限繼續(xù)下去直到模數(shù)鏈耗盡。關(guān)鍵點rescale 在實現(xiàn)時不是真的做除法而是通過模數(shù)切換完成的。這就是為什么 CKKS 的系數(shù)模數(shù)必須設(shè)計成多個素數(shù)的乘積q q0 × q1 × q2 × ... × qL每做一次 rescale模數(shù)就換成除以一個素數(shù)后的數(shù)scale 約等于去掉的那個素數(shù)本身。這里的“約等于”就是 CKKS 近似性的來源之一因為素數(shù)不可能恰好是 2 的冪所以每個素數(shù)位的 scale 其實是 2^40 附近的一個數(shù)。我建議新手第一次寫代碼時把 scale、模數(shù)、rescale 這三者的關(guān)系用一張表寫下來初始 scale 是多少、乘法后變成多少、rescale 后模數(shù)剩多少、scale 回到多少。你會發(fā)現(xiàn)整個流程突然就清晰了。2.3 Level 與噪聲預(yù)算計算深度的天花板每個 CKKS 密文都有一個“當(dāng)前處于模數(shù)鏈哪一層”的概念叫作 Level。初始密文在最高層 L每做一次 rescale 就降一層降到 0 就不能再做乘法了。所以模數(shù)鏈里素數(shù)的數(shù)量直接決定了密文能承受的連續(xù)乘法次數(shù)。這就是為什么要做深度預(yù)估如果你的計算圖里最長路徑是連乘 5 次模數(shù)鏈至少要預(yù)留 5 次 rescale 的余量通常再留 1 層作為精度緩沖。噪聲預(yù)算則是另一個維度。RLWE 密文里每個系數(shù)都帶有一個隨機小噪聲解密時需要用私鑰把噪聲“濾掉”才能看到明文。加法和乘法都會讓噪聲增長而且乘法的噪聲增長比加法快得多。當(dāng)累積噪聲超過某個閾值時明文就淹沒在噪聲里解密出來就是一坨亂碼??梢酝ㄟ^ API 查看某個密文的噪聲預(yù)算。SEAL 里能看到初始噪聲預(yù)算大概是 log2(q) 減去某個常數(shù)。比如 coeff modulus 總位寬 240 位初始噪聲預(yù)算大概在 200 位左右每做一次乘法噪聲預(yù)算會掉幾十位。當(dāng)噪聲預(yù)算掉到接近 0加密就是廢的。實操中我習(xí)慣把“噪聲預(yù)算還有多少”作為判斷一次計算是否健康的第一指標(biāo)而不是先去看結(jié)果對不對。結(jié)果不對大概率是噪聲打穿了具體怎么排查第 5 章會展開講。2.4 密鑰體系與運算原語CKKS 的密鑰有三件套私鑰secret key解密用必須保密且只存在于一方公鑰public key加密用可以公開分發(fā)求值密鑰evaluation key也叫重線性化密鑰relin key乘法后用來把密文尺寸從 3 個多項式壓縮回 2 個多項式求值密鑰的存在是因為兩個密文相乘在數(shù)學(xué)上產(chǎn)生一個二次多項式直接展開就太長了。為了不破壞“密文固定由 2 個多項式組成”的結(jié)構(gòu)需要用重線性化技術(shù)在密鑰切換后把它壓回去。這個操作本身是性能大頭SEAL 庫里目前的實現(xiàn)已經(jīng)相當(dāng)快了但在大參數(shù)下依然可能占據(jù)大部分計算時間。除了加法和乘法CKKS 還支持密鑰切換key switching和旋轉(zhuǎn)rotation。旋轉(zhuǎn)是后面第 4 章要講的重點它是實現(xiàn)打包和矩陣運算的基礎(chǔ)。旋轉(zhuǎn)需要額外的 rotation key用私鑰生成按需分發(fā)不能復(fù)用別的場景的 key。到這里CKKS 的核心機制已經(jīng)講清了它是一個支持近似浮點計算、具備完整加減乘和旋轉(zhuǎn)原語的同態(tài)加密方案。接下來直接進入實操。3. 實機演練用開源庫跑通第一個 CKKS 計算3.1 庫選型對比從哪個庫入手成本最低業(yè)內(nèi)常用的 CKKS 實現(xiàn)庫有這幾個庫語言特點建議Microsoft SEALC文檔最全、社區(qū)最活躍、API 設(shè)計清晰首選適合系統(tǒng)學(xué)習(xí)OpenFHEC支持多方案從 PALISADE 演進而來生產(chǎn)環(huán)境可考慮HEAAN / OpenHEEAANCCKKS 原作者團隊的實現(xiàn)偏研究參考LattigoGo純 Go適合 Go 后端集成后端是 Go 時推薦TensealPython封裝 SEALAPI 更簡單快速原型驗證首選PyfhelPython封裝 SEAL老牌原型可以湊合用我的建議是正兒八經(jīng)理解 CKKS 用 SEAL這個庫的錯誤提示比較友好參數(shù)校驗嚴(yán)格能幫你省掉很多自我懷疑的時間。只是快速驗證想法、不想碰 C那就用 Tenseal。3.2 環(huán)境準(zhǔn)備和初始化以 SEAL 4.x 的 C API 為例初始化的代碼骨架如下#include seal/seal.h using namespace seal; EncryptionParameters parms(scheme_type::ckks); size_t poly_modulus_degree 8192; parms.set_poly_modulus_degree(poly_modulus_degree); parms.set_coeff_modulus(CoeffModulus::Create(poly_modulus_degree, {60, 40, 40, 60})); auto context SEALContext::Create(parms); KeyGenerator keygen(context); auto secret_key keygen.secret_key(); PublicKey public_key; keygen.create_public_key(public_key); RelinKeys relin_keys; keygen.create_relin_keys(relin_keys); Encryptor encryptor(context, public_key); Evaluator evaluator(context); Decryptor decryptor(context, secret_key); CKKSEncoder encoder(context); double scale pow(2.0, 40);這里的 poly_modulus_degree 是 N取 8192coeff modulus 配的是 60、40、40、60代表四個素數(shù)每個大約 60 位或 40 位初始總模數(shù)約 200 位。這個配置是 SEAL 官方推薦的入門參數(shù)安全強度約 128 位最大乘法深度為 2。scale 取 2^40意味著編碼時保留 40 位左右的精度。注意coeff modulus 的第一個和最后一個素數(shù)通常設(shè)得比其他大原因是第一個素數(shù)影響初始噪聲預(yù)算最后一個素數(shù)影響最終精度。中間區(qū)間的素數(shù)大小就是每次乘法后 scale 的近似值這里設(shè)成 40 位和 scale 相呼應(yīng)。3.3 完整加密加乘流程假設(shè)我們要算 0.5 × 1.5明文域結(jié)果是 0.75現(xiàn)在全程在密文上完成Plaintext plain1, plain2; encoder.encode(0.5, scale, plain1); encoder.encode(1.5, scale, plain2); Ciphertext c1, c2; encryptor.encrypt(plain1, c1); encryptor.encrypt(plain2, c2); evaluator.multiply_inplace(c1, c2); evaluator.relinearize_inplace(c1, relin_keys); evaluator.rescale_to_next_inplace(c1); Plaintext plain_result; decryptor.decrypt(c1, plain_result); vectordouble result; encoder.decode(plain_result, result); cout result[0] endl; // 約 0.75這段代碼里有三個操作不能省略也不建議調(diào)整順序multiply_inplace密文相乘此時 scale 變成 Δ2密文變成 3 個多項式relinearize_inplace用求值密鑰把 3 個多項式壓回 2 個rescale_to_next_inplace把 scale 從 Δ2 降回 Δ同時 Level 減 1為什么先重線性化再 rescale因為重線性化是對當(dāng)前模數(shù)下的多項式做密鑰切換密文項數(shù)少一項后續(xù)計算量自然更小。反過來先 rescale 再重線性化也可以做到數(shù)學(xué)上等價但是后者需要先把三個多項式都切到低模數(shù)白白多算一輪不劃算。再說一遍 scale 對齊的問題兩個密文相加要求兩者的 scale 一致。如果一個是 2^40另一個乘過一次后 rescale 回 2^40那沒問題。但如果一個密文剛乘過還沒 rescalescale 是 2^80另一個是 2^40直接相加得到的結(jié)果 scale 是亂的后續(xù)再乘再 rescale 基本就廢了。很多精度問題其實是這一步埋下的雷。3.4 解碼與精度觀察跑完上面這段代碼你大概率會得到一個類似 0.7499999999999 的結(jié)果。這個“差一點”就是 CKKS 的常態(tài)不是 bug。誤差來源有三塊編碼時把浮點數(shù)放大并取整這一步已經(jīng)損失了低于 2^-40 的尾數(shù)乘法過程中噪聲累積導(dǎo)致最低幾位抖動rescale 時除以的素數(shù)不是精確等于 2^40引入了微量偏差這三個誤差源里第一個是可預(yù)測的第二個可以通過參數(shù)控制第三個是方案固有屬性。實踐時不需要強求結(jié)果和明文完全一致只需要確認(rèn)誤差在應(yīng)用可接受范圍內(nèi)即可。我第一次跑通這個最小示例時盯著那個 0.7499999 看了半天一度懷疑是不是哪里寫錯了還專門拿明文算了三遍。后來才意識到這正是 CKKS 的“近似算術(shù)”設(shè)計在起作用。搞清楚這個心理預(yù)期后面排查問題會省很多力氣。4. 從單值到批量打包和旋轉(zhuǎn)的正確打開方式4.1 插槽和 SIMD 打包CKKS 單個密文可以裝 N/2 個復(fù)數(shù)N 8192 時就是 4096 個。這些位置叫 slot插槽。對密文做一次乘法相當(dāng)于同時對 4096 個值做乘法開銷和只算 1 個值幾乎一樣。這就是 CKKS 實用化的關(guān)鍵。全同態(tài)加密的性能再差一次操作能同時處理幾千個數(shù)據(jù)攤薄下來每個數(shù)據(jù)的成本就能降到可用范圍。所有認(rèn)真的項目幾乎都會用批處理技術(shù)把計算圖矢量化。編碼時直接把一個 vectordouble 傳進去即可vectordouble input {1.0, 2.0, 3.0, 4.0}; Plaintext plain; encoder.encode(input, scale, plain);解碼時拿出來的也是一個 vector。要注意的是長度必須小于等于 N/2多了編碼器會直接報錯。這里有個常見的性能誤區(qū)不少人在初期只打包一個值結(jié)果性能慘不忍睹誤以為 CKKS 完全不可用。其實應(yīng)該養(yǎng)成一個習(xí)慣拿到一個計算任務(wù)先問自己能往一個密文里塞多少個獨立樣本。能塞進去性能問題就小一半。4.2 旋轉(zhuǎn)操作密文里的位移批處理有一個繞不開的配套操作旋轉(zhuǎn)。旋轉(zhuǎn)的作用是讓密文里的第 i 個 slot 移動到第 i1 個或任意偏移位置。為什么要旋轉(zhuǎn)因為很多時候一個數(shù)據(jù)點的計算要跨 slot 訪問其他數(shù)據(jù)。典型的例子是卷積。卷積核要掃過整個特征圖對于每個輸出位置都要把周圍鄰域的值取出來做加權(quán)和。相鄰位置的輸入在打包時存在不同 slot 里不旋轉(zhuǎn)根本取不到。SEAL 里旋轉(zhuǎn)需要先生成 rotation keyvectorint steps {1, -1, 2, -2}; // 旋轉(zhuǎn)步長集合 RotationKeys rot_keys; keygen.create_rotations_keys(steps, rot_keys);之后對密文做旋轉(zhuǎn)evaluator.rotate_vector_inplace(c, 1, rot_keys); // 左移一個 slot evaluator.rotate_vector_inplace(c, -1, rot_keys); // 右移一個 slot生成 rotation key 時需要規(guī)劃好哪些步長會用到。步長越多樣key 文件越大生成時間也越長。一個項目里用到 1、2、4、8 這種 2 的冪次步長很常見既能覆蓋各種偏移又不會生成太多 key。旋轉(zhuǎn)操作的開銷比乘法大不少因為它內(nèi)部要做密鑰切換。實際優(yōu)化中要盡量把旋轉(zhuǎn)次數(shù)壓縮到最少比如把連續(xù)兩次旋轉(zhuǎn)合并成一次大偏移的旋轉(zhuǎn)。4.3 矩陣乘法的實現(xiàn)思路矩陣乘法是 CKKS 在機器學(xué)習(xí)推理中最常用的操作。假設(shè)輸入是向量 x權(quán)重是矩陣 W要算 y Wx。最常見的做法是對角線打包法diagonal packing把矩陣 W 拆成若干條“對角線”每條對角線打包進一個明文把輸入向量 x 的對應(yīng)元素通過旋轉(zhuǎn)對齊到正確位置把每個對角線的乘積累加得到結(jié)果向量的密文具體來說一個 4×4 矩陣可以拆成 4 條對角線每條對角線對應(yīng)一個偏移步長。計算時對夾具輸入向量做對應(yīng)步長的旋轉(zhuǎn)然后逐對角線做乘法和累加。整個過程只需要 4 次乘法、4 次旋轉(zhuǎn)和若干次加法。這個方法的優(yōu)點是乘法次數(shù)和旋轉(zhuǎn)次數(shù)都等于矩陣的“非零對角線數(shù)”遠(yuǎn)小于逐元素展開的乘法次數(shù)。缺點是涉及大量旋轉(zhuǎn)而旋轉(zhuǎn)慢。如果矩陣有特殊結(jié)構(gòu)比如稀疏、低秩還能進一步優(yōu)化。另一個思路是直接用 CKKS 的“明文矩陣”乘法接口但通用性差一些。先跑通最基礎(chǔ)的對角線打包再根據(jù)實際矩陣形狀做定制優(yōu)化是比較合理的路徑。5. 參數(shù)調(diào)優(yōu)與精度事故的排查鏈路5.1 參數(shù)搭配的核心原則CKKS 的參數(shù)選擇會影響三個方面安全性、性能、精度。三者之間是矛盾關(guān)系需要根據(jù)應(yīng)用場景做取舍。我平時配置參數(shù)的順序是先確定需要的乘法深度 d??从嬎銏D里最長的一條乘法鏈別只看層數(shù)要具體數(shù)每一層的乘法次數(shù)。一個深度為 d 再加初始精度的模數(shù)鏈通常至少需要 d 個“中間素數(shù)”。再確定需要的精度也就是 scale 的位寬。普通機器學(xué)習(xí)推理用 2^40 足夠如果只需要少量乘法2^30 也能跑。scale 設(shè)得越高每個中間素數(shù)就越大同樣位寬下能放的素數(shù)數(shù)量就越少。綜合深度和精度算出 coeff modulus 的總位寬。再根據(jù)總位寬反推 poly_modulus_degree。SEAL 會直接告訴你某些參數(shù)組合不安全可以直接信任它的報錯。舉個例子假設(shè)要跑 4 次乘法每次乘法后都需要做 scale 回落到 2^40模數(shù)鏈結(jié)構(gòu)可以是 {60, 40, 40, 40, 60}總位寬 240 位。這個總位寬下 poly_modulus_degree 至少要 16384因為 8192 能承載的安全模數(shù)上限大約只有 218 位左右。核心原則是不要自己造參數(shù)組合先用官方推薦的安全參數(shù)再逐步微調(diào)。SEAL 的CoeffModulus::Create會根據(jù) poly_modulus_degree 自動判斷素數(shù)位數(shù)是否過界最終的安全級別也可以從context里查出來。5.2 精度崩潰的排查鏈路CKKS 跑著跑著結(jié)果變得離譜這個問題幾乎每個使用者都會遇到。我踩過幾次坑之后整理出一套固定排查順序按這個順序檢查通常能快速定位第一步查噪聲預(yù)算。解密失敗、結(jié)果完全錯亂多半是噪聲打穿了。在關(guān)鍵操作前打印一下密文的噪聲預(yù)算看看是不是已經(jīng)掉到 20 位以下。如果是說明乘法深度超出了模數(shù)鏈能支撐的上限。第二步查 scale 一致性。把所有加在一起的密文 scale 打出來看看是否一致。注意不是看數(shù)值接近程度而是看是否完全相等因為 2^40 和 2.0000000001^40 在后續(xù)乘法中的表現(xiàn)是截然不同的。加操作的兩個輸入 scale 不一致是最常見的 Bug。第三步查 rescale 是否遺漏。乘法之后是否做了 rescale如果連續(xù)做了幾次乘法而中間沒有 rescalescale 會指數(shù)增長后果類似整數(shù)溢出。第四步檢查編碼端的明文值。解碼前先在明文域算一遍確認(rèn)期望值在合理范圍。有時候不是密文算錯了而是初始數(shù)據(jù)編碼時就已經(jīng)引入了不可接受的誤差。第五步檢查模數(shù)鏈設(shè)計。乘法深度估計是否準(zhǔn)確中間素數(shù)太小導(dǎo)致每次 rescale 精度掉得太快這些通常需要回到第 5.1 節(jié)重新推演。按這套順序排查絕大多數(shù)精度問題都能在半小時內(nèi)找到根源比起對著代碼發(fā)呆效率高很多。5.3 性能優(yōu)化經(jīng)驗CKKS 的性能瓶頸通常集中在三個地方多項式乘法NTT、重線性化密鑰切換、旋轉(zhuǎn)。前兩個是密碼學(xué)原語優(yōu)化空間不大但可以通過減少操作次數(shù)來降低總開銷。旋轉(zhuǎn)的優(yōu)化空間相對更大。幾個實測下來效果明顯的優(yōu)化手段優(yōu)先做批處理。同樣的計算一個密文裝 4096 個值和裝 1 個值代價幾乎一樣。批處理是所有性能優(yōu)化的前提。減少計算圖里的乘法深度。有些數(shù)學(xué)公式可以改寫比如把多個乘法的連乘結(jié)構(gòu)改成加法樹結(jié)構(gòu)或者用乘法次數(shù)更少的算法實現(xiàn)多項式求值。把多個旋轉(zhuǎn)合并。如果計算中先后要旋轉(zhuǎn) 1 位和 2 位考慮是否可以直接旋轉(zhuǎn) 3 位一次到位。盡量用明文乘法。CKKS 支持密文乘明文這個操作比重線性化密文乘法快很多因為不需要重線性化。模型推理時把權(quán)重作為明文輸入作為密文能省下大量開銷。減少 key 的生成數(shù)量。rotation key 和 relin key 的生成并不便宜每個 key 都要做密鑰切換的預(yù)處理。key 的管理和發(fā)送也要規(guī)劃好避免每個參與方都生成全套 key。一個典型的優(yōu)化案例我在做一個 3 層 MLP 推理時一開始把模型權(quán)重也加密了整個推理耗時 6 秒。后來改成權(quán)重明文、輸入密文同樣結(jié)果耗時降到 1.8 秒。再通過打包把多個輸入樣本同時推理單樣本延遲降到幾十毫秒。性能和精度一樣都需要從全局視角去調(diào)整而不是指望某一個參數(shù)能救回來。6. 落地視角密文浮點計算在項目中的位置6.1 隱私機器學(xué)習(xí)推理的典型結(jié)構(gòu)CKKS 在隱私保護機器學(xué)習(xí)推理中的角色很清晰數(shù)據(jù)持有方把輸入加密成密文發(fā)給計算方計算方在密文上執(zhí)行模型推理返回加密結(jié)果只有數(shù)據(jù)持有方能解密看到結(jié)果。這里模型權(quán)重可以有兩種處理方式一種是明文計算方直接把模型參數(shù)以明文形式參與密文乘法效率高適用于“計算方擁有模型、數(shù)據(jù)方想用模型”的場景另一種是權(quán)重也加密適用于雙方都不希望對方知道模型參數(shù)的場景但計算開銷明顯增大。實際工程中還有一種混合模式把神經(jīng)網(wǎng)絡(luò)的前幾層用 CKKS 做密文推理后面的層直接以明文形式在解密后進行避免整個網(wǎng)絡(luò)都跑在密文域里。這帶來的安全邊界變化需要謹(jǐn)慎評估但確實是性能和安全的常見折中點。6.2 與其他隱私計算技術(shù)結(jié)合全同態(tài)加密不一定要單打獨斗。CKKS 擅長浮點算術(shù)但在比較、取整、條件分支這些操作上很弱安全多方計算MPC恰好擅長這些邏輯操作缺點是通信量大。兩者結(jié)合是現(xiàn)在工業(yè)界的主流思路之一。常見分工是大的浮點矩陣運算交給 CKKS利用它的批處理和近似算術(shù)特性涉及比較、截斷、ReLU 激活這類操作時用 MPC 協(xié)議輪換處理比如神經(jīng)網(wǎng)絡(luò)推理里的 ReLU 無法用 CKKS 高效實現(xiàn)一種做法是把 ReLU 近似成多項式全程留在 CKKS 域里另一種做法是通過秘密分享切到 MPC 域里做精確比較再切回來。前者快但精度有損后者精確但慢。具體選哪種取決于模型對激活函數(shù)精度的敏感度。聯(lián)邦學(xué)習(xí)也是 CKKS 的典型搭配。各參與方本地訓(xùn)練后把梯度用 CKKS 加密上傳聚合方在密文上求平均再把結(jié)果返回解密。這個過程中聚合方全程接觸不到任何一方的明文梯度比單純傳輸梯度要安全得多。6.3 什么時候不該用 CKKS給項目做技術(shù)選型時知道“什么時候不選”比知道“什么時候選”更重要。以下幾種情況CKKS 大概率不是最優(yōu)解需要精確整數(shù)結(jié)果任何一位小數(shù)的偏差都不可接受回退到 BFV 更穩(wěn)妥計算主要是字符串處理、數(shù)據(jù)庫查詢、條件分支CKKS 完全不擅長數(shù)據(jù)量極小、乘法深度極大、但只需要算一次自舉開銷可能讓整體方案不劃算參與方之間可以高頻交互MPC 或兩方安全計算可能更高效只是對單條記錄做簡單聚合也許差分隱私或可信執(zhí)行環(huán)境更合適CKKS 的價值在于“在不可信環(huán)境下完成浮點稠密計算”抓住這個定位選型和方案設(shè)計就不容易跑偏。還有一個常被忽略的點同態(tài)加密會放大一切計算成本甚至連“把結(jié)果發(fā)送回數(shù)據(jù)方解密”這個環(huán)節(jié)都要設(shè)計好參與方。不是所有項目都需要端到端全程加密有些場景在特定節(jié)點解密后進入明文處理會比強行全文加密更務(wù)實。最后關(guān)于入坑路徑的一點個人體會如果讓我給完全沒接觸過 CKKS 的人一條學(xué)習(xí)路徑我的建議是不要先啃論文直接裝 SEAL把第 3 章的最小示例跑通然后打印每個階段的噪聲預(yù)算和 scale 變化體會一下“近似”到底是怎么一步步發(fā)生的。接著再回頭讀論文里的編碼和重線性化部分你會發(fā)現(xiàn)原本晦澀的數(shù)學(xué)突然變得好懂了。我見過不少同行卡在最開始是因為期望 CKKS 像普通浮點運算一樣“想當(dāng)然”。實際上只要接受三個前提——結(jié)果有噪聲、scale 要管理、乘法次數(shù)是硬資源——CKKS 用起來并不比傳統(tǒng)密碼學(xué)庫更復(fù)雜。等到你開始獨立調(diào)參數(shù)、排查精度問題時再去看一些深度優(yōu)化方案比如 bootstrapping、打包自動編排這些進階內(nèi)容的技術(shù)前提在前面已經(jīng)鋪好了。到那個階段你手邊至少應(yīng)該有一個能跑通的 CKKS 項目而不是停留在概念層面。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美午夜视频精品久久| 日韩美女久久一区二区三区| 亚洲Av噜噜一区二区三区妖精| 日韩97P| 久久婷婷综合国际产色怕| 欧美熟妇人体| 国产狂喷潮在线精品| 激情第四色| 国产精品免费视频人成| 国产精品69久久久久孕妇欧美| 在线免费观看日韩一区| 天天干夜夜操一区二区| 天天爽天天爽| 九九九九热| 久久婷婷国产一区二区色| 99999亚洲另类| 99色色网| 婷婷五月天激情四射| 五月丁香六月激情综合| 日韩无码一区二区三区| 特级大荫道BBwBBwBBW| 97视频在线播放| 精品无码一区二区| 久久久久久久伊人精品| 91狠狠综合久久| 日韩精品区二区三区不卡| 精品人妻丰满熟妇一区二区三| 免费综合亚洲中文| 密乳视频在线| 99久热精品99re6热| 亚洲欧洲国产综合av| 亚州高清AV| 丁香婷婷久久| 亚洲国产精品V?在线播放| 啊啊好多水| 尤物视频新赏网鲜网色诱网| 中文字幕在线高清男人的天堂| 国产suv精品一区二六| 天堂8在线新版官网| 好色美女九七第一页| 丁香六月婷婷久久综合| 91搞逼视频| AV色五月| 日韩无码嘿咻黑热久| 韩国手机不卡无码三级视频| 国产2.3.4区| 中文字幕高清20页视频| 亚洲αv一区二区三区| 欧美草草高清日韩视频| 欧美在线伊人色| 国产精品婬乱一级毛片彝族| 欧洲黄色网| 亚洲s色图| 婷婷久草一区二区三区| 91精品女厕偷拍视频| 超碰无码五月97| 性爱av在线免费观看| 2017天天操| 久久久久ab| 五月婷婷激情综合| 亚洲天堂7777| 日本爽爽爽爽爽爽免费视频| 国产精品禁久久久精品| 亚洲s在线观看| 国产人伦a片信息免费片| 天美传媒婬乱在| 超碰97在线中文| 久久人妻丝袜一区二区三| 国产91影院| 久久久久久无码人妻中文字幕| 97超碰9| 爱欲AV| 色婷婷亚洲婷婷| 91香蕉视频在线观看免费| 人人妻人人爽人人精品| 婷婷15月天青娱乐| 少妇内射视频| 久久久久密臀视频| 天天操女人| 99热超碰在线| 免费一级视频特黄色大片| 久久久久久久久久va| 超碰4A| 天天情欲宗合网| 91熟女综合| 亚码激情| 日本在线一二| 国产精品成人无码av| 操操逼操操逼操操逼逼| 日本成人A片网站| 精品人妻丰满熟妇一区二区三| 白 大 人妻 区 在线| 天天操av懂色| 东京太热久久久| 99日韩| 插日本熟女视频| 手机在线免费看的av| 国产深喉视频一区二区| 91bbbbbb| 天天看综合网| 亚洲另类综合欧美| 五月丁香六月婷| 天天干天天狼在线视频| 精品性爱无码在线播放| 亚洲国产成人高清在线| 亚洲 欧美日韩 另类| 亚洲 日本 国产 综合| 一道α片欧美| 国产成年女人免费视频播放a| 亚洲美女av无码| 欧美性爱一区二区三区| 九九九精品美女| 美女啊啊啊啊啊啊| 色婷婷一区二区三区久久| 午夜欧美精品久久久| 清纯唯美第一页| 欧色网址| 美女极品一区二区三区| 一区二区三区免费岛国片| 久久久免费的精品| 女人爽到高潮潮喷18禁网站| 婷色五月| 中文字幕免费观看| 国产女人9999| 97免费视频在线| 中文字幕在线免费观看2| 韩国三级一线观看久| 亚洲另类欧美精品| 大香蕉av在线| 亚洲人成网站7777| 国产剧情AV不卡在线观看| 亚洲少妇综合在线播放| 中日高清无码操逼视频| 操人妻少妇中文| 亚洲男人天堂2012| 97精品97久久| 97亚洲欧美| 日婷婷| 亚洲国产精品成人无码久久久| 亚洲日韩国产欧美综合v| 亚洲天堂,男人| 91人妻视频在线| 亚洲揄拍网| 高清孕妇孕交 交孕妇| 久久在肏| 综合在线导航一区| 中日无幕一二三四区| 欧美伦乱爱| 天天操妹子| 18禁止看精品中文字幕| 亚洲最大AV网| 亚洲熟女乱色| 国产日韩怡红院| 五码视频在线观看| 熟女日韩| 蜜臀久久99精品久久久久久婷婷| 日韩中文字幕视频在线观看| A啊啊在线观看| 欧美综合狠| 亲子敌伦对白在线播放| 久久九九99| 色男人色天堂东京热| 97欧美资源| 久久精品日韩| 蜜桃臀 后入 一区 二区 三区 在线| 国产免费久久精品99re韩国| 女人天堂av在线播放| 日本午夜操逼| 997色在线| 逼操网站| 午夜天堂网| 91高清欧美| av一区二区三区四区| 99热这里都是精品| 欧美91久久久久| 97久久久| 欧美日韩精品久久| 免费1级a做爰片观看| 亚洲五月丁香花狠狠干一区二区三区| 欧美性视频二区三区| 精品日韩人妻视频| 亚洲 欧美 91| 九九九国产| 图片区小说区| 国产日韩人人| 五月天婷婷在线看| 欧美.亚洲.另类.丝袜.制服.诱惑| 天天超级碰碰碰| 99这里只有精品国产| 吻戏激情性巴克| 黑丝制服中文字幕| 人人做人人妻人人夜视频| 男人的天堂欧美| 亚洲欧美日韩免费观看| 少妇二级| 色欲Av人妻精品一区二| 极品白嫩福利在线| 日本阿v天堂在线观看| 久久国产视频性吧| 亚洲资源站| 九九热精品在线| 亚洲情色无码一区二区三区| 秋霞蝌科网日本一区| 男人的天堂日本东京热| 五月婷婷久久综合| 天堂亚洲精品| 婷婷五月天成人网| 超碰美国| 日韩午夜国产| 国产后入内射| 老熟女乱伦片| 精品成人动漫一区二区| 欧美激情欧美精品| 久草网站免费在线观看| 91N综合网| 97碰在线视频| 国产精品点击进入在线影院高清| 性欧美天天| 久久午夜鲁丝片| 91欧美综合在线| 久久久久国产精品片区无码直播| 91热| 97AV爱| 国内精品a| 物业黑人 AV一区| 日本性爱少妇| 成年无码动漫av片无尽在线 | 97亚洲精品超碰| 六月丁香网| 国产99热| 好爽免费视频,| 99精品无码| 久久精品熟女亚洲AV麻豆软件| 久久精品72| 国产1769在线| 青娱乐啪啪视频| 91视频观看网站| 中文字幕91页| 超碰免费人妻人人| 亚洲激情深爱文学小说网站| 亚洲少妇色| 国产亚洲精品久久久久小| 蜜桃丰满熟妇av无码区不卡| 五月婷婷深深爱| 中文字幕日韩精品久久| 中文字幕青青草| 成人久久无码www| 国产精品老师| 激情熟女12P| 97在线亚洲| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 日韩射精| 亚洲欧美啪啪| 91丝袜激情在线 | 亚洲精品白浆高清久久久久久| 91激情国产| 久久一区无码| 国产精品久久久视频| 超碰成人最新最好看| 69精品| 国产精品久久久久999| 久久人妻视频网| 中文字幕一二区二三区人妻专区| 91A欧美电影网站| 国产午夜视频| 四虎影视在线| 爱射综合| 亚洲激情综合| 国产一区二区视频在线播放| 色婷婷六月丁香七月婷婷| 97资源站日韩| 亚91网| 99久久9| 亚洲黄日韩无码专区| 激情小说五月天| 国产三区免费在线观看| WWW啪啪的com| 国产精品盗摄 偷窥盗摄| 久久精品一区二区| 人人妻人人爽一区二区三区| 国产视频97| 国产欧美后入| 国产中午字一暮区| AV色五月天| 性色av一区二区| 国产一级久久久| 国产亚洲 中文欧美久久| 高清国产av无码| 在免费jIzzjIzz在线视频| 日韩欧美操逼xxx| 97九色| 人人妻人人澡人人爽久久av| 欧美综合色图网| 亚春色色| 中文乱码字幕观看视频| 日本在线观看网址| gogogo免费高清看中国国语| 加勒比在线观看一区二区| www.色吧5.com| 黄色成人网久久久久久| 久久性生大片免费观看性| 欧美色图20p| 91精片| 亚洲不卡三级手机播放| 婷婷伊人五月| 午夜乱轮操逼视频免费看| 午夜福利国产欧美日韩夜夜| 操操吧亚洲乱伦视频| 亚洲另类小说卡通动漫| 久久亚洲AV无码专区国产精品| 九月丁香婷婷色| 福利在线黄片| 亚洲高潮少妇| 中文乱码99| 青木玲在线不卡| 啊啊啊在线看| 97国产精品一区| 久久久一区二区三区四区五区| 97亚洲欧美| a片在线播放| 2020中文在线一区二区三区| 久久久九九网站| 成人综合色网| 亚州综合AⅤ| 死我十八禁| 搡老女人老91二区| 欧美日韩激情无码专区| 午夜天堂啪啪| 嗯嗯啊啊好疼| 欧美色女人| av无线看| 五月天丁香| 青青草精玖玖69精品| yy少妇精品久久| 嗯嗯嗯啊啊在线观看| 亚洲日韩天堂| 久久精品国产亚洲AV片多多| 920日本午夜免费| 青青草视频导航官网| 欧美在线综合| 亚欧无码线免费观看视频| 国产精品一区午夜福利| 人妻天堂综合网| 我中文字幕6区| 四虎影视精品| 操逼视频免费日韩无码| 大香蕉 222| 色一区二区三区综合| 91久久久久久久久18| 免费公开人人操| 亚洲精品丝袜-不卡成人免费……| 骚熟女吞| 私人尤物在线精品不卡| 四虎影院成年人片| 色婷婷淫色网| 成人性爱免费播放| 97人人操人人干| 久偷拍欧美日韩三区| 欧美黑人熟妇精品91| 国产偷拍自拍在线视频| 欧美熟妇人体| 亚洲欧洲激情卡通另类文学四射小说网站| 1769精品一区二区三区| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 乱伦熟女区| 麻豆人妻少妇在线免费观看| 天天综合网91| 丁香五月影院| 亚91网| 日本操BAV| 男人天堂久久日韩| 青娱乐999| 大香蕉亚洲中文| 精品成人久久久人人亚洲| 日韩欧美成人性爱在线| 日韩78m视频| 白丝被操91| 国语人妻精彩刺激| 亚洲色图91| 中文字幕成人| 国产又粗又长又大的视频| 口爆吞精在线观看| 欧美少妇色综合| ,成人免费啪啪视频| 色月天AV导航| WWW操逼| AV天堂男人的天堂| 99e久久国产精品| 在线天堂999| 香蕉视频欧美一卡二卡| 极品五月天噜噜| 蜜桃久久一区二区| 日韩97超碰中文字幕| 国产美女自拍视频| 欧美精品另类人妖xxxx| 欧美性爽xyxOOOO| 69AV女优男人的天堂| 亚洲欧美色图片| 久久久久久久久久久久久久久性生活视频 | A啊啊在线观看| 岛国激情视频软件| 伊人久久蜜月| 久久精品国产72国产精品福利 | 亚洲最大黄网| 26uuu性| 毛片麻豆91糖心精品毛情片| 屁股久久久久久久久| 午夜福利av电影在线| 亚码人妻| 亚洲精品成人激情在线| 精品人妻一区二区三区四区不卡在| 天综合网| 免费黄色片。| 天天综合网视频91| 天天操天天射青青草| 人人操人人舒服| 97超碰这里只有精品| 婬女免费一二三区A片| 色色97爱| 亚洲影院小综合| 国产特级毛片AAAAAA高潮流水| 四虎在线播放| 丁香婷婷大香蕉| 84YTCOM性无码| 久久综合久色欧美综合狠狠| 亚洲性爱高潮影院| 久久精品日韩| 2020中文字幕在线观看| 亚洲天堂情色| 亚洲av夫妻操穴网| 欧美日产国产在线成人第一区| 午夜九九| 少妇诱惑视频| 日日操天天操| 上海一级黄片| 1769成人国产精品视频| 天堂精品| 美女主播色欲91抠b在线播放| 91强奸乱轮| 亚洲欧美国产va在线播放频| 亚洲日韩黑丝| 96免费视频在线| 丁香五月大香蕉| 亚洲另类欧美精品| 欧美日韩亚洲天堂| 91AV天美在线视频| 国产黄色在线播放观看| 欧美啪啪天堂| 久久爱超碰网| 精品乱子一区二区三区99| 2024人人操人人摸| 岛国网址国产| 国产精品直播在线观看直播| 欧中美三级一区二区三区| 九九拍拍精品视频在线播放| 日韩欧美视频青青| 亚洲乱码尤物193YW| 国产肏逼网站| 亚洲激情视频| 黄色成年| 国产精品高朝久久久久久久| 密臀AV在线| 69精品在线| 最新欧洲欧美日本激情网站| 日韩激情啪啪| 国产福利小视频高清在线观看| 无码操逼视频一下| 美女裸体无遮挡永久免费观看网站| 超碰在线日韩一区| 33044男人的天堂深夜备| 97色色,97综合| 亚洲情色1区| 嗯啊不要啊在线| 强奸a片网| 中文字幕成人理论在线| 新婚人妻扶着粗大强行坐下| 久久久国产亚洲精品系列| 另类小说综合网| 日韩av在线精品观看| 激情小说亚洲| 亚洲欧洲日本精品中文a∨| 97超碰超碰| 蜜臀视频网站| 又粗又长又大国产不卡| 日产操逼| 亚洲 欧美 日韩 国产一区二区 | 国产原创剧情在线丝袜| 嫖老熟女A片一二三区| 太久视频| 丁香婷婷大香蕉| 99综合免费视频| 九九热精品| 五月天色图影视| 色爱综合网| 日韩三四五区| 久久9亚洲| 18岁禁 茉莉成人久久| 天天做天天爱天天爽AV| 欧美大片一区二区三区| 操淫穴亚洲五月丁香 | 亚洲 欧美 小说| 免费看污网址| 欧美第二页午夜| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 久久久久9| 99热| 97se综合网| 丝袜美腿射精91| 一二三卡欧美日韩人妻免费精品| 91情色在线| 91中出| 久久久国产av美女私房| 国产精品一区二区三区,亚洲综合| 国人欧美精品一区二区| 亚洲,欧美,春色,另类| 欧美亚洲丝袜美女电影| 美女91av| 999综合网| www.91人妻.com| 操逼操操操91| 嗯嗯啊啊操死我| 操91| 夜夜骑夜夜操| 把腿张开老子CAO烂你| 深爱五月婷婷| 日本蜜桃| 精品无吗m| 中文字幕精品日韩中文字幕| 日本综合色图| 操亚州| 另类图片天天影视| 操逼1区| 亚洲色图超碰在线| 91高潮喷水美女| 国产精品农村妇女| 欧美经典一区二区三区| 91oumei| 久久精品视| 国产高清自拍视频| 曰韩av中文字幕专区| 午夜天堂精品久久| 99999亚洲| AAAAAAAAA黄片| 久操99| 色噜噜日韩精品| 欧美精品一区二区少妇免费A片 | 五月婷婷丁香| 91精品久久久久久久久久| 日本不卡一区二区| 91九色首页| 97资源免费视频| 99婷婷一区二区| 激情综合五月丁香| 韩日自拍| 日韩无码黄色片| 亚洲精品天天影视综合网 | 国产成人五月天丁香花| 亚洲古典另类欧美在线| 天天天天天天天天综合| 午夜啪| 久久人妻丝袜一区二区三| 97国产综合欧美| 曰韩精品视频一区二区| 综合久欧洲| 91亚州| 防屏蔽在线视频| 人妻激情视频| 大地资源在线观看中文第二页| 亚洲一区二区 麻豆传媒| 免费A片三p视频| 江都AV在线| 97超碰欧美| 亚州精人品大香蕉| 亚洲天堂男人天堂网| 日日干夜夜干| 亚洲 欧美综合| 亚洲无码99| 亚洲精品国产拍免费91在线| 亚洲色啪| 国产AV中文| 激情丁香五月| 欧美综合91| 色五月婷婷麻豆在| 欧美综合天天| 台湾佬中文娱乐自偷自拍| 男女无套 免费网站| 精精夜夜| 国产中文字幕在线点播| 91久久久老司机| 日韩A优精品在线观看| 人妻丝袜肏逼| 蜜桃av综合网发布| 亚洲日韩资源| 激情一区二区三区在线观看| 色姑娘综合网| 97看操| 黄片免费看的| 久久噜噜噜精品国产亚洲综合| 97国产成人精品免费视频| 在线播放欧洲免费av| 黑丝少妇在线观看| 影音先锋日本乱伦| 日本最新1区2区3区| 五月婷婷AV| 天天肏天天干| 性色av一区二区| 人妻熟女av国产网站| 91白嫩| 嗯嗯嗯啊啊啊操的我好爽| 亚洲欧洲综合av在线| 97天天插| 殴美性色a级欧美| 天天狠操| 久久大香蕉97| 麻豆AV96熟妇人妻| 亚洲AV永久无码一区仙野| 午夜爽爽爽| 天天摸夜夜操视频| 伊人激情| 免费公开人人操| 欧美色97| 精品国产国产AV| 强奸xx国产| 五月天我淫我色av| chaopen97久久| 久久婷婷在线观看视频| 欧美极度丰满熟妇hd| 91黑丝在线| 国产一区二区精品在线视频| 欧美色偷拍| 欧美亚洲日本视频久久久 | 91欧美www| 伊人一区二区三区| 日日干夜夜干| AV不卡在线| 女人精品内射国产99| 一区超碰一区| 日日夜夜噜| 一区二区三区精品黑丝白丝酒店对鸡| 国产网红精品| 国产亚洲精品一区二区三区| 韩日欧亚a级| 久湿久久| 黄总AV色图| 97超碰国产亚洲精品资源| 在线强奷到舒服的无码视频| 中文字幕高清精品一区| 啪啪啪亚欧美视频| 欧美色爱综合| 亚洲图片在线| 亚爽爽爽爽爽爽爽爽| 校园春色综合| 91chinese在线| 夜色AV无码手机在线影院| 精品久久久久久无码| 好爽视频在线观看视频| 亚州欧美在线| 国产夫妻性生活视频| 国产成人主播| 97亚洲资源| 久久9久9久99久9久9| 激情文学网伊人| 天天色播| 翔田千里av一区二区三区| 一区二区三区 日韩欧美| 婷婷丁香九月| 国产不良强奸视频免费看| 最新日本中文字幕| 97色网| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 婷婷亚洲综合| 99婷婷| 欧美日韩91| 色人久久| 亚洲激情网| 9久精品| 91九九| 色婷婷影院| 久操大香蕉| 九九色热| 色性欧美| 欧美专利1区2区3区4区5区免费| 91亚洲黑人| 久久综合18p| 91 丝袜在线| 久久久18禁| 亚洲精品蜜桃久久久久久久| 亚洲资源网| 91N综合网在线| 国内外毛片在线观看| 超碰97久| 亚洲精品久久久久久久蜜桃臀| 九九九九9999| 亚洲 小说 欧美 激情 另类| 黄色大片免费在线| 综合 欧美 亚洲 日本| 日操粉逼逼| 操操碰| 91国产精品熟女| 精彩国产视频播放1区2区| 欧美亚洲美少妇一区二区| 欧美91丝袜| 97精品一区| 屁股久久久久久久久久| 亚洲无码国产探花在线观看| 日韩色欲久久一二三四区| 天天视频黄网站| 亚洲熟妇极品| 91久久精品蜜臀| 亚洲黑丝在线| 久久本道| 熟女网站最新| 男人的天堂99| .精品人妻一区二区三| 国内亚洲精彩视频在线| 日本理论在线| 欧美黑人猛交春色影视大全| 精品国产91久久久久久一区黄无| 日本高清加勒比| 中文字幕丝袜| 亚洲无线码欧洲精品区别| 亚洲精品aa久久伊人| 天天流夜夜操| 亚洲色图 图片| 成人怡红院| 日韩乱伦AⅤ| 99免费在线视频| 欧美国产有色电影| 99久久久| 国产一进一出视频网站| 99精品网| 欧美亚洲涩涩| 色欧美亚洲| 欧美系列在线一区二区| 久久久9视频| 怡红院网站在线视频| 国产呦精品系列在线观看| 欧美日韩国产中文精品字幕自在自线| 伊人天堂在线| 久久久性少妇| 日韩综合无码色欲vv| 天天干,夜夜爽| 98超碰日本| 香蕉国产精品麻豆亚洲欧美日韩 | 97资源站国产精品| 久久性爱精品一区| 猛交交| 久久久久九九九九九| 亚洲无无码αⅴ每日更新| 九九热精品在线| 中国黄色特级精品一区二区三区片| 欧美激情综合| 亚洲色婷婷| 欧美女同在线| 国产精品呦一区二区三区| 熟妇人妻一区二区三区| 日韩99999| 97摸视频| 亚洲色图伊人网| 强奸乱伦AV一天堂网| 夂久色| 国语精品av| 99热只有这里有精品| 欧洲精品人妻| 九九精品99| 人妻精品一区二区全免费| 97精品网| 天天日日舔舔| 9999久久久| 欧美综合自拍成人自拍第二十页| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 久久九操在线观看| 亚洲蜜乳av| 330dv亚洲成年视频网| 综合国产影视三级| 久久夜夜夜夜| 五月婷婷丁香六月丁香| 色综合加勒比四四季| 日产操逼| 亚洲宗合电影| 中文字幕日韩电影人妻| 日韩精品9999| 欧美一区二区三区另类精品| 人人爽人人精品乱人伦AV| 思思热免费在线视频| 大香网伊人久久综合网eew| 两女互慰AV高潮喷水在线观看| 哈哈操电影AV| 一个国产在线综合网站| 欧美成人综合| 国人欧美精品一区二区| 天天综合,91入口| 亚洲精品视频在线| 色欧美综合| 97一区二区蜜臀| 色y情视频免费看| 国产免费久久精品99re韩国| 久久久国产亚洲精品系列| 久久久少妇诱惑精品视频| av凤凰久久久| 搡老女人老91二区| 夜夜操av亚洲一区二区| 日逼逼免费看| 欧美亚洲色的图| 狠狠狠狠狠干| 99亚洲国产精品色一区二区三区| 媚薬在线视频麻豆| 综合欧美日本三级| 蜜臀99久| 日韩 欧美 校园一区| 精品久久久久av影院| 清纯唯美综合亚洲| 91女在线观看| 天堂俺去俺来也www久久婷婷| 蜜桃狠狠色伊人亚洲综合| 99色在线观看| 美女操逼A A| 99福利社| 黄色大片一区二区密桃丝袜| 狠狠操夜夜| 91情色在线| 亚洲综合影片| 久久性爱免费送| 日韩视频中文字幕| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 91无码精品| 日韩av色图综合| 国产做?爰片久久毛片?片美国| 午夜精品久久久| 伊人亚洲综合| 日本熟妇熟色97一本在线观看| 亚洲天天做日日做天天谢日日| 亚洲97网站| 夜夜操天天肏| 视频分类 国内精品| 老司机午夜精品视频| 久久久91福利姬| 午夜呻吟欧美| 九九久久综合| 亚洲一区二区三区播放在线| 国产剧情在线| 激情文学小说一区二区| yazhousetuoumei| 啪啪啪大香蕉| 岛国视频免费在线观看| AAAA级日本片免费视频| 久草成人影片| 欧亚日韩三区| 久久发布国产伦子伦精品| 国产精品午夜高潮呻吟久久av| 久久这里只精品免费福利| 91丰满| 91N综合网在线| 超碰人妻久久人妻中文97| 五月综合久久| 无码人妻丰满热妇又大又粗| 亚欧毛片基地国产毛片基地| 久久久久久久91| 天天综合网亚洲综合网| 亚洲精品骚逼| 97午夜剧场日韩| 色色综合网站| 在线国产一区二区av| 自拍偷拍亚洲熟女妇人精品| 91色色网站| 国产精品一区二区三区在线| 男女性扦B| 久久大精品乱码视频人妻熟女| 亚洲精品一区二区三区新线路| 九九av| 九九RE视频在线精品| 日本性爱少妇| 亚洲AV无码黄色强奸| 亚洲一曲日韩精品| 国产精品探花色| 乱操乱伦AV| 黄色免费一级在线毛片| 亚洲无线观看久久| 新亚洲无码| 国产强奸乱伦第1页| 啊啊啊爽爽| 色噜噜狠狠色综无码久久合欧美| 婷婷人妻激情| 男人的天堂久久| 97伊人| 丝袜综合网| 亚洲一二三四区| 亚洲色图亚洲| 国产精品懂色tv影视免费观看| 天天噜| 精品人妻一区二区三区四区不卡在| 91色花堂| 91免费看一区二区三区| 男女啪啪啪18禁网站| 日本熟女不卡视频| 乱伦一区二区三区‘| 精品中文字幕第一页| 中文字幕一区二区三区高清| 青椒国产97在线熟女| 国产三区免费在线观看| 免費黃色視頻觀看一| 国模精品一区二区三区苹果色戒 | 日韩无码a片| 黄片色区软件| 国产成人无码久久精品| 九九综合| 99re这里只有精品3| 97久久精品国产| 免费成人在线熟妇网| 亚洲AV在线资源| 啪啪啪综合| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 日本不卡码黄色| 超碰综合色| 人妻 欧美亚洲| 亚洲成成熟女人综合一区二区| 东北毛片| 天天干人人干天天日97| a在线视频免费观看| 97超碰jingpin| 丝袜视频一区二区在线播放国产中文| 91无摭挡| 国产精品剧情| 熟女乱伦A| 伊人久久婷婷| 第45页一区二区| 中出在线视频| 超碰欧美| 91操人| 91丨国产丨白浆| 日韩资源网| 综合色91| 中文字幕中文字幕一区二区| 婷婷五月天小说| 国产精品视频播放| 97久久久网站| 一本精品日本在线视频精品| 婷婷91| 97香蕉人人乳| 可乐操亚洲蜜911| 久草尤物| 亚洲色综合| 国产美女激情| 丁香九月婷婷| 国产精品蜜乳AV| 超碰激情808| 天天日天天干天天摸天天操| 欧美性爱综合,免费| 大屁股xxxxx| 欧美亚洲AN| 97免费在线观看| 中文自拍欧美影视| 亚洲综合影片| 91麻豆天美传媒在线| 日韩一级特黄av毛片| 99国产精品人妻人伦| 好一吊区二区| 99色热国产视频精品| 欧美熟爽综合| 青青草在线视频美女| 91丨豆花丨熟女| caopeng97| 一本久久久精品| 404操逼福利视频| 第45页一区二区| 久久久久久久97| 激情五月天视频| 欧美性综合| 一区二区免费电影久久| 色嘟嘟人妻天堂网| 欧美一区二区| 日韩中文字幕在线视频观看| 欧洲与亚洲欧美精品中文字幕| 国产成人久久精品蜜臀| 九九香蕉网| 欧美精品亚洲精品日韩传电影| 91精品久久久久五月天精品| 日韩中字av一区| 我要色综合网| 一本久道久久综合狠狠爱| 色69大色97香蕉| 日本高清_区二区三区 | 久久久久久午夜男人的天堂| 欧美,日韩,中文,另类| 老司机射| 91伊人久久在线| 日本高清_区二区三区| av天天在线| 激情抓乳插进去啪啪啪日韩| 日日干夜夜操视频h| 亚洲春色一区二区三区| 啊啊啊啊啊啊啊国| 九九综合九九综合| 亚洲熟妇图片| 秋霞网无码| 欧洲免费一区二| 日韩一级欧美一级国产一级台湾| 夜夜操二区| 国产福利合集| 熟妇最新先锋一二三区| 大香蕉伊人网| 蜜桃久久久久久久| 黄色片A级一区二区三区| 日日干夜夜操视频h| AA级电影三区| 欧美91网站| 日韩在线观看字幕精品| 夜夜嗨老熟女AV一区二区三区| 日韩不卡a级视频专区| 天堂8在线新版官网| 国产青青综合伊人| 婷婷丁香五月综合| 99热这里只有精品18| 91精品电影18| 国产丝袜欧美在线视频| 蜜屁Av| 欧美性爱一级操| 欧美高清91| 色香阁在线| 97资源视频| 欧美日韩亚洲国产中文永久天天看| 3p国产欧美99热| 婷婷爽人人婷婷爽视频| 福利风月五月天影院| 波多野42部无码喷潮在线观看| 九九九草| 一区二区你上我| 国产亚洲精品一区二区三区| 蜜桃一区二区三区| 91九色在线| 中日韩一区二区三区欧美| 先锋音影AV| 亚洲av乱伦色图网站| 女人久久久| 亚州色图欧美| www激情| 国产亚洲精品一区二区三区| 99热18这里只有精品| 思思99热| 精品中文字幕一区二区| 日本道人妻久久久在线不卡色视频| 伊人天堂在线| 精品人妻av在线播放| 久久一区二区蜜桃| 欧美亚洲美少妇一区二区| 2018色综合天天操| 国产无码三级视频在线观看| 韩国毛片一区二区三区| 麻豆亚洲Av成人无码一区精品| 在线欧美69V免费观看视频| 欧美情色亚洲| 亚洲 欧美 另类 日韩 人妻一区| 日韩性爱高清免费视频| 日韩免费中文字幕视频| 日韩欧美中文字亚洲慕| 99r九九| 99久久综合网| 草莓精品视频在线免费观看| 加勒比99999| 久久久久密臀视频| 九九天堂| 秋霞视频一区二区| 国产女同视频在线播放| 一起草视频在线| 操淫穴亚洲五月丁香| 亚洲情色五月天| 激情av| 高清无码 国产精品| 91精品国产91久久青草| 欧美日韩国产精品久久色婷婷| 欧美色图亚洲特色| 啊…啊…操我用力操我| 久久精品国产亚洲AV无码电影| 一起草三级AV电影在线观看| 91欧美情色| 精品无码产区一区二| 欧美一二在线| 超碰 97国产熟女| 99热婷婷| 亚洲欧美日韩夜夜| av天堂精品久久| 麻豆国产精品午夜视频| 天天噜| 国产精品不卡少妇白| 少妇熟女视频一区二区三区| 吉川爱美亚洲二区在线| 性欧美体内射精| 四虎影库国产精品免费| 五月激情综合网| 国产成人无码久久精品| 无码日韩人妻av一| 人妻中文字幕精品无码| 欧美性爱第一页久久| 精品亚洲| 97色97干| 国产久久久久久| 久久啊啊啊| 大奶的诱惑| 欧美在线天堂| 后入式免费视频| 国产精品久久久久婷婷二区次| 国产一区二区在线看| 人妻喷水| 青青草AV色| 国产麻豆91欧美一区二区久久婷婷国产精品| 土豪酒店各种姿势玩弄极品幼稚| 日欧毛片久久| 久久超碰98| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 91人妻丝袜无码| 人妻在线臀日韩| 性色高清在线| 青娱乐大香蕉| 乱欲性色| 啊嗯嗯啊好大好爽| 人妻喷水| 亚洲性高潮| 色香AV| 亚洲一区二区三区春色| 伊人久久综合影院精品久久久| 91看黄片| 日韩欧美aⅴ综合网站发布| 日韩一性一交一A片俄罗斯| 美女一区二区国产精品| 欧美黄色片AAAAA| www.婷婷六月天| 久久久久久中文字幕中文字幕最新| 97精彩视频网站| 天天碰操中国年青熟妇| 久久婷婷欧美| 久久精品一区一起草| 少妇激情一区二区三区视频| 精品人妻一区二区三区日产| PMv在线观看| 久操com| 凹凸视频特色日本特黄| 亚洲综合春色| 自拍视频大全亚洲专媒视频/一区二区三区 | 人妻AV 中文字幕的| 内射中出日韩在线观看视频| 男人的天堂VA在线| 啊啊啊操死我了| 亚洲色图欧美色图另类图片| 国产午夜福利电影免费在线观看 | 精品人妻一区二区三区四区石在线 | 日韩BBN| 无码国产精品96久久久久孕妇| 中文色综合| 大香蕉五月天婷婷| 精品国产网站| 久久偷偷色综合蜜桃| 97狠狠| 国产成年精品高清在线观看91| 日本123区操B视频| AV一二区| 久久精品人妻一区二区三区| 99re这里只有精品9| 色色色色日本| 日韩精品一二三四| 亚洲日产专区婷婷|