后端【免費(fèi)下載鏈接】geventCoroutine-based concurrency library for Python項(xiàng)目地址https://gitcode.com/gh_mirrors/ge/gevent點(diǎn)擊查看免費(fèi)下載導(dǎo)讀gevent 是一個(gè)基于協(xié)程coroutine的 Python 并發(fā)庫(kù)其事件循環(huán)與 DNS 解析能力并非完全自研而是建立在 libev / libuv 與 c-ares 三個(gè)成熟的 C 庫(kù)之上。為了保證跨平臺(tái)構(gòu)建的確定性、避免版本漂移帶來(lái)的兼容性風(fēng)險(xiǎn)gevent 采用了內(nèi)嵌vendoring/embedding依賴的策略把三個(gè) C 庫(kù)的源碼直接放入倉(cāng)庫(kù)的deps/目錄并配合構(gòu)建腳本一起打包。本文基于倉(cāng)庫(kù)中的 deps/README.rst 操作手冊(cè)完整梳理三個(gè)依賴的更新流程、需要清理的冗余文件、必須修補(bǔ)的關(guān)鍵點(diǎn)并結(jié)合 _setuplibev.py、_setupares.py、src/gevent/libuv/_corecffi_build.py 等構(gòu)建腳本解釋每一步操作背后的工程原因。讀完本文你將能夠獨(dú)立完成一次 gevent 內(nèi)嵌依賴的升級(jí)并知道如何驗(yàn)證升級(jí)結(jié)果。一、為什么 gevent 要內(nèi)嵌這三個(gè) C 庫(kù)在深入了解更新流程之前先看清deps/目錄里到底放的是什么deps/libev/libev 事件循環(huán)庫(kù)被gevent.libev后端使用deps/c-ares/c-ares 異步 DNS 解析庫(kù)被gevent.resolver.cares使用deps/libuv/libuv 事件循環(huán)庫(kù)被gevent.libuv后端使用deps/greenlet/僅保留頭文件greenlet.h的內(nèi)嵌依賴deps/cares-make.patch針對(duì) c-ares 構(gòu)建系統(tǒng)的本地補(bǔ)丁。構(gòu)建腳本里可以清楚看到內(nèi)嵌與外鏈兩種模式的切換邏輯。以 _setuplibev.py 為例should_embed(libev)決定是否內(nèi)嵌內(nèi)嵌時(shí)把deps/libev加入 include 路徑并附帶LIBEV_EMBED1、EV_USE_REALTIME1、EV_USE_MONOTONIC1等宏定義非內(nèi)嵌模式則直接鏈接系統(tǒng)庫(kù)ev見(jiàn)_setuplibev.py的else分支CORE.libraries.append(ev)。_setupares.py 同理內(nèi)嵌時(shí)把deps/c-ares/src/lib下各子目錄的.c文件全部加入編譯源列表并定義CARES_EMBED1、HAVE_CONFIG_HWindows 上為CARES_STATICLIB非內(nèi)嵌時(shí)鏈接系統(tǒng)cares庫(kù)。src/gevent/libuv/_corecffi_build.py 則按平臺(tái)把 libuv 的src/fs-poll.c、src/uv-common.c、src/threadpool.c等公共源文件與src/unix/*.c、src/win/*.c平臺(tái)源文件組織進(jìn) CFFI 編譯。正因?yàn)樵创a被直接內(nèi)嵌并參與編譯上游庫(kù)的每次升級(jí)都會(huì)直接影響 gevent 的構(gòu)建產(chǎn)物。因此更新過(guò)程絕不是解壓覆蓋這么簡(jiǎn)單而是一套有紀(jì)律的清理、修補(bǔ)、提交流程。二、通用原則用最小化補(bǔ)丁表達(dá)本地修改deps/README.rst開(kāi)篇就給出了貫穿整個(gè)流程的第一條鐵律Generate patches withgit diff --patch --minimal -b即本地對(duì)上游源碼的一切改動(dòng)都應(yīng)通過(guò) git 補(bǔ)丁來(lái)記錄且補(bǔ)丁要滿足三個(gè)要求--patch以補(bǔ)丁格式輸出差異便于復(fù)用與審查--minimal讓 diff 算法盡量生成最小的變更集減少補(bǔ)丁與上游新版本的沖突面-b忽略空白的差異僅比較非空白字符避免因上游重排空格導(dǎo)致補(bǔ)丁失效。這條原則在 c-ares 的更新流程中體現(xiàn)得最充分見(jiàn)下文第四節(jié)deps/cares-make.patch就是遵循該原則產(chǎn)出的補(bǔ)丁樣例——它只改動(dòng)了Makefile.am、Makefile.in、configure、configure.ac四個(gè)文件中的少量行把docs、test子目錄從構(gòu)建和分發(fā)列表里剔除。三、更新 libevlibev 的更新流程相對(duì)簡(jiǎn)單核心是瘦身下載并解壓官方 tarball 到deps/libev/然后刪除構(gòu)建內(nèi)嵌版本不需要的冗余文件rm -f libev/Makefile.am rm -f libev/Symbols.ev rm -f libev/Symbols.event rm -f libev/TODO rm -f libev/aclocal.m4 rm -f libev/autogen.sh rm -f libev/compile rm -f libev/configure.ac rm -f libev/libev.m4 rm -f libev/mkinstalldirs刪除這些文件的原因從當(dāng)前倉(cāng)庫(kù) deps/libev 目錄清單可以印證gevent 內(nèi)嵌 libev 時(shí)不需要 autotools 的生成鏈路autogen.sh、aclocal.m4、configure.ac、Makefile.am、libev.m4、compile、mkinstalldirs也不需要符號(hào)導(dǎo)出腳本Symbols.ev、Symbols.event與上游 TODO。保留的是configure、config.h.in、Makefile.in以及ev.c、ev.h、各平臺(tái)后端源文件ev_epoll.c、ev_kqueue.c、ev_poll.c、ev_select.c等。清理之后檢查config.guess和config.sub是否時(shí)間倒流詳見(jiàn)第五節(jié)。一個(gè)值得注意的細(xì)節(jié)_setuplibev.py 的configure_libev()會(huì)在構(gòu)建時(shí)于deps/libev/內(nèi)執(zhí)行sh ./configure -C生成config.h如果config.h已存在則跳過(guò)配置。因此升級(jí)后首次構(gòu)建時(shí)舊版本的config.h可能殘留必要時(shí)需要清理后再觸發(fā)配置。四、更新 c-ares最復(fù)雜的流程c-ares 的更新是全流程中最繁瑣的一步原因在于它不僅要清理文件還要應(yīng)用本地補(bǔ)丁cares-make.patch。完整命令序列如下可直接復(fù)制到終端執(zhí)行注意先進(jìn)入deps/目錄export CARES_VER1.33.1 cd deps/ wget https://github.com/c-ares/c-ares/releases/download/v$CARES_VER/c-ares-$CARES_VER.tar.gz tar -xf c-ares-$CARES_VER.tar.gz rm -rf c-ares c-ares-$CARES_VER.tar.gz mv c-ares-$CARES_VER c-ares cp c-ares/include/ares_build.h c-ares/include/ares_build.h.dist rm -rf c-ares/docs rm -rf c-ares/test rm -rf c-ares/cmake rm -f c-ares/maketgz rm -f c-ares/CMakeLists.txt rm -f c-ares/RELEASE-PROCEDURE.md c-ares/CONTRIBUTING.md c-ares/SECURITY.md rm -f c-ares/*.cmake c-ares/*.cmake.in rm -rf c-ares/config/ rm -f c-ares/INSTALL.md c-ares/LICENSE.md c-ares/DEVELOPER-NOTES.md rm -f c-ares/buildconf.bat rm -f c-ares/Makefile* git apply cares-make.patch逐段解讀這套操作的目的cp include/ares_build.h include/ares_build.h.distares_build.h是 configure 生成的平臺(tái)相關(guān)頭文件上游分發(fā)的.dist版本被 gevent 保留下來(lái)。_setupares.py 在 Windows 上正是直接拷貝deps/c-ares/include/ares_build.h.dist到構(gòu)建目錄作為ares_build.h使用的。刪除docs、test、cmake等目錄內(nèi)嵌版本不攜帶文檔與上游測(cè)試套件避免污染 sdist 發(fā)行包體積。刪除Makefile*后應(yīng)用補(bǔ)丁cares-make.patch針對(duì)Makefile.am、Makefile.in、configure、configure.ac四個(gè)文件把DIST_SUBDIRS/BUILD_SUBDIRS中的docs、test子目錄移除。查看 deps/cares-make.patch 可見(jiàn)其具體改動(dòng)DIST_SUBDIRS include src test docs改為include srcBUILD_SUBDIRSinclude src docs改為include src并同步刪除了docs/Makefile的生成條目——這樣上游自帶的 MANPAGES 文檔就不會(huì)被打進(jìn) gevent 的 sdist。補(bǔ)丁應(yīng)用后還有兩個(gè)重要后續(xù)評(píng)估新增文件新版本 c-ares 中可能產(chǎn)生需要納入 git 與構(gòu)建的新文件逐一評(píng)估后git add補(bǔ)丁沖突處理若git apply失敗先把當(dāng)前改動(dòng)git commit原文強(qiáng)調(diào) commit the changes before the patch然后手工編輯三個(gè)目標(biāo)文件按現(xiàn)有補(bǔ)丁文件的模式搜索定位相關(guān)行刪除對(duì)docs和test的引用修復(fù)后重新生成補(bǔ)丁git diff -p --minimal -w注意原文特別警告不能把這條命令的輸出直接重定向到cares-make.patch——否則會(huì)把補(bǔ)丁本身的 diff也卷進(jìn)新補(bǔ)丁造成自引用污染。最后c-ares 同樣要執(zhí)行config.guess/config.sub的時(shí)間檢查只是這兩個(gè)文件位于config/子目錄當(dāng)前倉(cāng)庫(kù)的 deps/c-ares/config 目錄即包含config.guess與config.sub。五、更新 libuv平臺(tái)細(xì)節(jié)最多l(xiāng)ibuv 的更新命令序列同樣設(shè)計(jì)為復(fù)制粘貼即可執(zhí)行export LIBUV_VERv1.38.0 cd deps/ wget https://dist.libuv.org/dist/$LIBUV_VER/libuv-$LIBUV_VER.tar.gz tar -xf libuv-$LIBUV_VER.tar.gz rm libuv-$LIBUV_VER.tar.gz rm -rf libuv mv libuv-$LIBUV_VER libuv rm -rf libuv/.github rm -rf libuv/.readthedocs.yaml rm -rf libuv/LINKS.md rm -rf libuv/docs rm -rf libuv/samples rm -rf libuv/test/*.[ch] libuv/test/test.gyp # must leave the fixtures/ dir rm -rf libuv/tools rm -f libuv/android-configure* rm -f libuv/uv_win_longpath.manifest rm -rf libuv/cmake-toolchains/幾個(gè)要點(diǎn)需要單獨(dú)說(shuō)明libuv/test/*.[ch]與test.gyp刪除但必須保留test/fixtures/目錄因?yàn)?src/gevent/libuv/_corecffi_build.py 編譯時(shí)并不需要測(cè)試源文件但倉(cāng)庫(kù)中依賴測(cè)試夾具文件用于 gevent 的測(cè)試套件所以命令末尾特意注釋 must leave the fixtures/ dir。評(píng)估構(gòu)建系統(tǒng)變更解壓后檢查 libuv 是否有新的源文件需要加入 git 與構(gòu)建流程必要時(shí)同步修改 src/gevent/libuv/_corecffi_build.py 中的LIBUV_SOURCES列表該文件按 Linux / Darwin / FreeBSD / OpenBSD / NetBSD / SunOS / AIX / Haiku / Cygwin / Windows 分別組織源文件。同時(shí)留意上游構(gòu)建系統(tǒng)如.gyp文件的變動(dòng)看是否需要反映到 gevent 自己的構(gòu)建文件里。m4目錄的特殊警告原文以caution形式給出要特別注意libuv/m4目錄——新增的.m4文件可能不會(huì)出現(xiàn)在git status輸出中詳見(jiàn)上游 libuv issue 2862 的已知問(wèn)題因此清理后要手動(dòng)核對(duì)m4/下是否有新文件需要入庫(kù)。當(dāng)前倉(cāng)庫(kù) deps/libuv/m4 中確實(shí)保留了一批ax_*.m4、libuv-*.m4等 autoconf 宏文件升級(jí)時(shí)務(wù)必逐一對(duì)賬。config.guess/config.sub與 libev 相同的檢查步驟。5.1 libuv 1.49 的 kqueue 定向修改從 libuv 1.49 開(kāi)始必須手工編輯deps/libuv/src/unix/kqueue.c在函數(shù)uv__io_check_fd中有兩段針對(duì) FreeBSD 與 AppleDarwin平臺(tái)檢查文件描述符類型、對(duì)普通文件和管道返回EINVAL的代碼塊需要用#if 0將其禁用。為什么要禁用原文檔給出的解釋很直白如果不做這個(gè)修改gevent 的test__fileobject.py測(cè)試會(huì)失敗——gevent 實(shí)際測(cè)試的使用場(chǎng)景并不涉及上游這兩段代碼所修復(fù)的問(wèn)題而這些檢查會(huì)把 gevent 支持的場(chǎng)景如對(duì)普通文件/管道 fd 做事件監(jiān)聽(tīng)直接拒絕掉。這個(gè)修改在當(dāng)前倉(cāng)庫(kù)中有真實(shí)落點(diǎn)deps/libuv/src/unix/kqueue.c 的uv__io_check_fd函數(shù)里可以看到#if 0 /* gevent: These things work fine in our tested use cases. */的注釋包裹著S_ISREG/S_ISDIR返回UV_EINVAL以及__APPLE__下S_ISFIFO的檢查代碼。這也提醒升級(jí)者升級(jí)后應(yīng)通過(guò)git diff確認(rèn)這類本地補(bǔ)丁是否仍被正確保留。六、config.guess / config.sub 的時(shí)間倒流檢查這是 libev、c-ares、libuv 三個(gè)依賴共用的一個(gè)檢查步驟Check if config.guess and/or config.sub went backwards in time (the timestamp and copyright dates). If so, revert it (or update from the latest source).config.guess/config.sub是 GNU 標(biāo)準(zhǔn)的系統(tǒng)類型探測(cè)腳本包含版本時(shí)間戳與版權(quán)年份例如當(dāng)前倉(cāng)庫(kù) deps/c-ares/config/config.guess 首部標(biāo)注 Copyright 1992-2024 Free Software Foundation。由于各上游倉(cāng)庫(kù)打包的這兩個(gè)腳本版本新舊不一解壓新版本后可能出現(xiàn)比 gevent 倉(cāng)庫(kù)中已有的版本更舊的情況went backwards in time。遇到這種情況應(yīng)回退revert到較新的版本或從 GNU config 的最新源更新。c-ares 版本中的這兩個(gè)文件位于config/子目錄libev 與 libuv 版本中位于各自目錄根下處理時(shí)注意路徑差異。七、升級(jí)后的收尾與驗(yàn)證三個(gè)依賴各自的清理與修補(bǔ)完成后還需要做一輪系統(tǒng)性收尾git 入庫(kù)將新增的源文件、.m4宏文件、頭文件等逐項(xiàng)評(píng)估后加入版本控制對(duì) c-ares 還需確認(rèn)補(bǔ)丁應(yīng)用后生成的cares-make.patch與倉(cāng)庫(kù)現(xiàn)狀一致。構(gòu)建腳本同步對(duì)照上游新版本的目錄結(jié)構(gòu)檢查 _setuplibev.py、_setupares.py、src/gevent/libuv/_corecffi_build.py 中的源文件列表、宏定義與庫(kù)依賴是否需要更新。測(cè)試驗(yàn)證運(yùn)行 gevent 的測(cè)試套件重點(diǎn)觀察與對(duì)應(yīng)依賴相關(guān)的測(cè)試?yán)缥募?duì)象相關(guān)的 src/gevent/tests/test__fileobject.pylibuv kqueue 修改的驗(yàn)收測(cè)試、DNS 解析相關(guān)的 src/gevent/tests/test__socket_dns.py 與 src/gevent/tests/test__resolver_dnspython.pyc-ares 相關(guān)等。確認(rèn)本地補(bǔ)丁存活升級(jí)本質(zhì)上是上游代碼 本地補(bǔ)丁的合并用git diff復(fù)查#if 0、cares-make.patch對(duì)應(yīng)的改動(dòng)是否在覆蓋新 tarball 后依然生效。八、小結(jié)gevent 的內(nèi)嵌依賴管理可以總結(jié)為三條紀(jì)律有選擇地保留只保留構(gòu)建所需的最小文件集刪除 autotools 生成鏈、文檔、上游測(cè)試、CMake 工程等冗余內(nèi)容保證 sdist 干凈、構(gòu)建確定補(bǔ)丁最小化所有本地改動(dòng)以git diff --patch --minimal -b/-p --minimal -w形式沉淀為可復(fù)用的補(bǔ)丁減少與上游新版本的沖突面平臺(tái)差異顯式化libuv 的 kqueue 修正、c-ares 的ares_build.h.dist保留、Windows 的CARES_STATICLIB宏等平臺(tái)特化處理全部落在構(gòu)建腳本與補(bǔ)丁中保證跨平臺(tái)一致性。掌握 deps/README.rst 這套流程后當(dāng) gevent 需要跟進(jìn)上游 libev / c-ares / libuv 的新版本時(shí)你就能按照同一套可復(fù)現(xiàn)的步驟完成升級(jí)并借助git diff與測(cè)試套件驗(yàn)證每一步的改動(dòng)是否符合預(yù)期。贊分享后端【免費(fèi)下載鏈接】geventCoroutine-based concurrency library for Python項(xiàng)目地址https://gitcode.com/gh_mirrors/ge/gevent點(diǎn)擊查看免費(fèi)下載相關(guān)推薦終極gevent事件循環(huán)指南從入門到精通的libev與libuv實(shí)戰(zhàn)選擇終極gevent事件循環(huán)指南從入門到精通的libev與libuv實(shí)戰(zhàn)選擇 gevent是一個(gè)基于協(xié)程的Python并發(fā)庫(kù)提供了高效的事件循環(huán)機(jī)制。本文將深入后端gevent 協(xié)程并發(fā)網(wǎng)絡(luò)庫(kù)完全指南greenlet 與 libev/libuv 事件循環(huán)架構(gòu)、安裝與實(shí)戰(zhàn)gevent 協(xié)程并發(fā)網(wǎng)絡(luò)庫(kù)完全指南greenlet 與 libev/libuv 事件循環(huán)架構(gòu)、安裝與實(shí)戰(zhàn) gevent 是一個(gè)基于協(xié)程coroutine后端gevent 嵌入的 c-ares基于 C 的異步 DNS 解析器解析、安全設(shè)計(jì)與集成實(shí)戰(zhàn)gevent 嵌入的 c ares基于 C 的異步 DNS 解析器解析、安全設(shè)計(jì)與集成實(shí)戰(zhàn) 導(dǎo)讀 本文以 deps/c ares/README.md htt后端上一篇蓄水池抽樣Reservoir Sampling算法詳解流式數(shù)據(jù)等概率隨機(jī)選取的原理、證明與實(shí)戰(zhàn)下一篇CANN ops-math 算子實(shí)戰(zhàn)aclnnFmodTensor 與 aclnnInplaceFmodTensor 張量取余接口全解析創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考