站采集程序?qū)崙?zhàn)：vivi 5.5核心鏈路與參數(shù)調(diào)優(yōu))
簡介這份資源是VIVI萬能小偷程序5.5的PHP源碼包面向希望快速搭建內(nèi)容采集站點(diǎn)的開發(fā)者與站長尤其適合具備一定PHP基礎(chǔ)、想研究單級域名站點(diǎn)自動采集實現(xiàn)思路的技術(shù)人員。其核心能力在于只需填入目標(biāo)站地址即可全自動抓取內(nèi)容官方稱可兼容約98%的單級域名站點(diǎn)屬于高智能采集類爬蟲程序可用于內(nèi)容聚合、站點(diǎn)鏡像等場景的二次開發(fā)與學(xué)習(xí)。壓縮包為zip格式整體約1.37MB體積輕便便于本地部署與調(diào)試。目前已有289人學(xué)習(xí)下載具備一定的參考熱度。源碼完整貼出讀者可據(jù)此研究采集規(guī)則匹配、頁面解析與數(shù)據(jù)入庫等關(guān)鍵環(huán)節(jié)的實現(xiàn)方式理解小偷程序在域名適配與自動化流程上的設(shè)計取舍并在此基礎(chǔ)上按自身需求改造采集邏輯、擴(kuò)展目標(biāo)站點(diǎn)支持范圍是一份適合動手實踐與源碼剖析的PHP采集程序參考材料。1. 一個“網(wǎng)站小偷程序”到底偷的是什么從 vivi 5.5 的 PHP 實現(xiàn)說起第一次看到“vivi網(wǎng)站小偷程序5.5PHP版”這個標(biāo)題多數(shù)人的反應(yīng)是好奇加警惕偷什么怎么偷合法嗎先把概念釘死——這類程序在技術(shù)圈更準(zhǔn)確的叫法是內(nèi)容采集與鏡像腳本核心邏輯是用 PHP 的 HTTP 客戶端去抓取目標(biāo)頁面的 HTML再按規(guī)則抽取正文、圖片、鏈接最后寫進(jìn)自己的數(shù)據(jù)庫或直接生成靜態(tài)頁。它不入侵服務(wù)器、不拖庫本質(zhì)是“替你把瀏覽器里手動復(fù)制粘貼的動作自動化”。vivi 5.5 這個版本號說明它已經(jīng)迭代過幾輪PHP 版意味著部署門檻低虛擬主機(jī)就能跑。適合誰做垂直內(nèi)容聚合的站長、需要批量歸檔公開資料的運(yùn)營、想學(xué) HTTP 抓取與 DOM 解析的 PHP 開發(fā)者。但注意抓取行為必須遵守目標(biāo)站 robots.txt 與版權(quán)規(guī)則本文只討論技術(shù)實現(xiàn)路徑不鼓勵任何侵權(quán)用途。2. 拆開 vivi 5.5 的采集鏈路從 URL 隊列到入庫的五個環(huán)節(jié)2.1 先搞清楚它和普通爬蟲的區(qū)別普通爬蟲比如通用搜索引擎的蜘蛛目標(biāo)是“盡可能廣地發(fā)現(xiàn)新 URL”而 vivi 這類程序的目標(biāo)是“把指定站點(diǎn)的指定欄目完整搬過來”。前者重調(diào)度和去重后者重規(guī)則匹配和內(nèi)容還原。vivi 5.5 的典型工作流是種子 URL 列表 → 列表頁解析出詳情頁鏈接 → 詳情頁抓取 → 正文/圖片抽取 → 本地化存儲。它通常不帶分布式調(diào)度單機(jī)跑靠 PHP 的 curl 多線程或 file_get_contents 串行抓。選它的理由就一個改規(guī)則快。目標(biāo)站改版了你只需要調(diào)正則或 DOM 選擇器不用動框架。2.2 最小可跑通的采集核心代碼下面這段是我一般會先寫出來驗證鏈路是否通的最小 demo不依賴任何框架純 PHP curl DOMDocument?php // 最小采集核心抓列表頁 - 提取詳情鏈接 - 抓詳情 - 存本地 function fetch($url) { $ch curl_init($url); curl_setopt_array($ch, [ CURLOPT_RETURNTRANSFER true, // 返回字符串而不是直接輸出 CURLOPT_FOLLOWLOCATION true, // 跟隨 301/302 跳轉(zhuǎn) CURLOPT_TIMEOUT 15, // 單請求超時防止卡死 CURLOPT_USERAGENT Mozilla/5.0 (compatible; Collector/5.5), CURLOPT_ENCODING gzip, // 自動解壓省帶寬 ]); $html curl_exec($ch); $code curl_getinfo($ch, CURLINFO_HTTP_CODE); curl_close($ch); return $code 200 ? $html : false; } // 1. 抓列表頁 $listHtml fetch(https://example.com/list); if (!$listHtml) exit(列表頁抓取失敗\n); // 2. 用 DOM 提取詳情鏈接比正則穩(wěn) $doc new DOMDocument(); libxml_use_internal_errors(true); // 屏蔽 HTML 不規(guī)范產(chǎn)生的警告 $doc-loadHTML($listHtml); $xpath new DOMXPath($doc); $links []; foreach ($xpath-query(//div[classlist]//a/href) as $node) { $links[] $node-nodeValue; } $links array_unique($links); // 去重列表頁常有重復(fù)入口 // 3. 逐個抓詳情并落盤 foreach ($links as $i $href) { $detail fetch($href); if (!$detail) continue; file_put_contents(__DIR__ . /data/{$i}.html, $detail); usleep(500000); // 間隔 0.5 秒別把對方打掛 } echo 完成共 . count($links) . 條\n;邏輯說明fetch()封裝了 curl 的四個關(guān)鍵參數(shù)——RETURNTRANSFER讓結(jié)果可處理FOLLOWLOCATION處理跳轉(zhuǎn)TIMEOUT防單點(diǎn)卡死ENCODING自動解壓。第二步用DOMXPath而不是正則是因為 HTML 嵌套一深正則的貪婪匹配就會翻車。第三步的usleep是禮貌抓取也是保命符。參數(shù)怎么調(diào)TIMEOUT設(shè) 10~20 秒太短會誤殺慢站太長會拖垮隊列usleep的間隔看目標(biāo)站承受力公開小站建議 0.5~1 秒自有站可以降到 0.1 秒。USERAGENT別偽裝成搜索引擎蜘蛛那是給自己找麻煩。2.3 正文抽取與圖片本地化抓到詳情頁后vivi 5.5 這類程序的核心價值在“還原”——把正文從一堆導(dǎo)航、廣告、側(cè)欄里剝出來。常見做法是配置一個“正文容器選擇器”比如//div[idcontent]然后取textContent。圖片本地化則是把img src的相對路徑補(bǔ)全為絕對路徑下載到本地uploads/再把 HTML 里的地址替換掉。這一步不做目標(biāo)站一改圖床你的頁面全是裂圖。// 正文抽取 圖片地址替換 $detailDoc new DOMDocument(); libxml_use_internal_errors(true); $detailDoc-loadHTML($detail); $dx new DOMXPath($detailDoc); $contentNode $dx-query(//div[idcontent])-item(0); if (!$contentNode) continue; // 選擇器沒命中跳過而不是存空 // 圖片本地化 foreach ($dx-query(.//img, $contentNode) as $img) { $src $img-getAttribute(src); if (strpos($src, http) ! 0) { $src https://example.com . $src; // 補(bǔ)全相對路徑 } $local __DIR__ . /uploads/ . md5($src) . .jpg; file_put_contents($local, fetch($src)); $img-setAttribute(src, /uploads/ . basename($local)); } $text $detailDoc-saveHTML($contentNode);這里有個血淚經(jīng)驗saveHTML()輸出的是整個節(jié)點(diǎn)包含標(biāo)簽別再用strip_tags把結(jié)構(gòu)也剝了否則段落全糊成一坨。圖片擴(kuò)展名用md5命名是為了防重名但真實項目里最好從Content-Type響應(yīng)頭判斷格式別硬編碼.jpg。3. 規(guī)則配置與參數(shù)調(diào)優(yōu)讓采集穩(wěn)定跑過 10 萬頁的三個關(guān)鍵設(shè)置3.1 列表頁翻頁與 URL 去重策略采集量一上來第一個崩的就是去重。vivi 5.5 默認(rèn)用內(nèi)存數(shù)組去重跑幾千頁還行上到幾萬頁內(nèi)存就爆。我一般會換成SQLite 唯一索引去重把已抓 URL 的 md5 存進(jìn)去插入沖突就跳過。翻頁規(guī)則則用“模板 頁碼變量”的方式配置比如https://example.com/list?page{n}n 從 1 遞增到抓不到有效鏈接為止。// SQLite 去重表 $db new PDO(sqlite: . __DIR__ . /seen.db); $db-exec(CREATE TABLE IF NOT EXISTS seen (hash TEXT PRIMARY KEY)); function isSeen($db, $url) { $hash md5($url); $stmt $db-prepare(INSERT OR IGNORE INTO seen (hash) VALUES (?)); $stmt-execute([$hash]); return $stmt-rowCount() 0; // 插入被忽略說明已存在 }INSERT OR IGNORE配合主鍵天然冪等比先查后插少一次 IO。rowCount()返回 0 就是重復(fù)直接跳過。3.2 并發(fā)數(shù)與超時別讓“快”變成“掛”單線程串行抓 10 萬頁按每頁 0.5 秒算要 14 小時。很多人第一反應(yīng)是上多線程PHP 里用curl_multi可以做到 5~10 并發(fā)。但并發(fā)不是越高越好——目標(biāo)站有連接數(shù)限制你并發(fā) 50對方直接封 IP。我的經(jīng)驗值是并發(fā) 5單請求超時 15 秒失敗重試 2 次重試間隔翻倍。這套參數(shù)在中小站點(diǎn)上基本不會觸發(fā)封禁又能把總時長壓到 3 小時以內(nèi)。參數(shù)保守值激進(jìn)值風(fēng)險并發(fā)數(shù)310超過 10 易被封單請求超時20s8s太短誤殺慢站重試次數(shù)20不重試丟數(shù)據(jù)請求間隔1s0.1s太快觸發(fā)限流3.3 編碼與亂碼GBK 站點(diǎn)的處理國內(nèi)不少老站還是 GBK 編碼curl 抓回來直接loadHTML會亂碼。正確做法是先看響應(yīng)頭Content-Type里的 charset或者從 HTML 的meta charset讀然后用mb_convert_encoding轉(zhuǎn)成 UTF-8 再解析。這一步不做后面所有抽取都是白干。// 編碼探測與轉(zhuǎn)換 if (preg_match(/charset[\]?([\w-])/i, $html, $m)) { $charset strtoupper($m[1]); if ($charset ! UTF-8) { $html mb_convert_encoding($html, UTF-8, $charset); } }注意mb_convert_encoding的源編碼要寫對寫成GBK而不是GB2312后者字符集太小遇到生僻字會丟。4. 避坑與排查采集程序跑掛的五個典型現(xiàn)場4.1 現(xiàn)象抓回來全是登錄頁 → 原因目標(biāo)站要 Cookie → 解決帶 Cookie 抓有些站未登錄只能看列表詳情頁跳登錄。這時候要么手動登錄后把 Cookie 字符串寫進(jìn) curl 的CURLOPT_COOKIE要么用CURLOPT_COOKIEJAR先模擬登錄一次。別想著繞繞就是入侵直接放棄該站。4.2 現(xiàn)象跑一半內(nèi)存溢出 → 原因DOM 對象沒釋放 → 解決循環(huán)內(nèi) unsetDOMDocument和DOMXPath在循環(huán)里反復(fù) newPHP 的 GC 不一定及時回收。每輪循環(huán)結(jié)束unset($doc, $xpath)內(nèi)存曲線立刻平下來。這是最容易被忽略的玄學(xué)問題。4.3 現(xiàn)象圖片下載 403 → 原因缺 Referer → 解決補(bǔ) Referer 頭很多圖床校驗來源頁。在fetch()里加CURLOPT_REFERER指向詳情頁 URL403 就消失了。別加假 Referer用真實的詳情頁地址。4.4 現(xiàn)象入庫后正文帶一堆\r\n→ 原因源站換行符未歸一 → 解決入庫前統(tǒng)一替換str_replace([\r\n, \r], \n, $text)再preg_replace(/\n{3,}/, \n\n, $text)頁面立刻干凈。這是后悔藥級別的操作建議寫進(jìn)公共函數(shù)。4.5 現(xiàn)象跑著跑著 IP 被限 → 原因無間隔高頻請求 → 解決加隨機(jī)延遲 失敗退避固定usleep還是有規(guī)律改成usleep(rand(300000, 800000))再配合失敗后sleep(pow(2, $retry))的指數(shù)退避能大幅降低被限概率。記住采集的穩(wěn)定性永遠(yuǎn)比速度值錢。5. 從能跑到好用給 vivi 5.5 加一層“斷點(diǎn)續(xù)采”與增量更新跑到 10 萬頁這個量級最怕的是中途斷電或腳本崩了重跑一遍全量。我的習(xí)慣是給采集器加斷點(diǎn)續(xù)采每處理完一條就把當(dāng)前頁碼和 URL 游標(biāo)寫進(jìn)一個progress.json啟動時先讀這個文件從斷點(diǎn)繼續(xù)。增量更新則靠對比詳情頁的“最后修改時間”或內(nèi)容 hash沒變就跳過省掉 80% 的重復(fù)抓取。// 斷點(diǎn)續(xù)采進(jìn)度落盤 $progressFile __DIR__ . /progress.json; $progress file_exists($progressFile) ? json_decode(file_get_contents($progressFile), true) : [page 1, index 0]; // 主循環(huán)里每處理一條就更新 $progress[index] $i; file_put_contents($progressFile, json_encode($progress)); // 增量判斷內(nèi)容 hash 沒變就跳過 $newHash md5($detail); if (isset($hashStore[$url]) $hashStore[$url] $newHash) { continue; } $hashStore[$url] $newHash;progress.json的寫入頻率別太高每 10 條寫一次就夠否則磁盤 IO 反而成瓶頸。增量 hash 存 SQLite 里和去重表合并一張表管兩件事。最后說個驗證方法拿 100 條已知數(shù)據(jù)做回放測試——把抓取結(jié)果和人工復(fù)制的正文做 diff字符級一致率低于 95% 就說明抽取規(guī)則有問題別急著上量。我自己踩過最大的坑就是規(guī)則沒驗證就全量跑結(jié)果 3 萬條數(shù)據(jù)正文全帶側(cè)欄廣告清理比重抓還費(fèi)勁。所以現(xiàn)在的習(xí)慣是先跑 100 條人工抽檢 10 條確認(rèn)無誤再放開并發(fā)。這個習(xí)慣幫我省下的時間遠(yuǎn)比調(diào)優(yōu)參數(shù)多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取 PHP網(wǎng)站采集程序?qū)崙?zhàn)：vivi 5.5核心鏈路與參數(shù)調(diào)優(yōu)
簡介這份資源是VIVI萬能小偷程序5.5的PHP源碼包面向希望快速搭建內(nèi)容采集站點(diǎn)的開發(fā)者與站長尤其適合具備一定PHP基礎(chǔ)、想研究單級域名站點(diǎn)自動采集實現(xiàn)思路的技術(shù)人員。其核心能力在于只需填入目標(biāo)站地址即可全自動抓取內(nèi)容官方稱可兼容約98%的單級域名站點(diǎn)屬于高智能采集類爬蟲程序可用于內(nèi)容聚合、站點(diǎn)鏡像等場景的二次開發(fā)與學(xué)習(xí)。壓縮包為zip格式整體約1.37MB體積輕便便于本地部署與調(diào)試。目前已有289人學(xué)習(xí)下載具備一定的參考熱度。源碼完整貼出讀者可據(jù)此研究采集規(guī)則匹配、頁面解析與數(shù)據(jù)入庫等關(guān)鍵環(huán)節(jié)的實現(xiàn)方式理解小偷程序在域名適配與自動化流程上的設(shè)計取舍并在此基礎(chǔ)上按自身需求改造采集邏輯、擴(kuò)展目標(biāo)站點(diǎn)支持范圍是一份適合動手實踐與源碼剖析的PHP采集程序參考材料。1. 一個“網(wǎng)站小偷程序”到底偷的是什么從 vivi 5.5 的 PHP 實現(xiàn)說起第一次看到“vivi網(wǎng)站小偷程序5.5PHP版”這個標(biāo)題多數(shù)人的反應(yīng)是好奇加警惕偷什么怎么偷合法嗎先把概念釘死——這類程序在技術(shù)圈更準(zhǔn)確的叫法是內(nèi)容采集與鏡像腳本核心邏輯是用 PHP 的 HTTP 客戶端去抓取目標(biāo)頁面的 HTML再按規(guī)則抽取正文、圖片、鏈接最后寫進(jìn)自己的數(shù)據(jù)庫或直接生成靜態(tài)頁。它不入侵服務(wù)器、不拖庫本質(zhì)是“替你把瀏覽器里手動復(fù)制粘貼的動作自動化”。vivi 5.5 這個版本號說明它已經(jīng)迭代過幾輪PHP 版意味著部署門檻低虛擬主機(jī)就能跑。適合誰做垂直內(nèi)容聚合的站長、需要批量歸檔公開資料的運(yùn)營、想學(xué) HTTP 抓取與 DOM 解析的 PHP 開發(fā)者。但注意抓取行為必須遵守目標(biāo)站 robots.txt 與版權(quán)規(guī)則本文只討論技術(shù)實現(xiàn)路徑不鼓勵任何侵權(quán)用途。2. 拆開 vivi 5.5 的采集鏈路從 URL 隊列到入庫的五個環(huán)節(jié)2.1 先搞清楚它和普通爬蟲的區(qū)別普通爬蟲比如通用搜索引擎的蜘蛛目標(biāo)是“盡可能廣地發(fā)現(xiàn)新 URL”而 vivi 這類程序的目標(biāo)是“把指定站點(diǎn)的指定欄目完整搬過來”。前者重調(diào)度和去重后者重規(guī)則匹配和內(nèi)容還原。vivi 5.5 的典型工作流是種子 URL 列表 → 列表頁解析出詳情頁鏈接 → 詳情頁抓取 → 正文/圖片抽取 → 本地化存儲。它通常不帶分布式調(diào)度單機(jī)跑靠 PHP 的 curl 多線程或 file_get_contents 串行抓。選它的理由就一個改規(guī)則快。目標(biāo)站改版了你只需要調(diào)正則或 DOM 選擇器不用動框架。2.2 最小可跑通的采集核心代碼下面這段是我一般會先寫出來驗證鏈路是否通的最小 demo不依賴任何框架純 PHP curl DOMDocument?php // 最小采集核心抓列表頁 - 提取詳情鏈接 - 抓詳情 - 存本地 function fetch($url) { $ch curl_init($url); curl_setopt_array($ch, [ CURLOPT_RETURNTRANSFER true, // 返回字符串而不是直接輸出 CURLOPT_FOLLOWLOCATION true, // 跟隨 301/302 跳轉(zhuǎn) CURLOPT_TIMEOUT 15, // 單請求超時防止卡死 CURLOPT_USERAGENT Mozilla/5.0 (compatible; Collector/5.5), CURLOPT_ENCODING gzip, // 自動解壓省帶寬 ]); $html curl_exec($ch); $code curl_getinfo($ch, CURLINFO_HTTP_CODE); curl_close($ch); return $code 200 ? $html : false; } // 1. 抓列表頁 $listHtml fetch(https://example.com/list); if (!$listHtml) exit(列表頁抓取失敗\n); // 2. 用 DOM 提取詳情鏈接比正則穩(wěn) $doc new DOMDocument(); libxml_use_internal_errors(true); // 屏蔽 HTML 不規(guī)范產(chǎn)生的警告 $doc-loadHTML($listHtml); $xpath new DOMXPath($doc); $links []; foreach ($xpath-query(//div[classlist]//a/href) as $node) { $links[] $node-nodeValue; } $links array_unique($links); // 去重列表頁常有重復(fù)入口 // 3. 逐個抓詳情并落盤 foreach ($links as $i $href) { $detail fetch($href); if (!$detail) continue; file_put_contents(__DIR__ . /data/{$i}.html, $detail); usleep(500000); // 間隔 0.5 秒別把對方打掛 } echo 完成共 . count($links) . 條\n;邏輯說明fetch()封裝了 curl 的四個關(guān)鍵參數(shù)——RETURNTRANSFER讓結(jié)果可處理FOLLOWLOCATION處理跳轉(zhuǎn)TIMEOUT防單點(diǎn)卡死ENCODING自動解壓。第二步用DOMXPath而不是正則是因為 HTML 嵌套一深正則的貪婪匹配就會翻車。第三步的usleep是禮貌抓取也是保命符。參數(shù)怎么調(diào)TIMEOUT設(shè) 10~20 秒太短會誤殺慢站太長會拖垮隊列usleep的間隔看目標(biāo)站承受力公開小站建議 0.5~1 秒自有站可以降到 0.1 秒。USERAGENT別偽裝成搜索引擎蜘蛛那是給自己找麻煩。2.3 正文抽取與圖片本地化抓到詳情頁后vivi 5.5 這類程序的核心價值在“還原”——把正文從一堆導(dǎo)航、廣告、側(cè)欄里剝出來。常見做法是配置一個“正文容器選擇器”比如//div[idcontent]然后取textContent。圖片本地化則是把img src的相對路徑補(bǔ)全為絕對路徑下載到本地uploads/再把 HTML 里的地址替換掉。這一步不做目標(biāo)站一改圖床你的頁面全是裂圖。// 正文抽取 圖片地址替換 $detailDoc new DOMDocument(); libxml_use_internal_errors(true); $detailDoc-loadHTML($detail); $dx new DOMXPath($detailDoc); $contentNode $dx-query(//div[idcontent])-item(0); if (!$contentNode) continue; // 選擇器沒命中跳過而不是存空 // 圖片本地化 foreach ($dx-query(.//img, $contentNode) as $img) { $src $img-getAttribute(src); if (strpos($src, http) ! 0) { $src https://example.com . $src; // 補(bǔ)全相對路徑 } $local __DIR__ . /uploads/ . md5($src) . .jpg; file_put_contents($local, fetch($src)); $img-setAttribute(src, /uploads/ . basename($local)); } $text $detailDoc-saveHTML($contentNode);這里有個血淚經(jīng)驗saveHTML()輸出的是整個節(jié)點(diǎn)包含標(biāo)簽別再用strip_tags把結(jié)構(gòu)也剝了否則段落全糊成一坨。圖片擴(kuò)展名用md5命名是為了防重名但真實項目里最好從Content-Type響應(yīng)頭判斷格式別硬編碼.jpg。3. 規(guī)則配置與參數(shù)調(diào)優(yōu)讓采集穩(wěn)定跑過 10 萬頁的三個關(guān)鍵設(shè)置3.1 列表頁翻頁與 URL 去重策略采集量一上來第一個崩的就是去重。vivi 5.5 默認(rèn)用內(nèi)存數(shù)組去重跑幾千頁還行上到幾萬頁內(nèi)存就爆。我一般會換成SQLite 唯一索引去重把已抓 URL 的 md5 存進(jìn)去插入沖突就跳過。翻頁規(guī)則則用“模板 頁碼變量”的方式配置比如https://example.com/list?page{n}n 從 1 遞增到抓不到有效鏈接為止。// SQLite 去重表 $db new PDO(sqlite: . __DIR__ . /seen.db); $db-exec(CREATE TABLE IF NOT EXISTS seen (hash TEXT PRIMARY KEY)); function isSeen($db, $url) { $hash md5($url); $stmt $db-prepare(INSERT OR IGNORE INTO seen (hash) VALUES (?)); $stmt-execute([$hash]); return $stmt-rowCount() 0; // 插入被忽略說明已存在 }INSERT OR IGNORE配合主鍵天然冪等比先查后插少一次 IO。rowCount()返回 0 就是重復(fù)直接跳過。3.2 并發(fā)數(shù)與超時別讓“快”變成“掛”單線程串行抓 10 萬頁按每頁 0.5 秒算要 14 小時。很多人第一反應(yīng)是上多線程PHP 里用curl_multi可以做到 5~10 并發(fā)。但并發(fā)不是越高越好——目標(biāo)站有連接數(shù)限制你并發(fā) 50對方直接封 IP。我的經(jīng)驗值是并發(fā) 5單請求超時 15 秒失敗重試 2 次重試間隔翻倍。這套參數(shù)在中小站點(diǎn)上基本不會觸發(fā)封禁又能把總時長壓到 3 小時以內(nèi)。參數(shù)保守值激進(jìn)值風(fēng)險并發(fā)數(shù)310超過 10 易被封單請求超時20s8s太短誤殺慢站重試次數(shù)20不重試丟數(shù)據(jù)請求間隔1s0.1s太快觸發(fā)限流3.3 編碼與亂碼GBK 站點(diǎn)的處理國內(nèi)不少老站還是 GBK 編碼curl 抓回來直接loadHTML會亂碼。正確做法是先看響應(yīng)頭Content-Type里的 charset或者從 HTML 的meta charset讀然后用mb_convert_encoding轉(zhuǎn)成 UTF-8 再解析。這一步不做后面所有抽取都是白干。// 編碼探測與轉(zhuǎn)換 if (preg_match(/charset[\]?([\w-])/i, $html, $m)) { $charset strtoupper($m[1]); if ($charset ! UTF-8) { $html mb_convert_encoding($html, UTF-8, $charset); } }注意mb_convert_encoding的源編碼要寫對寫成GBK而不是GB2312后者字符集太小遇到生僻字會丟。4. 避坑與排查采集程序跑掛的五個典型現(xiàn)場4.1 現(xiàn)象抓回來全是登錄頁 → 原因目標(biāo)站要 Cookie → 解決帶 Cookie 抓有些站未登錄只能看列表詳情頁跳登錄。這時候要么手動登錄后把 Cookie 字符串寫進(jìn) curl 的CURLOPT_COOKIE要么用CURLOPT_COOKIEJAR先模擬登錄一次。別想著繞繞就是入侵直接放棄該站。4.2 現(xiàn)象跑一半內(nèi)存溢出 → 原因DOM 對象沒釋放 → 解決循環(huán)內(nèi) unsetDOMDocument和DOMXPath在循環(huán)里反復(fù) newPHP 的 GC 不一定及時回收。每輪循環(huán)結(jié)束unset($doc, $xpath)內(nèi)存曲線立刻平下來。這是最容易被忽略的玄學(xué)問題。4.3 現(xiàn)象圖片下載 403 → 原因缺 Referer → 解決補(bǔ) Referer 頭很多圖床校驗來源頁。在fetch()里加CURLOPT_REFERER指向詳情頁 URL403 就消失了。別加假 Referer用真實的詳情頁地址。4.4 現(xiàn)象入庫后正文帶一堆\r\n→ 原因源站換行符未歸一 → 解決入庫前統(tǒng)一替換str_replace([\r\n, \r], \n, $text)再preg_replace(/\n{3,}/, \n\n, $text)頁面立刻干凈。這是后悔藥級別的操作建議寫進(jìn)公共函數(shù)。4.5 現(xiàn)象跑著跑著 IP 被限 → 原因無間隔高頻請求 → 解決加隨機(jī)延遲 失敗退避固定usleep還是有規(guī)律改成usleep(rand(300000, 800000))再配合失敗后sleep(pow(2, $retry))的指數(shù)退避能大幅降低被限概率。記住采集的穩(wěn)定性永遠(yuǎn)比速度值錢。5. 從能跑到好用給 vivi 5.5 加一層“斷點(diǎn)續(xù)采”與增量更新跑到 10 萬頁這個量級最怕的是中途斷電或腳本崩了重跑一遍全量。我的習(xí)慣是給采集器加斷點(diǎn)續(xù)采每處理完一條就把當(dāng)前頁碼和 URL 游標(biāo)寫進(jìn)一個progress.json啟動時先讀這個文件從斷點(diǎn)繼續(xù)。增量更新則靠對比詳情頁的“最后修改時間”或內(nèi)容 hash沒變就跳過省掉 80% 的重復(fù)抓取。// 斷點(diǎn)續(xù)采進(jìn)度落盤 $progressFile __DIR__ . /progress.json; $progress file_exists($progressFile) ? json_decode(file_get_contents($progressFile), true) : [page 1, index 0]; // 主循環(huán)里每處理一條就更新 $progress[index] $i; file_put_contents($progressFile, json_encode($progress)); // 增量判斷內(nèi)容 hash 沒變就跳過 $newHash md5($detail); if (isset($hashStore[$url]) $hashStore[$url] $newHash) { continue; } $hashStore[$url] $newHash;progress.json的寫入頻率別太高每 10 條寫一次就夠否則磁盤 IO 反而成瓶頸。增量 hash 存 SQLite 里和去重表合并一張表管兩件事。最后說個驗證方法拿 100 條已知數(shù)據(jù)做回放測試——把抓取結(jié)果和人工復(fù)制的正文做 diff字符級一致率低于 95% 就說明抽取規(guī)則有問題別急著上量。我自己踩過最大的坑就是規(guī)則沒驗證就全量跑結(jié)果 3 萬條數(shù)據(jù)正文全帶側(cè)欄廣告清理比重抓還費(fèi)勁。所以現(xiàn)在的習(xí)慣是先跑 100 條人工抽檢 10 條確認(rèn)無誤再放開并發(fā)。這個習(xí)慣幫我省下的時間遠(yuǎn)比調(diào)優(yōu)參數(shù)多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取