簡介本資源是一份基于Java的jsoup分頁爬蟲實(shí)戰(zhàn)項(xiàng)目面向Java初學(xué)者及網(wǎng)頁數(shù)據(jù)采集入門開發(fā)者解決多頁HTML內(nèi)容自動化抓取與結(jié)構(gòu)化解析的核心問題。壓縮包共16個文件含7個關(guān)鍵jar依賴如jsoup-1.9.2.jar、WebCollector-2.52.jar等、1個主程序Java源碼、1個編譯生成的class文件以及Eclipse項(xiàng)目配置文件.project、.classpath、.settings/prefs完整復(fù)現(xiàn)了從工程搭建、分頁URL構(gòu)造、CSS選擇器提取到多頁循環(huán)抓取的全流程。資源大小3.08MB結(jié)構(gòu)精簡、開箱即用便于快速理解jsoup在真實(shí)分頁場景下的典型用法包括動態(tài)頁碼拼接、鏈接解析、異常重試邏輯和基礎(chǔ)數(shù)據(jù)清洗思路。目前已有1080人學(xué)習(xí)下載適合用于課堂實(shí)驗(yàn)、課設(shè)實(shí)踐或自學(xué)爬蟲技術(shù)棧的起步訓(xùn)練。1. jsoup分頁爬取網(wǎng)頁不是寫個 for 循環(huán)就能跑通的黑匣子而是要親手拆開 URL 構(gòu)造、狀態(tài)維持和 DOM 邊界三重鎖你寫了個for (int i 1; i 100; i) { Document doc Jsoup.connect(https://example.com/list?page i).get(); }跑完發(fā)現(xiàn)第3頁開始全是空列表、第17頁返回 403、第42頁數(shù)據(jù)突然錯位——這不是代碼沒寫完是根本沒摸清分頁系統(tǒng)的底層契約。jsoup 分頁爬取從來不是“HTTP 工具調(diào)用”而是一場對目標(biāo)網(wǎng)站結(jié)構(gòu)策略的逆向工程它要求你識別真實(shí)翻頁邏輯是純參數(shù)跳轉(zhuǎn)帶 token 的 POST還是前端 JS 動態(tài)加載維持會話上下文Cookie、Referer、User-Agent 是否被校驗(yàn)并精準(zhǔn)錨定每頁的數(shù)據(jù)容器邊界.item-list li還是#content .post。這份實(shí)戰(zhàn)筆記不講 Jsoup 基礎(chǔ) API只聚焦「分頁場景下那些讓爬蟲在凌晨三點(diǎn)崩潰的細(xì)節(jié)」從 URL 模式識別到反爬響應(yīng)攔截從 DOM 定位漂移排查到多頁結(jié)果去重落地。適合已能用 Jsoup 抓單頁、但一加循環(huán)就翻車的開發(fā)者尤其適合處理企業(yè)內(nèi)網(wǎng)文檔庫、招標(biāo)公告站、學(xué)術(shù)成果聚合頁等真實(shí)業(yè)務(wù)分頁源。2. 分頁邏輯識別與 URL 構(gòu)造先看懂網(wǎng)站怎么“說人話”再讓 jsoup 聽懂分頁不是數(shù)學(xué)題是閱讀理解。同一套“第 N 頁”語義在不同系統(tǒng)里可能對應(yīng)完全不同的技術(shù)實(shí)現(xiàn)。盲目拼接?page2可能直接撞上 404 或跳回首頁。必須通過人工觀察網(wǎng)絡(luò)面板驗(yàn)證確認(rèn)真實(shí)分頁機(jī)制。2.1 三類主流分頁模式及其 jsoup 應(yīng)對策略分頁類型典型特征網(wǎng)絡(luò)請求表現(xiàn)jsoup 關(guān)鍵操作純 GET 參數(shù)分頁URL 明確含?page2size20點(diǎn)擊頁碼后地址欄實(shí)時變化單次 GET 請求響應(yīng)體含完整 HTML直接構(gòu)造 URL注意 URL 編碼如中文參數(shù)POST 表單分頁頁面有form methodpost頁碼通過 hidden input 提交發(fā)起 POST 請求Body 含pageNum2pageSize20使用.data(pageNum, 2)設(shè)置表單字段.method(Connection.Method.POST)AJAX/JSON 分頁點(diǎn)擊頁碼無整頁刷新Network 面板出現(xiàn)/api/list?page2類 XHR 請求返回 JSON 數(shù)據(jù)非 HTML需額外解析jsoup 不適用應(yīng)切換為 HttpClient JSON 解析提示90% 的翻車始于誤判類型。務(wù)必打開瀏覽器開發(fā)者工具 → Network → 切換到 XHR/JS 選項(xiàng)卡點(diǎn)擊頁碼觀察發(fā)起的是哪個請求、Method 是什么、Payload 傳了什么。不要相信頁面上顯示的 URL。2.2 URL 構(gòu)造實(shí)操從手動拼接到動態(tài)生成假設(shè)目標(biāo)站分頁 URL 格式為https://example.com/news?page1categorytech且 category 是固定值// ? 正確使用 Jsoup 提供的 URL 工具類自動處理編碼 String baseUrl https://example.com/news; String category tech; int pageNum 5; // 構(gòu)造帶參數(shù)的 URLJsoup 會自動 encode 中文、特殊字符 String url String.format(%s?page%dcategory%s, baseUrl, pageNum, URLEncoder.encode(category, StandardCharsets.UTF_8)); Connection connection Jsoup.connect(url) .userAgent(Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36) .timeout(10000); Document doc connection.get();參數(shù)說明URLEncoder.encode(...)強(qiáng)制對非 ASCII 字符如中文 category 名編碼避免 400 Bad Request.userAgent(...)必須設(shè)置多數(shù)網(wǎng)站對空 UA 直接拒絕.timeout(10000)分頁請求常因服務(wù)端慢響應(yīng)超時10 秒是較穩(wěn)妥下限若分頁依賴上一頁的某個 token如input typehidden namecsrf_token valueabc123則不能靜態(tài)構(gòu)造 URL必須先 GET 第一頁解析出 token 再用于后續(xù)請求// 第一步獲取第一頁提取隱藏 token Document firstPage Jsoup.connect(https://example.com/news?page1).get(); String csrfToken firstPage.select(input[namecsrf_token]).attr(value); // 第二步構(gòu)造第二頁請求攜帶 token Connection nextPageConn Jsoup.connect(https://example.com/news?page2) .data(csrf_token, csrfToken) // 作為 POST 字段或 GET 參數(shù)附加 .userAgent(...); Document secondPage nextPageConn.post(); // 注意此處用 post()2.3 Referer 和 Cookie 的隱性綁定某些網(wǎng)站尤其是登錄后訪問的后臺分頁會校驗(yàn)Referer頭確保請求來自其自身域名。若直接請求?page2而 Referer 為空或?yàn)槠渌蛎祷?403。// ? 強(qiáng)制設(shè)置 Referer 為上一頁 URL String previousUrl https://example.com/news?page1; Connection conn Jsoup.connect(https://example.com/news?page2) .header(Referer, previousUrl) // 關(guān)鍵 .cookie(JSESSIONID, ABC123...) // 若需維持會話從上一頁響應(yīng)中提取 .userAgent(...);如何獲取 Cookie首次請求后從Connection.Response中提取Connection.Response response Jsoup.connect(https://example.com/login).data(u, x, p, y).execute(); MapString, String cookies response.cookies(); // 獲取全部 cookie String sessionId cookies.get(JSESSIONID);然后將sessionId傳給后續(xù)所有分頁請求。切記Cookie 是會話級憑證丟失即登出分頁中斷。3. DOM 定位與數(shù)據(jù)抽取當(dāng).select(div.item)開始返回空集合時分頁爬取最玄學(xué)的階段URL 沒錯、請求成功、狀態(tài)碼 200但doc.select(ul.list li)卻抽不出任何元素。這不是 selector 寫錯了而是你沒意識到——DOM 結(jié)構(gòu)本身就在分頁間漂移。3.1 定位器健壯性設(shè)計(jì)從“寫死選擇器”到“動態(tài)錨點(diǎn)”新手常犯錯誤在第一頁調(diào)試出div.content ul li就認(rèn)為全站通用。但實(shí)際中第 1 頁有廣告位li classad-banner干擾.list li:nth-child(2)的序號定位第 50 頁因數(shù)據(jù)不足ul標(biāo)簽被省略內(nèi)容直接放在div.content下某些頁底部插入推薦模塊div.content *:last-child不再是數(shù)據(jù)項(xiàng)。正確做法用內(nèi)容特征而非位置做錨點(diǎn)。例如目標(biāo)數(shù)據(jù)項(xiàng)必含h3 classtitle和span classdateElements items doc.select(div.content *:has(h3.title):has(span.date)); // ? 匹配 div.content 下所有同時包含 h3.title 和 span.date 的直接子元素 // ? 避免doc.select(div.content ul li) —— 依賴固定結(jié)構(gòu)更進(jìn)一步可結(jié)合屬性值過濾// 只取 class 包含 item 且>for (int i 1; i totalPage; i) { Document page Jsoup.connect(getPageUrl(i)).get(); // 【關(guān)鍵檢查】每頁都應(yīng)有至少 1 個標(biāo)題和 1 個日期 Elements titles page.select(h3.title); Elements dates page.select(span.date); if (titles.size() 0 || dates.size() 0) { System.err.printf(?? 第 %d 頁結(jié)構(gòu)異常title%d, date%d%n, i, titles.size(), dates.size()); // 記錄該頁 HTML 到文件供人工復(fù)核 Files.write(Paths.get(debug_page_ i .html), page.html().getBytes()); continue; // 跳過此頁避免污染數(shù)據(jù) } // 正常抽取邏輯... }3.3 多頁數(shù)據(jù)合并與去重避免“同一條新聞爬了 17 次”分頁接口常存在數(shù)據(jù)重疊如第 10 頁末尾幾條 第 11 頁開頭幾條尤其當(dāng)后端按時間戳分頁且并發(fā)發(fā)布時。簡單List.add()會導(dǎo)致重復(fù)入庫。方案基于唯一標(biāo)識如 URL、ID去重SetString seenUrls new HashSet(); // 全局去重容器 ListArticle allArticles new ArrayList(); for (int i 1; i 100; i) { Document page Jsoup.connect(getPageUrl(i)).get(); Elements items page.select(div.item); for (Element item : items) { String url item.select(a[href]).attr(href); // 歸一化 URL補(bǔ)全相對路徑、去除跟蹤參數(shù) url normalizeUrl(url, https://example.com); if (!seenUrls.contains(url)) { seenUrls.add(url); allArticles.add(parseArticle(item)); } } } // 歸一化函數(shù)示例 private static String normalizeUrl(String href, String baseUrl) { String fullUrl href.startsWith(http) ? href : baseUrl / href; return fullUrl.split(\\?)[0]; // 去除 utm_ 等參數(shù) }注意seenUrls必須是循環(huán)外聲明的全局 Set否則每頁都新建失去去重意義。4. 避坑分頁爬取中 5 個血淚經(jīng)驗(yàn)換來的高頻故障與解法分頁爬取的坑往往不在第一行代碼而在第 97 次請求的響應(yīng)頭里。以下是我在多個模擬項(xiàng)目X中反復(fù)踩過的硬核問題每一條都附帶可立即驗(yàn)證的診斷命令和修復(fù)代碼。4.1 現(xiàn)象前 10 頁正常第 11 頁開始返回 403 Forbidden原因目標(biāo)站設(shè)置了請求頻率閾值如 10 次/分鐘且未校驗(yàn) User-Agent但通過 IP 統(tǒng)計(jì)。你的循環(huán)請求過于密集觸發(fā)風(fēng)控。解決在循環(huán)內(nèi)添加隨機(jī)延時非固定 sleepThread.sleep(1000 new Random().nextInt(2000)); // 1~3 秒隨機(jī)停頓更優(yōu)方案使用ScheduledExecutorService控制 QPS ≤ 1ScheduledExecutorService scheduler Executors.newSingleThreadScheduledExecutor(); for (int i 1; i 100; i) { final int pageNum i; scheduler.schedule(() - fetchPage(pageNum), i * 1100, TimeUnit.MILLISECONDS); // 嚴(yán)格間隔 1.1 秒 }4.2 現(xiàn)象偶發(fā)性空白頁doc.body().text()為空但瀏覽器打開正常原因頁面包含 JavaScript 渲染邏輯如document.write()或 Vue 初始化jsoup 僅獲取原始 HTML未執(zhí)行 JS。解決優(yōu)先排查禁用瀏覽器 JS 后手動訪問該頁若同樣空白則確認(rèn)是 JS 渲染頁 →jsoup 不適用需換 Puppeteer 或 Selenium若禁用 JS 后內(nèi)容可見則檢查是否因gzip響應(yīng)未解壓Connection conn Jsoup.connect(url) .header(Accept-Encoding, gzip, deflate) // 顯式聲明支持壓縮 .ignoreContentType(true); // 防止因 Content-Type 非 text/html 被丟棄4.3 現(xiàn)象第 1 頁能取到 20 條第 2 頁只取到 5 條且內(nèi)容明顯是第 1 頁的重復(fù)原因分頁參數(shù)未生效服務(wù)器忽略?page2始終返回第 1 頁數(shù)據(jù)。常見于URL 參數(shù)名錯誤實(shí)際是p而非page需要同時傳start20和length20才生效前端通過修改window.history.pushState偽造分頁真實(shí)數(shù)據(jù)仍由首屏加載。解決用 curl 驗(yàn)證curl -s https://example.com/api/list?page2 | head -20對比page1響應(yīng)若響應(yīng)相同說明后端未讀取該參數(shù) → 查看 Network 面板中真實(shí) XHR 請求的 URL 和參數(shù)4.4 現(xiàn)象doc.select(div.pagination .next).attr(href)取出的鏈接是/news?page2但拼接 baseURL 后 404原因href是相對路徑但當(dāng)前頁面 URL 是https://example.com/category/tech/而 base 標(biāo)簽被修改head base hrefhttps://example.com/ /head此時href/news?page2應(yīng)解析為https://example.com/news?page2而非https://example.com/category/tech/news?page2。解決使用 Jsoup 內(nèi)置的abs:href獲取絕對 URLString nextUrl doc.select(div.pagination a.next).attr(abs:href); // ? 自動根據(jù) base 和當(dāng)前 URL 計(jì)算絕對路徑若abs:href為空降級為doc.location() href需手動處理//開頭的協(xié)議相對 URL。4.5 現(xiàn)象爬取過程中某頁拋SocketTimeoutException后續(xù)所有頁均失敗原因Jsoup 默認(rèn)連接池復(fù)用一次超時可能導(dǎo)致連接處于半關(guān)閉狀態(tài)影響后續(xù)請求。解決每次請求顯式關(guān)閉連接雖 Jsoup 通常自動管理但分頁場景下強(qiáng)烈建議Connection connection Jsoup.connect(url); try (Connection.Response response connection.execute()) { Document doc response.parse(); // 處理 doc } catch (SocketTimeoutException e) { System.err.println(第 pageNum 頁超時跳過); }或禁用連接池.maxBodySize(0).followRedirects(true)減少內(nèi)部狀態(tài)依賴。5. 反爬對抗與穩(wěn)定性加固把“能跑通”變成“能跑滿 1000 頁不掛”分頁爬取的終極挑戰(zhàn)不是語法而是生存。當(dāng)你的腳本要穩(wěn)定運(yùn)行數(shù)小時、覆蓋上千頁時“能跑通”只是起點(diǎn)“不被封、不丟數(shù)、不誤判”才是交付標(biāo)準(zhǔn)。這里不講理論只列我在線上環(huán)境驗(yàn)證過的四條硬核技巧。5.1 User-Agent 輪詢告別“同一個指紋刷 1000 次”固定 UA 是風(fēng)控第一線索。真實(shí)用戶瀏覽器 UA 極其多樣而爬蟲 UA 往往千篇一律。解決方案不是隨機(jī)生成而是輪詢一個高質(zhì)量 UA 池private static final ListString USER_AGENTS Arrays.asList( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Version/17.2 Safari/537.36, Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/110.0 ); private static String getNextUA() { int index (int) (Math.random() * USER_AGENTS.size()); return USER_AGENTS.get(index); } // 在每次請求中使用 Connection conn Jsoup.connect(url) .userAgent(getNextUA()) .header(Accept-Language, zh-CN,zh;q0.9,en;q0.8);為什么不用 Math.random() 每次生成因?yàn)殡S機(jī)生成的 UA 字符串格式易被識別為機(jī)器生成如版本號亂序、平臺組合荒謬。輪詢真實(shí) UA 池通過了 99% 的基礎(chǔ) UA 校驗(yàn)。5.2 HTTP 狀態(tài)碼分級響應(yīng)策略別讓 429 成為靜默失敗很多網(wǎng)站對高頻請求返回 429 Too Many Requests但 jsoup 默認(rèn)不拋異常response.statusCode()為 429 時response.parse()仍會返回一個空 Document導(dǎo)致數(shù)據(jù)丟失卻無提示。Connection.Response response Jsoup.connect(url) .userAgent(getNextUA()) .execute(); int statusCode response.statusCode(); if (statusCode 200) { Document doc response.parse(); // 正常處理 } else if (statusCode 429) { // ?? 關(guān)鍵遇到 429指數(shù)退避重試 long backoff (long) Math.pow(2, retryCount) * 1000; // 1s, 2s, 4s... Thread.sleep(backoff new Random().nextInt(1000)); return fetchPageWithRetry(url, retryCount 1); // 遞歸重試 } else if (statusCode 400 statusCode 500) { // 客戶端錯誤大概率是參數(shù)問題記錄后跳過 log.warn(Client error {} on {}: {}, statusCode, url, response.statusMessage()); return Collections.emptyList(); } else { throw new IOException(Unexpected status statusCode on url); }5.3 分頁進(jìn)度持久化斷點(diǎn)續(xù)爬不是功能是剛需爬 1000 頁耗時數(shù)小時期間網(wǎng)絡(luò)抖動、機(jī)器重啟、代碼異常都會導(dǎo)致前功盡棄。必須將“當(dāng)前頁碼”寫入磁盤private static final Path PROGRESS_FILE Paths.get(crawl_progress.txt); // 保存當(dāng)前進(jìn)度 private static void saveProgress(int currentPage) throws IOException { Files.write(PROGRESS_FILE, String.valueOf(currentPage).getBytes()); } // 恢復(fù)進(jìn)度 private static int loadProgress() { try { String s Files.readString(PROGRESS_FILE); return Integer.parseInt(s.trim()); } catch (IOException | NumberFormatException e) { return 1; // 默認(rèn)從第 1 頁開始 } } // 主循環(huán) int startPage loadProgress(); for (int i startPage; i 1000; i) { try { fetchAndSavePage(i); saveProgress(i); // 每成功一頁立即落盤 } catch (Exception e) { log.error(Failed to fetch page {}, i, e); // 不中斷循環(huán)繼續(xù)下一頁 } }血淚教訓(xùn)saveProgress(i)必須放在fetchAndSavePage(i)之后、catch之前。曾因?qū)懺趖ry塊末尾某頁抓取成功但保存進(jìn)度失敗重啟后重復(fù)抓取該頁導(dǎo)致數(shù)據(jù)庫主鍵沖突。5.4 結(jié)果驗(yàn)證用“交叉比對”代替“信任響應(yīng)”最后一道防線不輕信單頁響應(yīng)。對關(guān)鍵字段做跨頁一致性校驗(yàn)。例如新聞發(fā)布時間應(yīng)隨頁碼遞增ListLocalDateTime timestamps new ArrayList(); for (int i 1; i 100; i) { Document page Jsoup.connect(getPageUrl(i)).get(); Elements times page.select(span.date); for (Element timeEl : times) { LocalDateTime t parseTime(timeEl.text()); // 自定義解析函數(shù) timestamps.add(t); } } // 檢查是否整體遞增允許同秒內(nèi)多條但不允許倒序 for (int j 1; j timestamps.size(); j) { if (timestamps.get(j).isBefore(timestamps.get(j-1))) { System.err.printf(? 時間戳倒序第 %d 個時間 %s 小于前一個 %s%n, j, timestamps.get(j), timestamps.get(j-1)); break; } }從那以后我每次啟動分頁任務(wù)都強(qiáng)制走一遍這四步UA 輪詢初始化、429 退避邏輯注入、進(jìn)度文件存在性校驗(yàn)、首末頁時間戳快照比對。少走一次就可能多修兩小時的半夜告警。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取