Scrapling 通用爬蟲模板實戰(zhàn)CrawlSpider、SitemapSpider 與 LinkExtractor 深度解析【免費下載鏈接】Scrapling? An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!項目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling絕大多數(shù)站點抓取都逃不出兩種模式「跟隨符合某種模式的鏈接」和「遍歷站點 sitemap 中列出的每個 URL」。Scrapling 的通用爬蟲模板Generic Spider Templates正是為此而生——它把這兩類最常見的parse()樣板代碼封裝成了CrawlSpider與SitemapSpider并提供XMLFeedSpider、CSVFeedSpider處理數(shù)據(jù)源場景。讀完本篇你將掌握如何用最少的代碼聲明式地驅(qū)動一場完整爬取并理解每個模板底層的調(diào)度邏輯與LinkExtractor的完整參數(shù)語義。模板總覽它們省掉了什么所有模板都構(gòu)建在LinkExtractor之上——這個原語負(fù)責(zé)從Response中抽取 URL或者通過matches()對單個 URL 做過濾判斷。SitemapSpider還會在內(nèi)部解析 sitemap.xml / sitemap_index.xml 的響應(yīng)體無論是否 gzip 壓縮。模板只是替你省去了接線工作wiring你完全可以在任何普通Spider.parse()里直接使用LinkExtractor。模板的源碼位于 scrapling/spiders/templates/導(dǎo)出CrawlSpider、CrawlRule、SitemapSpider、ShopifySpider、XMLFeedSpider、CSVFeedSpider六個類。CrawlSpider基于聲明式規(guī)則自動跟隨鏈接CrawlSpider根據(jù)聲明式的規(guī)則自動跟隨鏈接。官方文檔給出的最小可用示例from scrapling.spiders import CrawlSpider, CrawlRule, LinkExtractor class QuotesSpider(CrawlSpider): name blog start_urls [https://quotes.toscrape.com/] def rules(self): return [ CrawlRule(LinkExtractor(allowr/author/), callbackself.parse_author), CrawlRule(LinkExtractor(allowr/page/\d/)), # follow pagination, no callback ] async def parse_author(self, response): yield { .author-title: response.css(.author-title::text).get(), birthday: response.css(.author-born-date::text).get(), url: response.url, } result QuotesSpider().start()規(guī)則機制從源碼看默認(rèn) parse() 的行為一條CrawlRule將LinkExtractor與三個可選字段配對定義見 crawler.pycallback蜘蛛上的一個綁定方法處理每個匹配 URL 的請求priority覆蓋所派發(fā)Request的優(yōu)先級process_request一個綁定方法在Request被 yield 之前對其進(jìn)行修改。CrawlSpider的默認(rèn)parse()實現(xiàn)非常直白crawler.py遍歷rules()返回的每條規(guī)則用規(guī)則的link_extractor.extract(response)從當(dāng)前響應(yīng)中抽取 URL逐個調(diào)用response.follow(url, callbackrule.callback)生成請求若設(shè)置了priority則覆寫請求優(yōu)先級若設(shè)置了process_request則在其返回的 request 上繼續(xù) yield。兩條值得注意的行為細(xì)節(jié)無 callback 的規(guī)則會落到默認(rèn)parse()。規(guī)則沒有 callback 時匹配到的 URL 會經(jīng)由response.follow()繼承原請求的callback即None引擎隨后回落到蜘蛛的默認(rèn)parse()。這對翻頁非常方便抽取下一頁鏈接讓爬取繼續(xù)無需單獨寫處理器。tests/spiders/test_templates.py 中的test_rule_with_no_callback_leaves_request_callback_none明確驗證了這一點。規(guī)則是疊加執(zhí)行的。默認(rèn)parse()會把每條規(guī)則都作用于每個響應(yīng)每個匹配 URL 都會產(chǎn)出一個Request——多條規(guī)則之間不做互斥。這與SitemapSpider的「首個匹配即勝出」語義不同寫規(guī)則時要心中有數(shù)。結(jié)合規(guī)則與自定義邏輯重寫parse()并調(diào)用super().parse(response)就能同時獲得規(guī)則行為和自己的產(chǎn)出class MySpider(CrawlSpider): def rules(self): return [CrawlRule(LinkExtractor(allowr/posts/), callbackself.parse_post)] async def parse(self, response): yield {page_url: response.url} async for req in super().parse(response): yield reqtests/spiders/test_templates.py 的test_user_can_compose_super_parse驗證了這種組合先產(chǎn)出自定義 item再轉(zhuǎn)發(fā)規(guī)則產(chǎn)生的請求。用 process_request 修改請求process_request的簽名是(request, response) - request可以在 yield 前加請求頭、改優(yōu)先級甚至整個替換請求def add_priority(self, request, response): request.priority 10 return request def rules(self): return [CrawlRule( LinkExtractor(allowr/posts/), callbackself.parse_post, process_requestself.add_priority, )]測試用例 test_process_request_invoked 與 test_process_request_can_replace_request 分別驗證了「修改后返回」與「返回一個全新的 Request」兩種用法都成立。另外response.follow()會附帶 referer 頭規(guī)則路徑派發(fā)出的請求同樣保留該頭見 test_referer_set_on_followed_requests而帶綁定方法 callback 的Request也通過__getstate__機制把回調(diào)轉(zhuǎn)換為方法名字符串可安全參與 pickle 序列化這對 checkpoint 斷點續(xù)爬至關(guān)重要見 test_pickle_request_with_bound_method_callback。SitemapSpider從 sitemap.xml 播種的爬蟲SitemapSpider以 sitemap.xml 中的 URL 作為爬取種子。它使用與CrawlSpider相同的rules()API心智模型完全共享from scrapling.spiders import SitemapSpider, CrawlRule, LinkExtractor class MySitemap(SitemapSpider): name sm sitemap_urls [https://example.com/sitemap.xml] def rules(self): return [ CrawlRule(LinkExtractor(allowr/posts/), callbackself.parse_post), CrawlRule(LinkExtractor(allowr/products/), callbackself.parse_product), ] async def parse_post(self, response): yield {title: response.css(h1::text).get()} async def parse_product(self, response): yield {sku: response.css(.sku::text).get()} result MySitemap().start()URL 是如何被派發(fā)的對 sitemap 中的每個 URLSitemapSpider按順序檢查每條規(guī)則的LinkExtractor.matches(url)首個匹配的規(guī)則勝出并 yield 一個攜帶該規(guī)則 callback 的Request。若沒有任何規(guī)則匹配且rules()非空該 URL 被丟棄若rules()返回空列表則所有 URL 都路由到蜘蛛的parse()方法——而基類默認(rèn)實現(xiàn)直接拋NotImplementedError除非你重寫了它。這段調(diào)度邏輯對應(yīng) _dispatch 與 _parse_sitemaprules為空時直接response.follow(url)callback 為None落回parse()否則逐條matches()命中即返回請求。tests/spiders/test_sitemap.py 的test_urlset_dispatched_through_rules和test_no_rules_means_all_urls_fall_through分別鎖定了這兩種行為/about這類未匹配 URL 會被丟棄而空規(guī)則時所有 URL 都以callbackNone派發(fā)。Sitemap 索引sitemap of sitemaps遇到sitemapindex時蜘蛛會自動深入每個子 sitemap。若要篩選深入哪些子 sitemap把sitemap_follow設(shè)為一個LinkExtractorclass MySitemap(SitemapSpider): name sm sitemap_urls [https://example.com/sitemap.xml] sitemap_follow LinkExtractor(allowr/posts-sitemap-\d\.xml) # only post sitemaps實現(xiàn)上_sm_body 區(qū)分根元素類型sitemapindex收集子 sitemap 的locurlset則提取 URL 列表見數(shù)據(jù)結(jié)構(gòu) SitemapResult隨后在_parse_sitemap中每個子 sitemap URL 都先過一遍sitemap_follow.matches()sitemap_follow為None時全部深入。test_sitemap_follow_filters_child_sitemaps 驗證了過濾器只放行posts-sitemap.xml的效果。robots.txt 支持直接把robots.txt的 URL 放進(jìn)sitemap_urls蜘蛛會識別它、提取其中聲明的所有 Sitemap 并逐一跟隨class MySitemap(SitemapSpider): name sm sitemap_urls [https://example.com/robots.txt]判斷依據(jù)是響應(yīng) URL 的路徑是否以/robots.txt結(jié)尾sitemap.py解析則由 _robots_body 借助protego庫完成解析失敗時僅記錄警告并返回空列表不會中斷爬取。多語言AlternateURL設(shè)置sitemap_alternate_links True后xhtml:link relalternate hreflang...聲明的 URL 也會一并通過你的rules()派發(fā)。實現(xiàn)位于 _extract_urls遍歷url節(jié)點時除loc外還收集開啟了開關(guān)后的link子元素的href。test_alternate_links_dispatched_when_enabled 驗證了英文主 URL 與法語、德語 alternate URL 共三個 URL 全部進(jìn)入調(diào)度。gzip 與容錯Sitemap 體無論是以 gzip 魔數(shù)\x1f\x8b開頭還是content-type聲明 gzip都會被 _decompress 自動解壓解壓輸出設(shè)置了64 MiB 上限以防御 gzip 炸彈超限拋OSError后被_sm_body捕獲為警告。XML 解析失敗XMLSyntaxError同樣只記錄警告并返回空的SitemapResult爬蟲繼續(xù)運行。XMLFeedSpider逐節(jié)點解析 XML 數(shù)據(jù)源XMLFeedSpider遍歷 XML 數(shù)據(jù)源RSS、Atom、商品 feed 等的節(jié)點。把itertag設(shè)為你想迭代的節(jié)點名默認(rèn)item并重寫parse_node()——它會對每個匹配節(jié)點調(diào)用一次from scrapling.spiders import XMLFeedSpider class RSSSpider(XMLFeedSpider): name rss start_urls [https://example.com/feed.xml] itertag item async def parse_node(self, response, node): yield { title: node.findtext(title), link: node.findtext(link), date: node.findtext(pubDate), } result RSSSpider().start()和其他回調(diào)一樣parse_node()也可以 yieldRequest對象例如response.follow(node.findtext(link), callbackself.parse_post)從而深入數(shù)據(jù)源指向的頁面。節(jié)點如何匹配與解析傳給parse_node()的每個節(jié)點都是一個已剝離全部命名空間的lxml元素因此node.findtext(title)、node.find(thumbnail).get(url)以及大小寫敏感的node.xpath(...)在任何 feed 上都不需要命名空間映射即可工作。匹配機制分兩種見 _wanted_tag 與 _iter_nodes普通itertag如entry按局部名匹配無視命名空間——這正是 Atom 和大多數(shù)帶命名空間 feed 需要的行為帶前綴的itertag前綴必須在namespaces中定義成(prefix, uri)元組否則拋ValueError。此時只匹配該命名空間下的節(jié)點class ThumbnailSpider(XMLFeedSpider): name thumbs start_urls [https://example.com/feed.xml] itertag media:thumbnail namespaces ((media, http://search.yahoo.com/mrss/),) async def parse_node(self, response, node): yield {thumbnail: node.get(url)}命名空間剝離由 _strip_namespaces 完成深拷貝節(jié)點后把每個 tag 與屬性名替換為localname再調(diào)用etree.cleanup_namespaces。Gzipped feed.xml.gz或以 gzip content-type 傳輸沿用 sitemap 同一套解壓保護(hù)自動解壓畸形 XML 記錄警告而非讓爬取崩潰——feed.py 的parse()中對OSError和XMLSyntaxError都只warning后return。測試文件 tests/spiders/test_feed.py 覆蓋了默認(rèn)itertag迭代、命名空間剝離、Atomentry匹配等場景。CSVFeedSpider逐行解析 CSV 數(shù)據(jù)源CSVFeedSpider遍歷 CSV feed 的每一行。重寫parse_row()它接收的每行都是以列名為鍵的字典from scrapling.spiders import CSVFeedSpider class PriceSpider(CSVFeedSpider): name prices start_urls [https://example.com/products.csv] async def parse_row(self, response, row): yield {product: row[title], price: float(row[price])} result PriceSpider().start()相關(guān)類屬性定義見 feed.pyheaders列名列表。默認(rèn)不設(shè)置時feed 的第一行用作表頭若 feed 沒有表頭行需自行指定delimiter字段分隔符默認(rèn),quotechar包裹特殊字符字段的引號字符默認(rèn)。class PriceSpider(CSVFeedSpider): name prices start_urls [https://example.com/products.csv] headers [title, price, url] delimiter ;實現(xiàn)上parse響應(yīng)體經(jīng)_decompress解壓后按response.encoding缺省utf-8errorsreplace解碼交給csv.DictReader逐行產(chǎn)出并轉(zhuǎn)發(fā)給parse_row()。Gzipped feed 同樣自動解壓保護(hù)機制與 XMLFeedSpider 相同。tests/spiders/test_feed.py 中專門準(zhǔn)備了無表頭 CSV 與分號分隔 CSV 的測試數(shù)據(jù)。直接使用 LinkExtractor你不必使用模板。LinkExtractor在任何普通Spider里都能工作from scrapling.spiders import Spider, LinkExtractor class CustomSpider(Spider): name custom start_urls [https://example.com] def __init__(self): super().__init__() self._links LinkExtractor(allowr/posts/, deny_domainsads.example.com) async def parse(self, response): for url in self._links.extract(response): yield response.follow(url, callbackself.parse_post) async def parse_post(self, response): yield {title: response.css(h1::text).get()}LinkExtractor 參數(shù)參考完整參數(shù)語義源碼位于 links.py參數(shù)默認(rèn)值說明allow()要保留的 URL 模式?？毡硎尽溉ヅ洹??？蔀樽址?、編譯好的Pattern或二者的可迭代對象。deny()要丟棄的 URL 模式。永遠(yuǎn)覆蓋allow。allow_domains()要保留的主機名。子域自動匹配example.com匹配api.example.com。deny_domains()要丟棄的主機名。restrict_css()CSS 選擇器把 DOM 抽取限定到某個區(qū)域。restrict_xpath()XPath 選擇器把 DOM 抽取限定到某個區(qū)域。tags(a, area)查找鏈接的元素標(biāo)簽。attrs(href,)從這些標(biāo)簽讀取 URL 的屬性。canonicalizeTrue排序查詢參數(shù)并規(guī)范化路徑。stripTrue去除抽取 URL 中的空白字符。keep_fragmentFalse規(guī)范化時是否保留#fragment。deny_extensionsIGNORED_EXTENSIONS要丟棄的文件擴(kuò)展名pdf、zip、圖片、視頻等。processNone可選的回調(diào)在過濾前作用于每個抽取到的 URL。返回假值即丟棄該 URL。LinkExtractor.extract(response)返回一個list[str]絕對的、經(jīng)過過濾的、去重后的URL 列表LinkExtractor.matches(url)返回bool是純 URL 過濾器allow/deny/domain/extension被SitemapSpider用于在沒有Response的情況下按規(guī)則派發(fā) sitemap URL。從 _extract 與 _url_passes 的實現(xiàn)還可以確認(rèn)幾個細(xì)節(jié)抽取流程若設(shè)置了restrict_css/restrict_xpath先圈定作用域都沒設(shè)則作用于整頁再用拼接的 XPath如.//a/href | .//area/href取原始 href隨后依次經(jīng)過strip空白 →response.urljoin相對轉(zhuǎn)絕對 →process回調(diào) →canonicalize_url規(guī)范化 → 合法性校驗 → 過濾去重使用dict.fromkeys以保持鏈接出現(xiàn)順序Schema 白名單只放行http、https、file三種協(xié)議javascript:、mailto:等鏈接天然被排除links.py擴(kuò)展名檢查最優(yōu)先在 allow/deny 正則之前先做擴(kuò)展名過濾IGNORED_EXTENSIONS內(nèi)置了約 100 個擴(kuò)展名涵蓋壓縮包zip、tar.gz等、圖片、音視頻、Office 文檔、css/pdf/exe/js等links.py匹配時按后綴逐級判斷tar.gz這類多段后綴也能命中域名匹配規(guī)則host d or host.endswith(. d)即精確主機加任意子域且兩側(cè)都轉(zhuǎn)小寫比較避免Example.com與example.com的漏配。小結(jié)模板的選擇路徑場景選擇核心 API跟隨符合正則模式的鏈接CrawlSpiderrules()CrawlRule以 sitemap.xml 為種子SitemapSpidersitemap_urls/sitemap_follow/rules()消費 robots.txt 聲明的 sitemapSitemapSpidersitemap_urls直接放 robots.txt遍歷 RSS/Atom/商品 XML 源XMLFeedSpideritertagparse_node()遍歷 CSV 數(shù)據(jù)源CSVFeedSpiderheaders/delimiterparse_row()完全自定義鏈接策略普通Spider直接使用LinkExtractor三者共同的底座是LinkExtractor的正則化 URL 過濾scrapling/spiders/links.py模板則在其上疊加了各自的調(diào)度語義CrawlSpider多規(guī)則疊加、SitemapSpider首規(guī)則勝出。配合CrawlRule的priority與process_request鉤子、response.follow()的 referer 傳遞、以及Request的 pickle 友好設(shè)計這套模板可以平滑接入 Scrapling 爬蟲引擎的并發(fā)、限速與 checkpoint 能力從單條請求到全量爬取都適用?！久赓M下載鏈接】Scrapling? An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!項目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考