网页正文提取进化：newspaper3k准确率85%到Trafilatura+Playwright的97%

八爪鱼采集器——国内可视化采集的头号选手

八爪鱼的操作逻辑是"所见即所得"：输入目标网址，八爪鱼会在内置浏览器里打开页面，你在页面上点击要提取的内容（标题、正文、价格），八爪鱼自动识别同类型元素并生成采集规则。翻页、滚动加载、下拉框选择等操作也通过点击配置。采集完成后可以导出为Excel、CSV、JSON或直接写入数据库。免费版功能受限（云采集有限制，本地采集免费），付费版¥199/月起。

八爪鱼的正文提取能力依赖模板——对于大众网站（淘宝、京东、知乎、微博），八爪鱼有现成的采集模板，准确率很高。但对于小众网站或自定义结构的页面，需要手动配置规则，而规则配置的灵活性不如写代码。

适合：需要采集电商商品信息、企业工商信息、招投标公告等结构化数据的非技术人员。

后羿采集器——完全免费，比八爪鱼更轻量

后羿采集器是国内为数不多的完全免费的采集工具。操作方式跟八爪鱼类似（可视化点选），但免费版没有功能限制。它支持"智能采集"模式——输入网址后自动识别网页列表和详情页结构，不需要手动配置规则。对文章列表页+详情页这种经典结构，后羿的智能识别准确率不错。还支持"流程图模式"——把采集流程拆成步骤节点（打开网页→点击→提取→翻页→导出），拖拽连接节点来搭建采集逻辑。导出格式支持Excel、CSV、HTML、数据库。

适合：预算有限、需要频繁采集内容但不想付费的站长和自媒体运营。

优采云——正文提取+采集+发布三合一

优采云的正文提取算法在中文网页上表现不错——内置了针对中文新闻网站、博客、论坛的正文识别模型，不需要配置规则就能一键提取文章标题、正文、发布时间、作者。支持批量导入URL列表，一次跑几百个网页。而且优采云不只是提取，还能直接发布到WordPress、Z-Blog等CMS——"提取→清洗→发布"一条龙。免费版每天有提取数量限制，付费版¥199-299/月。

Trafilatura——2026年中文网页正文提取准确率最高的开源库

Trafilatura是目前学术界和工业界公认的网页正文提取准确率最高的Python库之一。它结合了多种提取策略（文本密度分析、HTML标签特征、机器学习模型），对中文新闻网站、博客、论坛的正文提取准确率在90-95%之间。核心优势：①不只提取正文，还能提取标题、作者、日期、类别、标签、图片URL等元数据；②输出格式丰富（纯文本、Markdown、XML、JSON）；③速度极快，1000个网页批量提取只要几分钟。

import trafilatura
html = requests.get(url).text
result = trafilatura.extract(html, include_images=True,
include_links=True, output_format='json')

三行代码提取一个网页的结构化内容。批量处理时配合多线程，几百个网页几分钟跑完。Trafilatura的局限是不支持JS动态渲染页面——如果网页内容是JS动态加载的，需要先用Playwright或Selenium获取渲染后的HTML再喂给Trafilatura。

GNE（GeneralNewsExtractor）——中文新闻正文提取专用

GNE是国内开发者写的专门针对中文新闻网页的正文提取库，基于"文本与符号密度"算法。输入一篇新闻网页的HTML，输出正文内容、标题、作者、发布时间、正文中的图片地址。GNE对中文新闻网站（新浪、腾讯、网易、搜狐等）的提取准确率很高，因为这些网站的页面结构相对规整。但对于博客、论坛、企业官网等非标准结构的页面，准确率不如Trafilatura。

newspaper3k + readability-lxml：经典组合

newspaper3k：一个经典的文章提取库，支持多语言（包括中文），能提取标题、作者、发布日期、正文、顶部图片、关键词。newspaper3k的优点是简单——传URL就自动下载网页并提取所有元数据。但它对中文的支持不如英文好，遇到复杂的中文页面容易提取失败。

readability-lxml：基于Mozilla Readability算法的Python实现，专门从网页中提取"阅读视图"（去广告、去侧边栏、只保留正文）。很多稍后阅读工具（Pocket、Instapaper）就是用这个算法。readability-lxml提取的正文很干净，但它只提取正文和标题，不提取作者、日期等元数据。

推荐组合：用newspaper3k提取元数据（标题、作者、日期），用readability-lxml或Trafilatura提取正文。两个结果合并，能得到最完整的结构化数据。

JS动态渲染页面的处理：Playwright + Trafilatura

很多现代网站的内容是通过JS动态加载的——你直接requests.get(url)拿到的HTML里没有正文，正文是JS执行后才渲染出来的。解决方案是先用Playwright（微软出品的浏览器自动化工具）打开页面、等待内容加载完毕、获取渲染后的完整HTML，再交给Trafilatura提取：

from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch()
page = browser.new_page()
page.goto(url, wait_until='networkidle')
html = page.content()
browser.close()
result = trafilatura.extract(html)

加了Playwright后单页提取时间从0.1秒变成2-3秒（因为要启动浏览器等渲染），但解决了JS渲染的问题。批量处理时用并发池（开5-10个浏览器实例同时跑）可以大幅提速。

Crawl4AI——开源、免费、LLM友好

Crawl4AI是2025-2026年GitHub上最火的开源爬虫框架之一。它的核心卖点是"为LLM设计"：爬取网页后自动把HTML清洗成干净的Markdown格式，可以直接喂给ChatGPT/Claude做进一步处理。支持自定义提取策略——你可以定义一个JSON schema，Crawl4AI用LLM从网页内容中提取符合schema的结构化数据。比如你要从产品页面提取"产品名称、价格、规格参数、用户评分"，不需要写XPath或CSS选择器，直接描述需求，AI自动从页面里找。

Thunderbit / ParseHub——零代码的AI提取

Thunderbit：输入网址和提取要求（"提取这个网页的文章标题、正文、发布日期"），Thunderbit用AI自动识别页面结构并提取。支持批量URL输入，适合不想写代码也不需要配规则的场景。免费版有额度限制。

ParseHub：专注处理JS密集型和AJAX驱动网站的可视化爬虫工具，2026年加入了AI辅助提取功能。可以处理下拉加载、无限滚动、弹窗交互等复杂交互场景。桌面版免费，云服务按量付费。

AI提取的局限：①成本高——每次提取调一次LLM API，批量处理1000个网页的token费用可能到几十元甚至上百元；②速度慢——LLM响应时间1-3秒，比传统算法慢一个数量级；③偶尔会"编造"数据——LLM在没有找到明确信息时可能会猜测一个值，需要做结果校验。目前AI提取的最佳实践是"传统算法做第一轮提取（快、免费），AI做第二轮精提取和校验（慢、贵但准）"。

Web Scraper（Chrome扩展）——最流行的免费浏览器爬虫插件

Web Scraper是Chrome应用商店里下载量最高的爬虫插件，完全免费。安装后在浏览器F12开发者工具里多了一个Web Scraper标签页，在这里创建Sitemap（采集规则）——定义要爬哪些页面、提取哪些元素、怎么翻页。支持导出CSV。优点是不需要离开浏览器就能完成采集，缺点是每次只能在一个浏览器里跑，不能大规模自动化。适合临时需要从某个网站抓几十到几百条数据的场景。