网页正文提取工具正确选型方法：不是这技术不靠谱而是你没搞清楚需求落在哪个象限，提取的对象是静态新闻网站还是React渲染的SPA页面处理的是中文还是英文要的是纯文本还是含标题作者日期的结构化数据，三个问题答不对就是拿镰刀砍树

中文网页正文提取的推荐组合：Trafilatura做正文提取 + lxml/BeautifulSoup做后处理清洗。Trafilatura在2026年的中文网页上表现优于Readability，因为它不依赖HTML5语义标签（article/main/section），而是通过文本密度和DOM树分析来判断正文区域——中文网站大量使用div+class布局，Trafilatura的密度算法比Readability的语义标签策略更适合。

可视化平台的共同盲区：Octoparse和ParseHub本质上是"点选生成CSS选择器"，不是"智能识别正文"。如果目标网站的HTML结构改了（哪怕只是class名加了个后缀），配置就失效了。对于正文提取这个特定需求，如果目标网站超过5个且结构各不相同，用可视化平台的配置工作量可能比直接写Python脚本还大。

Diffbot Extract API 的能力边界

什么时候Diffbot值$299：需要从50种以上不同类型的网站提取正文，团队里没有人能写Python爬虫，而且每次提取的网站结构都不同。这种情况下，Octoparse的逐个配置成本远超$299/月，Diffbot反而是最便宜的方案。什么时候不值：只提取一种网站的正文（比如只爬某个新闻站），或者会用Python写Trafilatura脚本——这两种情况下$0的方案就够用。

翻车一：用Readability提取中文div布局网站，正文混入导航栏

用Python Readability库提取一批中文科技博客的正文，结果每篇文章的开头都混入了"首页 分类 关于我们 联系"等导航栏文字。原因：这些中文博客用的是div+css布局，没有使用article/main/section等HTML5语义标签，Readability的规则引擎无法通过标签判断正文边界，把div容器内的所有文本全当正文了。

解法：换成Trafilatura——它不依赖HTML5语义标签，用文本密度算法判断正文区域。或者用Readability+lxml后处理，手动剔除短文本行（长度小于20字符的连续行大概率是导航）。

翻车二：所有开源库在SPA页面上全挂，返回空白

用Trafilatura提取一个React渲染的新闻网站，返回空字符串。用Readability试了也一样。原因：开源正文提取库只能处理服务端返回的原始HTML，React/Vue等SPA页面的正文是通过JavaScript在浏览器端动态渲染的，原始HTML里只有空div和script标签。

解法：在正文提取之前加一层JS渲染——用Playwright或Puppeteer先启动无头浏览器渲染页面，拿到完整HTML后再交给Trafilatura。或者直接用Diffbot（自动处理JS渲染）或Octoparse（内置浏览器引擎）。

翻车三：Newspaper3k提取中文新闻，作者和日期全部错误

Newspaper3k自带中文支持（内置jieba分词），但提取中文新闻网页时，author字段经常返回页面顶部导航栏的文字，date字段返回的是页面底部版权信息里的年份。正文本身提取得还不错，但元数据基本不可用。

解法：中文网页的元数据提取用Trafilatura（JSON-LD/Open Graph/meta标签三层解析），正文用Newspaper3k也行，但author和date字段不要信，自己写正则从URL或页面里单独提取。

翻车四：Octoparse配了30个网站的正文提取规则，第三周全失效

花了两天用Octoparse给30个不同结构的网站逐一配置了正文提取规则。三周后重新运行，18个网站的配置失效——因为网站改版了CSS class名。每次改版都要重新点选配置。

可视化工具的配置本质上是脆弱的CSS选择器。如果目标网站结构不稳定或数量多，要么接受定期维护的成本，要么上Diffbot这种不需要配置规则的AI方案，要么自己写Trafilatura脚本（算法识别比CSS选择器鲁棒性高得多）。

翻车五：批量提取1000篇文章后IP被封，所有请求返回403

用Trafilatura+requests批量提取了同一个网站的1000篇文章，前300篇正常，第301篇开始全部返回403。网站的反爬机制根据请求频率和单一IP的请求密度触发了封禁。

解法：正文提取工具只管"从HTML里提取正文"，不管"怎么拿到HTML"。批量提取必须加上请求间隔（3-8秒随机）、User-Agent轮换、代理IP池。如果目标站反爬严格，建议直接用Apify（内置代理轮换和速率控制）或者Diffbot（自带代理池）。