网站重复内容批量检测：Siteliner、Screaming Frog、Copyscape、5118四款对比

网站内容重复这件事，Google说得明明白白：重复内容本身不触发惩罚，但搜索引擎不知道该把哪个版本排上去，结果就是自己跟自己抢排名。一个电商站200个产品，描述互相抄了80%，每页的权重都被切成碎片——最后哪个页面都排不上去。

比这更隐蔽的是技术性重复。同一个产品页因为URL参数不同生成了6个版本：/product?id=123、/product/123/、/product/123?color=red、/product/123?sort=price……Google抓取预算被这些垃圾URL吃掉，真正该收录的页面反而迟迟不被抓。

内部重复+外部抄袭+技术性重复，三座大山叠在一起，网站排名掉得悄无声息。这篇文章把四类检测工具（站内全站扫描、页面级精确定位、跨站抄袭追踪、内容指纹比对）的功能、免费额度、操作流程和"查出重复后怎么修"一起讲清楚。

一、先搞清楚你需要检测什么：四类重复场景对应四类工具

重复内容检测不是"用一个工具扫一遍就完事"。不同场景需要不同的检测方法：

四个场景对应四类工具，没有哪一个能全包。下面逐个拆开说——每个工具怎么用、能查出什么、查出来怎么修。

二、Siteliner：最快摸清全站重复底细，250页以内免费

免费版能做什么：每月扫描一个网站的前250个页面。如果你的网站不到250页，完全免费。超过250页，需要付费版（$0.10/页，最低$25起）。

操作步骤就三步：

· 打开 siteliner.com，输入你的域名，点击"Go"

· 等2-5分钟（取决于页面数），它会爬完整个站点

· 报告出来后有五个核心指标：

三、Screaming Frog：500URL以内免费，精确定位每个重复页面的URL

Siteliner告诉你"网站有30%内容重复"，Screaming Frog告诉你"哪30个URL互相重复，重复比例分别是多少"。一个是宏观诊断，一个是精确手术刀。

免费版限制：每次爬取最多500个URL。对于500页以下的小站完全免费，大站需要付费版（£199/年）。

检测重复内容的操作流程：

· 打开Screaming Frog，顶部输入框粘贴域名，点击"Start"

· 爬取完成后，点顶部菜单 Configuration → Content → Duplicate

· 勾选"Enable Duplicate Content Analysis"

· 设置相似度阈值（默认90%，建议调到80%——有些页面虽然措辞有微调但核心内容重复，90%会漏掉）

· 回到主界面，点Content标签页 → 子标签Duplicate

· 你会看到一张列表：左边是URL，右边是"Near Duplicate"或"Exact Duplicate"标记，以及和哪个URL重复

查出来之后，Screaming Frog支持导出CSV，把所有重复URL对、重复比例、重复类型一起导出。你可以按重复比例从高到低排序，优先处理匹配率最高的那批页面。

四、Copyscape + Copysentry：查外部抄袭，还能持续监控

前两个工具解决的是"内部问题"，Copyscape解决的是"别人有没有抄你"。

Copyscape免费版：打开copyscape.com，粘贴你的页面URL，它会搜索整个互联网上有没有相同或高度相似的页面。免费版每次检测一个URL，返回抄袭页面列表和相似度百分比。

Copysentry（付费监控）：$4.95/月起，每周自动扫描你的网站，发现外部抄袭就发邮件通知。适合内容经常被抄的站点（原创博客、教程站、产品评测站）。

查出外部抄袭后的处理优先级：

· 对方排名比你高：最危险的情况。先看对方有没有标明来源链接，没有的话发DMCA删除通知给对方的托管服务商（用whoishostingthis.com查对方主机商）。Google对DMCA响应很快，通常3-5天内抄袭页面会被从索引中移除。

· 对方排名比你低或没收录：优先级低，但也要处理。大量采集站复制你的内容会影响Google对你网站原创性的判断。

· 分销商/代理商复制产品描述：给他们发邮件要求加上canonical标签指向你的原始页面，或者要求他们修改描述至少30%以上。

五、Copyleaks + 5118智能改写检测：揪出"伪原创"和语义级重复

"伪原创"工具的工作原理：把"价格实惠"改成"性价比高"，把"物流很快"改成"配送迅速"，然后打乱段落顺序。人读起来意思差不多，传统查重工具检测不到——因为文字层面确实不一样了。

Copyleaks的AI检测能力：免费版每月10页，付费版$10.99/月起。它不做简单的文字匹配，而是用语义指纹比对——即使换了词、改了语序，只要表达的意思相同，就能检测出来。特别适合检测"洗稿"行为。

5118智能改写检测：5118会员功能（会员约¥300/月）。上传你的文章，5118会比对它收录的海量中文网页内容库，标记出语义相似的段落和来源URL。对中文站来说，5118的内容指纹比对比Copyscape实用得多。

操作建议：Copyleaks适合检测核心文章是否被英文站"洗稿"，5118适合检测中文内容是否被同行伪原创。两个搭配着用，基本没有漏网之鱼。

六、查出来之后怎么修：四类重复的处理策略

查只是第一步，查出问题不修等于白查。不同类型的重复，修法完全不同：

七、四个工具怎么组合用：三套检测方案

把上面四个工具串起来，形成完整的重复内容检测闭环：