批量去重不是点一下删除重复行就完事，你手里的URL列表、关键词库、域名清单至少藏了3种不同的重复

一、完全重复：在线工具一行代码都不用写

如果只是去重完全相同的行，现在在线工具的体验已经非常成熟了。把内容粘贴进去，点一下按钮，几万行数据秒级去完。常用的几款我做了个对比：

这几款工具对"完全重复"的处理都很靠谱，选哪个主要看数据量。10万行以内随便用，超过30万行建议用UU在线工具，它的处理上限最高，而且支持自定义分隔符，数据格式不标准的时候能救命。

二、按字段去重：同一个域名的URL只留一条

这是站长的刚需场景。你扒了一个竞争对手的外链列表，里面有2000条URL，但很多URL来自同一个域名——www.example.com/page1、www.example.com/page2、www.example.com/page3……你的目标不是按完整URL去重，而是按主域名去重，每个域名只保留一条URL。这种需求在线工具能解决的就不多了。

UU在线工具提供了一个"按域名去重"功能，粘贴URL列表后自动提取主域名，每个域名只保留第一条链接。如果需求刚好匹配，这个工具足够用了。但如果你的规则更复杂——比如想按二级域名去重、或者想保留每个域名下收录最多的那条URL——那就要上Python了。

from urllib.parse import urlparsefrom collections import defaultdict# 按主域名去重，每个域名只保留一条URLdef dedup_by_domain(url_list):domain_map = {}for url in url_list:domain = urlparse(url).netloc  # 提取主域名if domain not in domain_map:domain_map[domain] = urlreturn list(domain_map.values())# 读取文件with open('urls.txt', 'r', encoding='utf-8') as f:urls = [line.strip() for line in f if line.strip()]result = dedup_by_domain(urls)with open('urls_deduped.txt', 'w', encoding='utf-8') as f:for url in result:f.write(url + '\n')print(f"原始URL: {len(urls)} 条")print(f"去重后: {len(result)} 个独立域名")

这个脚本的逻辑很简单：遍历每条URL，用urlparse提取域名部分，用字典的key天然去重特性保证每个域名只存一条。如果需要更灵活的规则——比如想保留每个域名下路径最短的那条URL（首页链接最干净），把字典的赋值逻辑改成按路径长度比较就行。

三、相似度去重：长得像但不是一模一样的东西怎么筛

这是去重里最难的一层，也是真正能帮你省时间的。场景是这样的：你从5118、百度下拉框、相关搜索、Google Keyword Planner四个渠道采了1万条关键词，合在一起发现很多词换了个顺序就重了——"深圳装修公司哪家好"和"深圳哪家装修公司好"，字都一样就是顺序不一样。纯文本去重完全识别不了这种重复。

解决这个问题需要用到模糊匹配。Python里最常用的库是fuzzywuzzy（现在叫thefuzz），核心思路是计算两段文本的相似度分数，超过阈值就判定为重复。

from thefuzz import fuzz# 关键词相似度去重，阈值85分def fuzzy_dedup(keywords, threshold=85):unique = []for kw in keywords:is_dup = Falsefor existing in unique:# token_sort_ratio会先分词排序再比较，无视词序差异if fuzz.token_sort_ratio(kw, existing) >= threshold:is_dup = Truebreakif not is_dup:unique.append(kw)return unique# 示例keywords = ["深圳装修公司哪家好","深圳哪家装修公司好","北京装修公司推荐","深圳装修公司排名"]result = fuzzy_dedup(keywords, threshold=85)print(f"去重前: {len(keywords)} 条")print(f"去重后: {len(result)} 条")

token_sort_ratio的工作原理是先把两个字符串分别拆成词，然后分别排序，再比较排序后的结果。所以"深圳装修公司哪家好"和"深圳哪家装修公司好"分词排序后都会变成类似["好","哪家","深圳","公司","装修"]的序列，相似度能到90分以上。这就是为什么它能无视词序差异。

模糊去重有个性能问题需要注意：fuzzywuzzy的算法是O(n²)，1万条关键词两两比较就是一亿次计算，纯Python跑完要好几分钟。如果数据量超过5000条，建议先用完全去重把数据量压下来，再做模糊去重，或者用rapidfuzz替代fuzzywuzzy——它是C++实现，同样的算法快5-10倍。

四、Excel去重：多数人只用到了它10%的能力

Excel的"删除重复项"是最常用的去重方式，但它有好几个使用层次，大部分人只停留在第一层：选中所有列→删除重复项→整行去重。实际上Excel的去重能力远不止于此。

Power Query是Excel里被严重低估的去重工具。它的核心优势不是去重本身，而是去重过程可追溯——每一步操作都会被记录成一个步骤，下次打开文件刷新一下就能自动重新执行整个清洗流程。如果你的去重工作是周期性的（比如每周要处理一批新的外链列表），用Power Query建一个清洗模板，比每次手动操作省太多时间。

五、百万级数据怎么去重——在线工具和Excel都扛不住了

当你手里的数据超过100万行时，在线工具会崩、Excel会卡死、Python的内存也可能爆。这时候就要换思路了。

处理百万级以上数据的核心策略是分块读取 + 逐批去重。pandas的read_csv支持chunksize参数，每次只读10万行到内存，去重后再读下一批。最终把所有分块结果合并再做一次全局去重。

import pandas as pd# 分块去重：每次读10万行，合并后全局去重chunks = []for chunk in pd.read_csv('huge_data.csv', chunksize=100000):# 先做块内去重chunk = chunk.drop_duplicates()chunks.append(chunk)# 合并所有块df = pd.concat(chunks, ignore_index=True)# 跨块全局去重df = df.drop_duplicates()print(f"去重后剩余: {len(df)} 行")df.to_csv('deduped_data.csv', index=False)

如果连分块都撑不住（比如数据有几千万行），就需要上数据库方案了。把数据导入SQLite或者MySQL，建唯一索引，重复数据在导入阶段就会被自动过滤掉。这是处理超大规模数据的终极方案。

六、去重时最容易犯的三个错

批量去重这件事，说穿了就是一个"定义"问题。你先把"什么叫重复"定义清楚了，工具的选择就水到渠成。完全相同的行用在线工具，按字段去重用Python脚本，相似度去重用模糊匹配，百万级以上用分块或数据库。别一上来就钻技术细节，先想清楚你的数据里到底什么是重复，再去选对应的武器。