原始文本
等待输入
0 行
0 字符
在线文本去重工具
按行快速清理重复文本，默认保留首次出现顺序。支持忽略大小写、清理空行与首尾空格、结果排序，并提供重复数量、唯一行数和去重率统计。
Ctrl + Enter 执行去重
0
参与处理行
--
唯一行数
--
已移除重复行
--
重复率
去重结果
0 行
0 字符
文本仅在本次去重请求中处理，不会写入数据库。建议不要提交密码、密钥等高敏感信息。
功能特性
保序按行去重
保留每一行首次出现的位置，只清除后续重复项，默认不打乱原始数据顺序。
灵活匹配规则
可选择忽略英文大小写，满足关键词、域名、标签和名单等不同数据清理需求。
格式自动清理
按需移除空行和每行首尾空格，减少肉眼难以识别的格式差异造成的重复。
结果快速排序
去重后可直接按文本顺序排列，便于检查关键词、编号和字典类数据。
可视化统计
清晰展示参与处理行、唯一行、移除行和重复率，快速评估数据质量。
便捷导入导出
支持导入常用纯文本文件，一键复制结果或下载 UTF-8 文本继续使用。
使用方法与适用场景
使用步骤
- 粘贴文本或点击“导入文本”，确保每条待比较内容独占一行。
- 根据需要设置空格、空行、大小写和结果排序选项。
- 点击“开始去重”，也可使用 Ctrl + Enter 快捷执行。
- 检查统计结果后，一键复制或下载去重后的文本。
典型场景
- 清理客户名单、邮箱地址、手机号和会员编号。
- 整理 SEO 关键词、标签、域名和 URL 链接列表。
- 过滤日志中的重复事件、错误信息或请求记录。
- 去除 SQL、CSV 单列数据和测试数据中的重复项。
常见问题
去重后会改变文本原有顺序吗？
默认不会。工具采用首次出现优先的保序去重方式，只删除后续重复行。开启“结果排序”后才会重新排列唯一内容。
“忽略大小写”选项如何工作？
开启后，Apple、APPLE 和 apple 会被识别为同一行，结果保留第一次出现时的原始写法；关闭后则会视为三条不同内容。
为什么看起来相同的两行没有被去重？
内容可能包含全角与半角字符、不可见字符或行中间的额外空格。“清理首尾空格”只处理行首和行尾，不会修改行中间内容，以免误伤有效文本。
关闭“移除空行”后会怎样？
空行会作为普通内容参与去重，因此多处空行最终只保留第一次出现的一个空行。若同时关闭首尾空格清理，仅含不同数量空格的行可能被视为不同内容。
一次可以处理多少文本？
单次最多支持 200 万个字符，足以处理大多数名单、日志和关键词集合。超大文件建议先拆分，避免浏览器或网络请求占用过多内存。
去重结果可以保存吗？
可以。处理完成后可点击“复制”写入剪贴板，也可点击“下载”保存为 UTF-8 编码的 TXT 文件，中文内容不会乱码。