文本去重

按行去除重复内容,可忽略大小写与首尾空格,并保留原始顺序。

文本去重是做什么的

整理用户名单、关键词表、日志 IP 时常常出现重复行,手工筛选费时且容易漏。把内容按行粘贴进来,一次性剔除重复项并保留首次出现的顺序,还能看到具体删掉了多少行。

核心功能

  • 可忽略大小写与首尾空格后再比对
  • 默认删除空行,可勾选保留空行
  • 结果按首次出现顺序排列不重排
  • 实时显示保留与删除的行数

文本去重怎么用

每行一条内容粘贴进来,选择是否忽略大小写、是否去掉首尾空格,点击去重即可得到唯一行列表,右侧会显示删除了多少行。

  1. 把整理好的内容按每行一条粘贴到输入框
  2. 按需调整忽略大小写、忽略首尾空格等选项
  3. 点击去重按钮,下方结果区立即输出唯一行列表
  4. 点复制拿走结果,徽标里可核对删除的行数

适合这些场景

  • 运营整理关键词表时剔除重复词
  • 后端清洗日志里的重复 IP 地址
  • 客服合并多渠道收集的用户邮箱

常见问题

会打乱顺序吗?

不会。结果保留每行首次出现的位置顺序,后面的重复项直接跳过,不需要再手动排序。

大小写不同的同一词算重复吗?

默认忽略大小写后比对,Apple 和 apple 会被视为同一行。如果需要严格区分,取消勾选忽略大小写即可。

空行怎么处理?

默认直接删除空行,只输出有效内容;勾选保留空行后,空行也参与去重,同样只保留一个。

粘贴的内容会上传吗?

不会。去重在浏览器本地完成,内容不经过服务器,关闭页面后输入即从内存清除。