相关工具
在线文本去重工具,去除全局重复的行或者连续重复的行。支持自定义行拆分字符,是否去除行首行尾空白等自定义参数。
- 默认的去除重复参数为:去除输入内容中的所有重复行(不要求重复行连续),输入和结果都使用换行分隔, 自动去除行首和行尾的空白字符,移除空行,保留输入内容的行顺序。
-
自定义:
- 模式:选择去除所有重复行,还是只去除连续出现的重复行。
- 输入分隔符:使用输入分隔符把输入内容分割为多行文本。默认使用\n(换行),你也可以填写其他字符。 比如,, (空格)等。
- 结果分隔符:使用结果分隔符把去重后的多行文本转换为结果。默认使用\n(换行),你也可以填写其他字符。 比如,, (空格)等。
- 行尾行首空白:是否自动去除行尾行首的空白,再比较文本行是否重复。
- 空白行:选择如何处理输入内容中的空白行。删除 - 删除输入内容中的所有空白行。 去重 - 按照去重规则处理空白行。 保留 - 保留所有空白行。
- 排序:选择是否对处理结果进行排序。
- 打开文件:打开本地文本文件,支持的文件编码为UTF-8编码。 如果你的文件不是这个编码,你可以在其他编辑器中打开,然后复制到输入内容中。
- 下载:将处理结果下载到本地。
-
使用示例:
-
去除重复出现的单词:使用参数为 模式 - 去除所有重复行,输入分隔符 - ,,结果分隔符 -
,,行尾行首空白 - 去除,空白行 -
删除,排序 - 不排序。
输入为 dog,cat,fish,cat,cow
输出为 dog,cat,fish,cow -
去除重复文本行并排序:使用参数为 模式 - 去除所有重复行,输入分隔符 - \n(换行),结果分隔符 - \n(换行),行尾行首空白
-
去除,空白行 - 删除,排序 - 升序。
输入为aword hello love cat zero hello
输出为aword hello love cat zero
-
去除重复出现的单词:使用参数为 模式 - 去除所有重复行,输入分隔符 - ,,结果分隔符 -
,,行尾行首空白 - 去除,空白行 -
删除,排序 - 不排序。