文本处理工具的实用指南

在日常的文本处理工作中，我们常常需要对文本进行排序、去重、提取、合并以及比较等操作。下面将详细介绍一些实用的文本处理工具及其使用方法。

去重工具：uniq

uniq是一个轻量级的工具，它的主要作用是从已排序的文件（包括标准输入）中移除相邻的重复行，并将结果输出到标准输出。通常，它会与sort命令结合使用，以清理排序结果中的重复项。不过要注意，GNU 版本的sort支持-u选项，该选项可以直接从排序输出中移除重复项。

以下是一个使用示例：

[me@linuxbox ~]$ cat > foo.txt a b c a b c

输入完成后，按Ctrl-d结束输入。若直接运行uniq：

[me@linuxbox ~]$ uniq foo.txt a b c a b c

可以看到，结果与原文件相同，重复行并未被移除。这是因为uniq只能移除相邻的重复行，所以需要先对输入进行排序：

[me@linuxbox ~]$ sort foo.txt | uniq a b c

uniq