linux uniq 命令实用手册

Linux uniq 命令用于处理文本内容中的重复行。

这里我们只介绍其常用参数，其完整用法可参见man uniq。

例如，我们有如下文件内容：

>>> cat log.txt

_______________

hello

HEllo

world

world

hello

使用uniq 命令，不加任何参数处理，注意，这里的两行hello 并没有相邻，所以最终还是显示了两行hello，而两行world 是相邻的，所以去掉了其中一行world：

>>> uniq log.txt

hello

HEllo

world

hello

如果想将不相邻的相同内容也去重，一般需要与sort 命令配合使用，先排序，再去重，如下(这时所有的重复行都被去重了)：

>>> cat log.txt | sort| uniq

____________________________

HEllo

hello

world

使用-s参数，忽略前N 个字符（此处忽略了前2 个字符）：

>>> cat log.txt | sort| uniq -s 2

_________________________________

HEllo

world

使用-i 参数，忽略大小写（最终只剩下了大写的）：

>>> cat log.txt | sort| uniq -i

_______________________________

HEllo

world

使用-d 参数，只输出重复的行（HEllo 没有重复，所以没有输出）：

>>> cat log.txt | sort| uniq -d

_______________________________

hello

world

使用-u 参数，与-d 参数相反，只输出不重复的行（HEllo 没有重复，所以输出）：

>>> cat log.txt | sort| uniq -u

———————————————————————————————

HEllo

使用-c 参数，计算重复行的次数，如下（第一列为出现的次数）：

>>> cat log.txt | sort| uniq -c

_______________________________

      1 HEllo

      2 hello

      2 world

按照重复次数进行反向排序：

cat log.txt | sort| uniq -c| sort -nr

—————————————————————————————————————

      2 world

      2 hello

      1 HEllo

下面总结以上介绍到的参数：

（完。）

巴特西