shell编程系列14--文本处理三剑客之awk的概述及常用方法总结

awk是一个文本处理工具，通常用于处理数据并生成结果报告

awk的命名是它的创始人 Alfred Aho、Peter Weinberger和Brian Kernighan 姓氏的首个字母组成的

awk的工作模式



语法格式

第一种形式： awk 'BEGIN{}pattern{commands}END{}' file_name

BEGIN在匹配之前就执行的操作，pattern{commands}是对每一行的操作，END是匹配完后的操作

第二种形式： standard output | awk 'BEGIN{}pattern{commands}END{}'

语法格式说明



语法格式    　　　　说明

BEGIN{}        正式处理数据之前执行

pattern        匹配模式

{commands}    处理命令，可能多行

END{}        处理完所有匹配数据后执行

awk的内置变量

内置变量对照表（上）

内置变量    含义

$        整行内容

$-$n        当前行的第1-n个字段

NF        当前行的字段个数，也就是多少列

NR        当前的行号，从1开始计数

FNR        多文件处理时，每个文件行号单独计数，都是从0开始

FS        输入字段分隔符。不指定默认以空格或tab键分割

RS        输入行分隔符。默认回车换行

OFS        输出字段分隔符。默认为空格

ORS        输出行分隔符。默认为回车换行



内置变量对照表(下)

内置变量    含义

FILENAME    当前输入的文件名字

ARGC        命令行参数个数

ARGV        命令行参数数组



总结：

    内置变量：

        $                    打印行所有信息

        $~$n                    打印行的第1到n个字段信息

        NF Number Field                处理行的字段个数

        NR Number Row                处理行的行号

        FNR File Number Row            多文件处理时，每个文件单独记录行号

        FS Field Separator            字段分隔符，不指定时默认以空格或tab键分割

        RS Row Separator            行分隔符，不指定时以回车换行分割

        OFS Output Filed Separator        输出字段分隔符

        ORS Output Row Separator        输出行分隔符

        FILENAME                处理文件的文件名

        ARGC                    命令行参数个数

        ARGV                    命令行参数数组

# 输出整行数据

[root@localhost shell]# awk '{print $0}' passwd

root:x:::root:/root:/bin/bash

bin:x:::bin:/bin:/sbin/nologin

daemon:x:::daemon:/sbin:/sbin/nologin

adm:x:::adm:/var/adm:/sbin/nologin

lp:x:::lp:/var/spool/lpd:/sbin/nologin

sync:x:::sync:/sbin:/bin/sync

shutdown:x:::shutdown:/sbin:/sbin/shutdown

halt:x:::halt:/sbin:/sbin/halt

mail:x:::mail:/var/spool/mail:/sbin/nologin

operator:x:::operator:/root:/sbin/nologin

games:x:::games:/usr/games:/sbin/nologin

ftp:x:::FTP User:/var/ftp:/sbin/nologin

nobody:x:::Nobody:/:/sbin/nologin

systemd-network:x:::systemd Network Management:/:/sbin/nologin

dbus:x:::System message bus:/:/sbin/nologin

polkitd:x:::User for polkitd:/:/sbin/nologin

sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

postfix:x::::/var/spool/postfix:/sbin/nologin

ajie:x:::ajie:/home/ajie:/bin/bash

chrony:x::::/var/lib/chrony:/sbin/nologin

deploy:x::::/home/deploy:/bin/bash

nginx:x:::Nginx web server:/var/lib/nginx:/sbin/nologin

# FS指定分隔符

[root@localhost shell]# awk 'BEGIN{FS=":"}{print $1}' passwd

root

bin

daemon

adm

lp

sync

shutdown

halt

mail

operator

games

ftp

nobody

systemd-network

dbus

polkitd

sshd

postfix

ajie

chrony

deploy

nginx

# 默认以空格或者tab为分隔符

[root@localhost shell]# cat list

Hadoop Spark Flume

Java Python Scala

Allen Mike Meggie

[root@localhost shell]# awk '{print $1}' list

Hadoop

Java

Allen

[root@localhost shell]# awk 'BEGIN{FS=" "}{print $1}' list

Hadoop

Java

Allen

# NF 输出每一行的字段个数

[root@localhost shell]# cat list

Hadoop Spark Flume

Java Python Scala Golang

Allen Mike Meggie

[root@localhost shell]# awk '{print NF}' list

# NR 行号，处理多个文件(list,passwd,/etc/fstab)时行号累加

[root@localhost shell]# awk '{print NR}' list passwd /etc/fstab 

# FNR在处理两个文件以上时会单独计数

[root@localhost shell]# awk '{print FNR}' list passwd /etc/fstab 

[root@localhost shell]# cat list

Hadoop|Spark:Flume

Java|Python:Scala:Golang

Allen|Mike:Meggie

# 以 | 符号分隔列

[root@localhost shell]# awk 'BEGIN{FS="|"}{print $2}' list

Spark:Flume

Python:Scala:Golang

Mike:Meggie

# 以 : 符号分隔列

[root@localhost shell]# awk 'BEGIN{FS=":"}{print $2}' list

Flume

Scala

Meggie

# RS 指定行分隔符： --

[root@localhost shell]# cat list

Hadoop|Spark|Flume--Java|Python|Scala|Golang--Allen|Mike|Meggie

[root@localhost shell]# awk 'BEGIN{RS="--"}{print $0}' list

Hadoop|Spark|Flume

Java|Python|Scala|Golang

Allen|Mike|Meggie

[root@localhost shell]# awk 'BEGIN{RS="--";FS="|"}{print $3}' list

Flume

Scala

Meggie

# ORS输出分隔符，以&连接各输出行

[root@localhost shell]# awk 'BEGIN{RS="--";FS="|";ORS="&"}{print $3}' list

Flume&Scala&Meggie

# 字段默认分隔符是空格

[root@localhost shell]# awk 'BEGIN{RS="--";FS="|";ORS="&"}{print $1,$3}' list

Hadoop Flume&Java Scala&Allen Meggie

&

# OFS 指定字段分隔符为 :

[root@localhost shell]# awk 'BEGIN{RS="--";FS="|";ORS="&";OFS=":"}{print $1,$3}' list

Hadoop:Flume&Java:Scala&Allen:Meggie

&

# FILENAME 文件名

[root@localhost shell]# awk '{print FILENAME}' list

list

# 输出3次文件名list，是因为没有输入匹配模式 awk默认是行处理，文本有3行，处理三次会有3次输出

[root@localhost shell]# cat list

Hadoop|Spark|Flume--Java|Python|Scala|Golang--Allen|Mike|Meggie

Test File

Line

[root@localhost shell]# awk '{print FILENAME}' list

list

list

list

# ARGC命令行参数个数

[root@localhost shell]# awk '{print ARGC}' list

[root@localhost shell]# awk '{print ARGC}' list /etc/fstab 

# NF表示字段个数，NF= $NF 就是$ 表示最后一个字段

[root@localhost shell]# awk 'BEGIN{FS=":"}{print $NF}' /etc/passwd

/bin/bash

/sbin/nologin

/sbin/nologin

/sbin/nologin

/sbin/nologin

/bin/sync

/sbin/shutdown

/sbin/halt

/sbin/nologin

/sbin/nologin

/sbin/nologin

/sbin/nologin

/sbin/nologin

/sbin/nologin

/sbin/nologin

/sbin/nologin

/sbin/nologin

/sbin/nologin

/bin/bash

/sbin/nologin

/bin/bash

/sbin/nologin