正则表达式sed学习（二）

sed
sed是一个流编辑器,非交互式的编辑器,它一次处理一行内容.
处理时,把当前处理的行存储在临时缓冲区中，称为“模式空间”(pattern space)
接着用 sed 命令处理缓冲区的内容，处理完成后，把缓冲区的内容送往屏幕。
接着处理下一行，这样不断重复，直到文件末尾。
文件内容并没有改变，除非你使用重定向存储输出。
sed 要用来自动编辑一个或多个文件；简化对文件的反复操作；编写装换程序等

sed 增加修改查找删除增删改查

#查
sed单行查询
sed多行查询(地址范围)
sed过滤功能

#增
sed单行增加
sed多行增加
sed增加案例

#删
sed删除功能及案例

#改
sed文本替换
sed变量替换
sed反向引用
sed替换案例
sed执行多条语句
获取文件行号

1.sed语法格式

sed [选项] [sed指令] [输入文件]

scripts：

    地址定界编辑命令

常用选项：

    -n 不输出模式空间中的内容至屏幕

    -e 多点编辑

    -r 支持扩展正则表达式

    -i 直接编辑源文件

地址定界：

    )空地址：对全文进行处理

    )单地址

        #:指定行

        /pattern/:被此模式匹配到每一行

    )地址范围

        #.#

        #,+#

        #,/part1/

        /part1/,/part2/

    )步进：~

        ~：所有奇数行

        ~：所有偶数行

编辑命令：

    p: 显示在模式空间的内容

    d: 删除

    a \text\:在行后面追加文本text，支持\n实现多行追加

    i \text\:在行前面插入文本text，支持\n实现多行插入

    c \text\:把匹配到的行替换为此处指定的文件中

    w /path: 保存模式空间匹配到的行至指定的文件中

    r /path：读取指定文件的内容至当前文件模式匹配到的行

    =：为模式匹配到的行打印行号

    !：条件取反

       地址定界!编辑命令：

    s///:查找替换，其分隔符可自行指定，常用的有s@@@，s###等

       替换标记

           g：全局替换

           w /path:将替换成功的结果保存至指定文件中

           p：显示替换成功的行

2.sed命令执行流程

3.创建测试文件

cat >person.txt<<EOF

,oldboy,CEO

,zhangyao,CTO

,Alex,COO

,yy,CFO

,feixue,CIO

EOF

4.查询单行文本p 显示某一行

p  sed指定,打印模式空间内容

-n sed选项,取消默认输出

[root@xiaoming ~]# sed '1p' person.txt

,oldboy,CEO

,oldboy,CEO

,zhangyao,CTO

,Alex,COO

,yy,CFO

,feixue,CIO

[root@xiaoming ~]# sed '1p' person.txt -n

,oldboy,CEO

#显示文件最后一行

[root@xiaoming ~]# sed '$p' person.txt -n

,feixue,CIO

5.查询连续多行文本，显示连续的多行,从哪里来到哪里去'1,4p'

指定p前面没有地址范围,那么默认匹配所有行

#数字地址范围--推荐 行号

#, 显示第二行到第四行的内容,包含第二行和第四行

[root@xiaoming ~]# sed '2,4p' person.txt -n

,zhangyao,CTO

,Alex,COO

,yy,CFO

##正则地址范围-模糊,容易找多了

[root@xiaoming ~]# sed -n '/oldboy/p' person.txt

,oldboy,CEO

[root@xiaoming ~]# sed -n '/o.*y/p' person.txt

,oldboy,CEO

[root@xiaoming ~]# sed -n '/o.*y/,/105/p' person.txt

,oldboy,CEO

,zhangyao,CTO

,Alex,COO

,yy,CFO

,feixue,CIO

##显示这个文件的第一行到第四行

[root@xiaoming ~]# sed -n '1,4p' person.txt 

##从包含101的这一行，显示到包含104的这一行

[root@xiaoming ~]# sed -n '/101/,/104/p' person.txt

,oldboy,CEO

,zhangyao,CTO

,Alex,COO

,yy,CFO

sed查询功能对比grep
1.都是基于行为单位
2.都支持正则
3.sed可以做指定查询范围，grep不行

6.过滤多个字符串

-r sed选项，支持扩展正则表达式（|()）

默认情况,sed只支持基本正则表达式。

[root@xiaoming ~]# egrep 'oldboy|yy' person.txt

,oldboy,CEO

,yy,CFO

[root@xiaoming ~]# sed -rn '/oldboy|yy/p' person.txt

,oldboy,CEO

,yy,CFO

sed里面的正则字符左右必须有"/"。/oldboy/

重点：

sed 查询单行文本

查询多行文本 使用数字地址范围sed '2,4p' person.txt -n

7.查询指定多行
使用分号

[root@xiaoming ~]# sed -n '1p;3p;5p' person.txt

,oldboy,CEO

,Alex,COO

,feixue,CIO

8.增加单行文本a,i

我想向person.txt文件中追加2行

,lidao,UFO

,bingbing,CEO

方法一：cat

cat >>person.txt <<EOF

,lidao,UFO

,bingbing,CEO

EOF

方法二：echo

[root@xiaoming ~]# echo "asda

> asdas

> asdas"

asda

asdas

asdas

[root@xiaoming ~]# echo "106,lidao,UFO\n107,bingbing,CEO"

,lidao,UFO\n107,bingbing,CEO person.txt

[root@xiaoming ~]# echo -e "106,lidao,UFO\n107,bingbing,CEO"

,lidao,UFO

,bingbing,CEO person.txt

方法三：sed命令

#在第2行后面加入一个新行，内容为 oldboy.com

[root@xiaoming ~]# sed '2a oldboy.com' person.txt

,oldboy,CEO

,zhangyao,CTO

oldboy.com

,Alex,COO

[root@xiaoming ~]# sed '2i oldboy.com' person.txt

,oldboy,CEO

oldboy.com

,zhangyao,CTO

a  append 追加

i  insert 插入

#在最后一行后面追加2行内容

[root@xiaoming ~]# sed '$a 106,lidao,UFO\n107,bingbing,CEO' person.txt

,oldboy,CEO

,zhangyao,CTO

,Alex,COO

,yy,CFO

,feixue,CIO

,lidao,UFO

,bingbing,CEO

9.删除文件内容d

d sed指令,删除文本内容

$ 代表文件最后一行

#删除第一行

[root@xiaoming ~]# sed '1d' person.txt

,zhangyao,CTO

,Alex,COO

,yy,CFO

,feixue,CIO

,lidao,UFO

,bingbing,CEO

#显示文件内容但不包含第一行

方法一：

[root@xiaoming ~]# grep -v 'oldboy' person.txt

方法二：

[root@xiaoming ~]# sed '/oldboy/d' person.txt

方法三：

[root@xiaoming ~]# awk '!/oldboy/' person.txt

10.修改文件内容c

禁用SELINUX

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

sed -i "7c SELINU=disabledX" /etc/selinux/config

sed -i "/^SELINU=/ SELINU=disabledX" /etc/selinux/config

11.文本替换

's/old/new/g'

's@@@g'

's###g'

s/\/etc/hosts/\/etc/hosts.bak/g

s#/etc/hosts#/etc/hosts.bak#/g

[root@xiaoming ~]# cat person.txt

,oldboy,CEO

,zhangyao,CTO

,Alex,COO

,yy,CFO

,feixue,CIO

[root@xiaoming ~]# sed 's#[0-9]#oldboy#g' person.txt

oldboyoldboyoldboy,oldboy,CEO

oldboyoldboyoldboy,zhangyao,CTO

oldboyoldboyoldboy,Alex,COO

oldboyoldboyoldboy,yy,CFO

oldboyoldboyoldboy,feixue,CIO

[root@xiaoming ~]# sed 's#[0-9]##g' person.txt

,oldboy,CEO

,zhangyao,CTO

,Alex,COO

,yy,CFO

,feixue,CIO

//将第1-3行加注释

[root@xiaoming ~]# sed -i '1,3s@^@#@g' person.txt

[root@xiaoming ~]# cat person.txt

##oldboy01,oldboy,CEO

##oldboy02,zhangyao,CTO

##oldboy03,Alex,COO

//将第1-3行注释移除

[root@xiaoming ~]# sed -i '1,3s@#@@g' person.txt

[root@xiaoming ~]# cat person.txt

oldboy01,oldboy,CEO

oldboy02,zhangyao,CTO

oldboy03,Alex,COO

反向引用

[root@xiaoming ~]# echo '101,abc' | egrep -o '[0-9]+'

[root@xiaoming ~]# echo '101,abc' | sed -r 's#([0-9]+).*#\1#'

[root@xiaoming ~]# echo '101,abc' | sed -r 's#(....)...#\1#'

,

[root@xiaoming ~]# echo '101,abc' | sed -r 's#(101),(abc)#\2\1#'

abc101

案例：将/etc/fstab里UUID开头的行另存到/tmp/fstab

方法一：使用grep

[root@xiaoming ~]# grep ^UUID /etc/fstab >/tmp/fstab

方法二：使用sed的编辑命令w

[root@xiaoming ~]# sed -n '/^UUID/w /tmp/fstab' /etc/fstab

案例：

[root@xiaoming ~]# sed -r 's#[0-9]+#room&#' person.txt

oldboyroom01,oldboy,CEO

oldboyroom02,zhangyao,CTO

oldboyroom03,Alex,COO

oldboyroom04,yy,CFO

[root@xiaoming ~]# sed -r 's#[0-9]+#&room#' person.txt

oldboy01room,oldboy,CEO

oldboy02room,zhangyao,CTO

案例：在指定行后面读入其他文件内容

[root@xiaoming ~]# sed '/01/r /etc/hosts' person.txt

oldboy01,oldboy,CEO

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::         localhost localhost.localdomain localhost6 localhost6.localdomain6

oldboy02,zhangyao,CTO

oldboy03,Alex,COO

案例：匹配打印行号

[root@xiaoming ~]# sed '/yy/=' person.txt

oldboy01,oldboy,CEO

oldboy02,zhangyao,CTO

oldboy03,Alex,COO

oldboy04,yy,CFO

案例：取反

//打印出/etc/fstab非空非注释行

解法一：

[root@xiaoming ~]# egrep -v '^(#|$)' /etc/fstab

/dev/mapper/centos-root /                       xfs     defaults

UUID=19ad14dc-26ff-4b14-86e7-c4e2182e820a /boot                   xfs     defaults

/dev/mapper/centos-swap swap                    swap    defaults

解法二：

[root@xiaoming ~]# sed -r '/^(#|$)/d' /etc/fstab

[root@xiaoming ~]# sed -nr '/^(#|$)/!p' /etc/fstab

/dev/mapper/centos-root /                       xfs     defaults

UUID=19ad14dc-26ff-4b14-86e7-c4e2182e820a /boot                   xfs     defaults

/dev/mapper/centos-swap swap                    swap    defaults

注意：！的位置

案例：随机取出10位连续小写字符的字符串

openssl rand -base64  | sed 's#[^a-z]##g'| head -c

###-i 自动备份功能，先备份，在修改文件内容

[root@xiaoming ~]# sed -ri.bak 's#[0-9]#oldboy#' person.txt

[root@xiaoming ~]# ll

总用量

-rw-r--r--  root root   1月    : person.txt

-rw-r--r--  root root   1月    : person.txt.bak

获取centos7网卡IP地址

[root@xiaoming ~]# ifconfig ens33 | sed -nr 's#.*net (.*) netmask.*#\1#p'

10.0.1.31 

[root@xiaoming ~]# ifconfig | awk 'NR==2{print $2}'

10.0.1.31

练习：

.通过正则取出绝对路径/var/log/messages的basename

提示：

[root@xiaoming ~]# basename /var/log/messages

messages

解法一：

[root@xiaoming ~]# echo '/var/log/messages' | egrep '[^/]+$' -o

messages

解法二：

[root@xiaoming ~]# echo '/var/log/mes1sages' | sed -r 's#/.*/##'

mes1sages

解法三：

[root@xiaoming ~]# echo '/var/log/mes1sages' | sed -r 's#.*/([^/]+$)#\1#'

mes1sages

.通过正则取出绝对路劲/var/log/messages的dirname

提示:

[root@xiaoming ~]# dirname /var/log/messages

/var/log

解法一：

[root@xiaoming ~]# echo '/var/log/mes1sages' | egrep '^/.+/' -o

/var/log/

解法二：

[root@xiaoming ~]# echo '/var/log/mes1sages' | sed -r 's#[^/]+$##'

/var/log/

解法三：

[root@xiaoming ~]# echo '/var/log/mes1sages' | sed -r 's#(.*)/.*#\1#'

/var/log

巴特西

正则表达式sed学习（二）

最新文章

热门文章