bash是什么

bash是一个命令处理器，运行在文本窗口中，并能执行用户直接输入的命令
bash还能从文件中读取linxu命令，称之为脚本
bash支持通配符、管道、命令替换、条件判断等逻辑控制语句

bash的特性

命令行展开

[root@chaogelinux ~]# echo {tom,bob,chaoge,jerry}

tom bob chaoge jerry

[root@chaogelinux ~]# echo chaoge{666,888}

chaoge666 chaoge888

[root@chaogelinux ~]# echo chaoge{1..5}

chaoge1 chaoge2 chaoge3 chaoge4 chaoge5

[root@chaogelinux ~]# echo chaoge{1..10..2}

chaoge1 chaoge3 chaoge5 chaoge7 chaoge9

[root@chaogelinux ~]# echo chaoge{01..10..2}

chaoge01 chaoge03 chaoge05 chaoge07 chaoge09

命令别名

alias,unalias

命令历史

history

!行号

!! 上一次的命令

快捷键

ctrl + a  移动到行首

ctrl + e  移动到行尾

ctrl + u  删除光标之前的字符

ctrl + k  删除光标之后的字符

ctrl + l  清空屏幕终端内容，同于clear

命令补全

tab键

补全

    $PATH中存在的命令

文件路径补全

/opt/chaoge/linux_study

Linux正则表达式

正则表达式：Regual Expression, REGEXP

由一类特殊字符及文本字符所编写的模式，其中有些字符不表示其字面意义，而是用于表示控制或通配的功能；

分两类：

基本正则表达式：BRE

扩展正则表达式：ERE

正则表达式的意义

处理大量的字符串
处理文本

通过特殊符号的辅助，可以让linux管理员快速过滤、替换、处理所需要的字符串、文本，让工作高效。

通常Linux运维工作，都是面临大量带有字符串的内容，如

配置文件
程序代码
命令输出结果
日志文件

且此类字符串内容，我们常会有特定的需要，查找出符合工作需要的特定的字符串，因此正则表达式就出现了

正则表达式是一套规则和方法
正则工作时以单位进行，一次处理一行
正则表达式化繁为简，提高工作效率
linux仅受三剑客（sed、awk、grep）支持，其他命令无法使用

正则表达式应用非常广泛，应用在如Python、Java、Perl等，Linux下普通命令无法使用正则表达式的，只能使用三剑客。

通配符是大部分普通命令都支持的，用于查找文件或目录，而正则表达式是通过三剑客命令在文件（数据流）中过滤内容的

Linux三剑客

文本处理工具，均支持正则表达式引擎

grep：文本过滤工具，（模式：pattern）工具
sed：stream editor，流编辑器；文本编辑工具
awk：Linux的文本报告生成器（格式化文本），Linux上是gawk

正则表达式的分类

Linux三剑客主要分两类

基本正则表达式（BRE、basic regular expression）

BRE对应元字符有 ^$.[]*

扩展正则表达式（ERE、extended regular expression）

ERE在在BRE基础上，增加上 (){}?+| 等字符

基本正则表达式BRE集合

匹配字符
匹配次数
位置锚定

符号	作用
^	尖角号，用于模式的最左侧，如 "^oldboy"，匹配以oldboy单词开头的行
$	美元符，用于模式的最右侧，如"oldboy$"，表示以oldboy单词结尾的行
^$	组合符，表示空行
.	匹配任意一个且只有一个字符，不能匹配空行
\	转义字符，让特殊含义的字符，现出原形，还原本意，例如`\.`代表小数点
*	匹配前一个字符（连续出现）0次或1次以上，重复0次代表空，即匹配所有内容
.*	组合符，匹配任意长度的任意字符
^.*	组合符，匹配任意多个字符开头的内容
.*$	组合符，匹配以任意多个字符结尾的内容
[abc]	匹配[]集合内的任意一个字符，a或b或c，可以写[a-c]
`[^abc]`	匹配除了^后面的任意字符，a或b或c，^表示对[abc]的取反
`<pattern>`	匹配完整的内容
<或>	定位单词的左侧，和右侧，如`<chao>`可以找出"The chao ge"，缺找不出"yuchao"

扩展正则表达式ERE集合

扩展正则必须用 grep -E 才能生效

字符	作用
+	匹配前一个字符1次或多次，前面字符至少出现1次
[:/]+	匹配括号内的":"或者"/"字符1次或多次
?	匹配前一个字符0次或1次，前面字符可有可无
竖线	表示或者，同时过滤多个字符串
()	分组过滤，被括起来的内容表示一个整体

a{n,m}	匹配前一个字符最少n次，最多m次
a{n,}	匹配前一个字符最少n次
a{n}	匹配前一个字符正好n次
a{,m}	匹配前一个字符最多m次

Tip:

grep命令需要使用参数 -E即可支持正则表达式

egrep不推荐使用，使用grep -E替代

grep不加参数，得在特殊字符前面加"\"反斜杠，识别为正则

grep

全拼：Global search REgular expression and Print out the line.

作用：文本搜索工具，根据用户指定的“模式（过滤条件）”对目标文本逐行进行匹配检查，打印匹配到的行

模式：由正则表达式的元字符及文本字符所编写出的过滤条件；

语法：

grep [options] [pattern]  file

命令  参数   匹配模式   文件数据

                -i：ignorecase，忽略字符的大小写；

                -o：仅显示匹配到的字符串本身；

                -v, --invert-match：显示不能被模式匹配到的行；

                -E：支持使用扩展的正则表达式元字符；

                -q, --quiet, --silent：静默模式，即不输出任何信息；

grep命令是Linux系统中最重要的命令之一，功能是从文本文件或管道数据流中筛选匹配的行和数据，如果再配合正则表达式，功能十分强大，是Linux运维人员必备的命令

grep命令里的匹配模式就是你想要找的东西，可以是普通的文字符号，也可以是正则表达式

参数选项	解释说明
-v	排除匹配结果
-n	显示匹配行与行号
-i	不区分大小写
-c	只统计匹配的行数
-E	使用egrep命令
--color=auto	为grep过滤结果添加颜色
-w	只匹配过滤的单词
-o	只输出匹配的内容

案例

cat /etc/passwd > /tmp/test_grep.txt

grep  "login" /tmp/test_grep.txt  -n                                #找出login有关行

grep  "login" /tmp/test_grep.txt  -n -v                                 #找出没有login的行

grep   "ROOT" /tmp/test_grep.txt  -i                                      #忽略大小写，找出root有关行

grep -E  "root|sync"  /tmp/test_grep.txt --color=auto       #同时过滤出root和sync有关行

grep "login" /tmp/test_grep.txt  -c                 #统计匹配结果的行数

grep "login" /tmp/test_grep.txt   -n -o                   #只输出匹配出的内容

grep "oldboy" /tmp/test_grep.txt -w                         #完整匹配，字符串精确匹配，整个单词

grep -Ev "^#|^$"  /tmp/test_grep.txt                       #过滤掉空白和注释行

正则表达式grep实践

准备测试文件

^符号

1.输出所有以m开头的行

[root@pylinux data]# grep -i  -n "^m" luffy.txt        # -i忽略大小写  -n 显示仪行号

5:My qq is 877348180.

7:My name is chaoge.

2.输出所有以i开头的行

[root@pylinux data]# grep -i -n "^i" luffy.txt

1:I am oldboy teacher

2:I teach linux.

3:I like python.

$符

1.输出所有以r结尾的行

[root@pylinux data]# grep -i -n "r$" luffy.txt

1:I am oldboy teacher

2.输出所以以m结尾的行

[root@pylinux data]# grep -i -n "m$" luffy.txt

9:Our school website is http://oldboyedu.com

TIP

注意在Linux平台下，所有文件的结尾都有一个$符

可以用cat -A 查看文件

3.输出所有以"."结尾的行，注意用转义符

1.注意不加转义符的结果，正则里"."是匹配任意1个字符，grep把.当做正则处理了，因此把有数据的行找出来了，

[root@pylinux data]# grep -i -n ".$" luffy.txt

1:I am oldboy teacher

2:I teach linux.

3:I like python.

5:My qq is 877348180.

7:My name is chaoge.

9:Our school website is http://oldboyedu.com

2.加上转义符，当做普通的小数点过滤

[root@pylinux data]# grep -i -n "\.$" luffy.txt

2:I teach linux.

3:I like python.

5:My qq is 877348180.

7:My name is chaoge.

^$组合符

1.找出文件的空行，以及行号

[root@pylinux data]# grep "^$" luffy.txt  -n

4:

6:

8:

10:

11:

12:

.点符号

"."点表示任意一个字符，有且只有一个，不包含空行

[root@pylinux data]# grep -i -n "." luffy.txt

1:I am oldboy teacher

2:I teach linux.

3:I like python.

5:My qq is 877348180.

7:My name is chaoge.

9:Our school website is http://oldboyedu.com

匹配出 ".ac"，找出任意一个三位字符，包含ac

[root@pylinux data]# grep -i -n ".ac" luffy.txt

1:I am oldboy teacher

2:I teach linux.

\转义符

1.找出文中所有的点"."

[root@pylinux data]# grep "\." luffy.txt

I teach linux.

I like python.

My qq is 877348180.

My name is chaoge.

Our school website is http://oldboyedu.com

*符

1.找出前一个字符0次或多次，找出文中出现"i"的0次或多次

[root@pylinux data]# grep -n "i*" luffy.txt

1:I am  teacher

2:I teach linux.

3:I like python.

4:

5:My qq is 283178231.

6:

7:My name is haoge.

8:

9:Our school website is http://www.baidu.com

10:

11:

12:

.*组合符

.表示任意一个字符，*表示匹配前一个字符0次或多次，因此放一起，代表匹配所有内容，以及空格

[root@pylinux data]# grep '.*' luffy.txt

I am oldboy teacher

I teach linux.

I like python.

My qq is 877348180.

My name is chaoge.

Our school website is http://oldboyedu.com

^.*o符

^以某字符为开头

.任意0或多个字符

.*代表匹配所有内容

o普通字符，一直到字母o结束

这种匹配相同字符到最后一个字符的特点，称之为贪婪匹配

[root@chaogelinux data]# grep "I.*o" luffy.txt

I am oldboy teacher

I like python.

`[abc]中括号`

中括号表达式，[abc]表示匹配中括号中任意一个字符，a或b或c，常见形式如下

[a-z]匹配所有小写单个字母
[A-Z]匹配所有单个大写字母
[a-zA-Z]匹配所有的单个大小写字母
[0-9]匹配所有单个数字
[a-zA-Z0-9]匹配所有数字和字母

[root@pylinux data]# grep '[a-z]' luffy.txt

I am oldboy teacher

I teach linux.

I like python.

My qq is 877348180.

My name is chaoge.

Our school website is http://oldboyedu.com

[root@pylinux data]# grep '[abcd]' luffy.txt

I am oldboy teacher

I teach linux.

My name is chaoge.

Our school website is http://oldboyedu.com

grep参数-o

使用"-o"选项，可以只显示被匹配到的关键字，而不是讲整行的内容都输出。

显示文件中有多少个字符a

[root@pylinux data]# grep -o  'a' luffy.txt |wc -l

5

`[^abc]中括号中取反`

[^abc]或[^a-c]这样的命令，"^"符号在中括号中第一位表示排除，就是排除字母a或b或c

出现在中括号里的尖角号表示取反

1.找出除了小写字母以外的字符

[root@pylinux data]# grep '[^a-z]' luffy.txt

I am oldboy teacher

I teach linux.

I like python.

My qq is 877348180.

My name is chaoge.

Our school website is http://oldboyedu.com

扩展正则表达式实践

此处使用grep -E进行实践扩展正则，egrep官网已经弃用

+号

+号表示匹配前一个字符1次或多次，必须使用grep -E 扩展正则

[root@pylinux data]# grep -E  'l+'  luffy.txt

I am oldboy teacher

I teach linux.

I like python.

Our school website is http://oldboyedu.com

?符

匹配前一个字符0次或1次

1.找出文件中包含gd或god的行

[root@pylinux data]# grep -E 'go?d' luffycity.txt

god            #字母o出现了一次

gd          #字母o出现了0次

|符

竖线|在正则中是或者的意思

1.找出系统中的txt文件，且名字里包含a或b的字符

[root@pylinux data]# find / -maxdepth 3  -name "*.txt" |grep -i -E "a|b"

/data/luffycity.txt

/data/luffy.txt

/test_find/chaoge.txt

/test_find/alex.txt

/opt/all.txt

/opt/_book/123.txt

/opt/Python-3.7.3/pybuilddir.txt

/opt/alltxt.txt

/opt/s15oldboy/qiong.txt

/opt/IIS/keystorePass.txt

()小括号

将一个或多个字符捆绑在一起，当作一个整体进行处理；

小括号功能之一是分组过滤被括起来的内容，括号内的内容表示一个整体
括号()内的内容可以被后面的"\n"正则引用，n为数字，表示引用第几个括号的内容
- \1：表示从左侧起，第一个括号中的模式所匹配到的字符
- \2：从左侧期，第二个括号中的模式所匹配到的字符

1.找出包含good和glad的行

[root@pylinux data]# grep -E 'goo|lad' luffycity.txt        #结果不是我们想要的

good

goooood

goooooood

glad

[root@pylinux data]# grep -E 'good|glad' luffycity.txt    #我们希望能够实现这这样的匹配

good

glad

[root@pylinux data]# grep -E 'g(oo|la)d' luffycity.txt

good

glad

分组之后向引用

[root@chaogelinux data]# cat lovers.txt

I like my lover.

I love my lover.

He likes his lovers.

He love his lovers.

[root@chaogelinux data]# grep -E  '(l..e).*\1' lovers.txt

I love my lover.

He love his lovers.

[root@chaogelinux data]# grep -E '(r..t).*\1' /etc/passwd    #案例2

root:x:0:0:root:/root:/bin/bash

最清晰的分组解释

{n,m}匹配次数

重复前一个字符各种次数，可以通过-o参数显示明确的匹配过程

巴特西

Linux正则表达式与grep