0%

linux三剑客

linux三剑客

grep

简介

  • 简介:文本过滤工具,用于查找文件里符合条件的字符串
  • 支持正则表达式匹配

在linux中,最常用的文本过滤工具就是grep,一般常用有命令输出的字符过滤或文件文本的过滤。

grep语法

1
2
grep   [options]   [pattern]   file
命令 参数 匹配模式 文件数据
参数
  • -a 或 –text : 不要忽略二进制的数据。
  • -A 或 –after-context= : 除了显示符合范本样式的那一列之外,并显示该行之后的内容。
  • -b 或 –byte-offset : 在显示符合样式的那一行之前,标示出该行第一个字符的编号。
  • -B 或 –before-context= : 除了显示符合样式的那一行之外,并显示该行之前的内容。
  • -c 或 –count : 计算符合样式的列数。
  • -C 或 –context=或- : 除了显示符合样式的那一行之外,并显示该行之前后的内容。
  • -d 或 –directories= : 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep指令将回报信息并停止动作。
  • -e 或 –regexp= : 指定字符串做为查找文件内容的样式。
  • -E 或 –extended-regexp : 将样式为延伸的正则表达式来使用。
  • -f 或 –file= : 指定规则文件,其内容含有一个或多个规则样式,让grep查找符合规则条件的文件内容,格式为每行一个规则样式。
  • -F 或 –fixed-regexp : 将样式视为固定字符串的列表。
  • -G 或 –basic-regexp : 将样式视为普通的表示法来使用。
  • -h 或 –no-filename : 在显示符合样式的那一行之前,不标示该行所属的文件名称。
  • -H 或 –with-filename : 在显示符合样式的那一行之前,表示该行所属的文件名称。
  • -i 或 –ignore-case : 忽略字符大小写的差别。
  • -l 或 –file-with-matches : 列出文件内容符合指定的样式的文件名称。
  • -L 或 –files-without-match : 列出文件内容不符合指定的样式的文件名称。
  • -n 或 –line-number : 在显示符合样式的那一行之前,标示出该行的列数编号。
  • -o 或 –only-matching : 只显示匹配PATTERN 部分。
  • -q 或 –quiet或–silent : 不显示任何信息。
  • -r 或 –recursive : 此参数的效果和指定”-d recurse”参数相同。
  • -s 或 –no-messages : 不显示错误信息。
  • -v 或 –invert-match : 显示不包含匹配文本的所有行。
  • -V 或 –version : 显示版本信息。
  • -w 或 –word-regexp : 只显示全字符合的列。
  • -x –line-regexp : 只显示全列符合的列。
  • -y : 此参数的效果和指定”-i”参数相同。
正则表达式符号
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
表达式							解释说明
^ 用于模式最左侧,如 “^yu” 即匹配以yu开头的单词
$ 用于模式最右侧,如 “yu$” 即匹配以yu结尾的单词
^$ 组合符,表示空行
. 匹配任意一个且只有一个字符,不能匹配空行
| 转义字符
* 重匹配前一个字符连续出现0次或1次以上
.* 匹配任意字符
^.* 组合符,匹配任意多个字符开头的内容
.*$ 组合符,匹配任意多个字符结尾的内容
[abc] 匹配 [] 内集合中的任意一个字符,a或b或c,也可以写成 [ac]
[^abc] 匹配除了 ^后面的任意一个字符,a或b或c,[]内 ^ 表示取反操作
+ 表示匹配前一个字符一次或多次
? 表示匹配前一个字符0次或1次
() 将一个或多个字符捆绑在一起,当作整体进行处理
{n,m} 匹配目标字符,最少n次,最多m次
{n,m} 匹配目标字符,最少n次,上不封顶
> 匹配位于 目标字符开头的字符串,即截止到 < 前面的字符为止,精确匹配
< 匹配位于 目标字符结尾的字符串,即截止到 > 前面的字符为止,精确匹配

grep用例

从文件查找字符串

1
2
3
4
[root@operation tmp]# grep 'nginx' /etc/passwd 
nginx:x:997:993:nginx user:/var/cache/nginx:/sbin/nologin
[root@operation tmp]# grep '^root' /etc/passwd
root:x:0:0:root:/root:/bin/bash
查找字符串并输出其前后几行的字符串
1
2
3
4
5
6
7
8
9
10
11
[root@operation tmp]# grep 'nginx' -A3 -B3 /etc/passwd 
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
rsync:x:1000:1000::/home/rsync:/sbin/nologin
mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
nginx:x:997:993:nginx user:/var/cache/nginx:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

-A显示匹配到的字符串所在行之后n行的字符串
-B显示匹配到的字符串所在行之前n行的字符串

从命令输出查看字符串

查找指定进程
1
2
3
4
5
6
7
[root@operation tmp]# ps -ef | grep pts
root 92793 1240 0 Sep28 ? 00:00:08 sshd: root@pts/1
root 92796 92793 0 Sep28 pts/1 00:00:03 -bash
root 560348 1240 0 14:28 ? 00:00:00 sshd: root@pts/0
root 560351 560348 0 14:28 pts/0 00:00:00 -bash
root 570413 92796 0 17:24 pts/1 00:00:00 ps -ef
root 570414 92796 0 17:24 pts/1 00:00:00 grep --color=auto pts
通过文件输出到屏幕来查找字符串
1
2
3
[root@operation tmp]# cat /etc/passwd | grep root
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

轮询查看目录下的所有文件,输出包含该字符串的文件路径以及该字符串的位置

grep -rn ‘要查找的字符’ 要查找的路径

1
2
3
4
5
6
7
[root@operation tmp]# grep -rn 'centos:7' /etc
/etc/os-release:8:CPE_NAME="cpe:/o:centos:centos:7"
/etc/system-release-cpe:1:cpe:/o:centos:centos:7

[root@operation tmp]# echo yinshiwei > /tmp/test2
[root@operation tmp]# grep -rn 'yinshiwei' /tmp/
/tmp/test2:1:yinshiwei

sed

简介

sed是非交互式的编辑器。可以读取文本,并根据指定的条件对文本内容进行编辑(删除、替换、添加、移动等),最后输出所有行或者仅输出处理的某些行。它不会修改文件,除非使用shell重定向来保存结果。

工作流程

主要包括读取、执行和显示三个过程。

  • 读取:sed 从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间,pattern space)。
  • 执行:默认情况下,所有的 sed 命令都在模式空间中顺序地执行,除非指定了行的地址,否则 sed 命令将会在所有的行上依次执行。
  • 显示:发送修改后的内容到输出流。在发送数据后,模式空间将会被清空。

在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完。

注:默认情况下所有的sed命令都是在模式空间内执行的,因此输入的文件并不会发生任何变化,除非是用重定向存储输出

img

sed语法

1
2
3
sed [OPTION]... 'script' [input-file]...

sed [常用选项] '[地址定界] [编辑命令]' [input-file]

命令参数

-e 表示用指定命令或脚本来处理输入的文本文件
-f 表示用指定的脚本文件来处理输入的文本文件
-h 或–help 显示帮助
-n 只显示匹配处理的行(否则会输出所有)(也就是关闭默认的输出)
-i 直接编辑文本文件
-i.bak 备份文本文件
-r,-E 使用扩展正则表达式

常用操作参数

a 增加,在当前行下面增加一行指定内容
c 替换,将选定行替换为指定内容
d 删除,删除选定的行
i 插入,在选定行上面插入一行指定内容
p 打印,如果同时指定行,表示打印指定行;如果不指定行,则表示打印所有内容
s 替换,替换指定字符
y 字符转换

操作参数用例

次数测试的文本文档皆用test2

1
2
3
4
5
6
7
8
9
10
test2:
[root@operation tmp]# cat test2
yinshiwei1
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
123456


增加
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
# 这里用到a和i
## 在第二行下一行插入ysw
[root@operation tmp]# sed '2 a\\ysw' test2 也可以写成 sed '2aysw' test2
yinshiwei1
yinshiwei2
ysw
yinshiwei3
yinshiwei4
yinshiwei5
123456

## 在第二行上一行插入ysw
[root@operation tmp]# sed '2 i\\ysw' test2 也可以写成 sed '2iysw' test2
yinshiwei1
ysw
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
123456

#在包含2的内容后面一行添加ysw
[root@operation tmp]# sed '/2/aysw' test2
yinshiwei1
yinshiwei2
ysw
yinshiwei3
yinshiwei4
yinshiwei5
123456
ysw

#在包含6的内容上一行添加ysw
[root@operation tmp]# sed '/6/iysw' test2
yinshiwei1
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
ysw
123456

#最后一行添加ysw
[root@operation tmp]# sed '$a ysw' test2
yinshiwei1
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
123456

ysw
替换
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
#这里用到 c和s 和y
#将包含6的行替换成ysw
[root@operation tmp]# sed '/6/cysw' test2
yinshiwei1
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
ysw

#将y开头的行替换成ysw
[root@operation tmp]# sed '/^y/cysw' test2
ysw
ysw
ysw
ysw
ysw
123456

#将2到7行的内容替换为ysw
[root@operation tmp]# sed '2,7c ysw' test2
yinshiwei1
ysw
#sed 's/原字符串/新字符串/' 文件 #只替换每一行匹配到的第一个字符
#将每行第一个i替换为ysw
[root@operation tmp]# sed 's/i/ysw/' test2
yyswnshiwei1
yyswnshiwei2
yyswnshiwei3
yyswnshiwei4
yyswnshiwei5
123456

#sed 's/原字符串/新字符串/g' 文件 #g表示全部替换
#将所有i替换为ysw
[root@operation tmp]# sed 's/i/ysw/g' test2
yyswnshyswweysw1
yyswnshyswweysw2
yyswnshyswweysw3
yyswnshyswweysw4
yyswnshyswweysw5
123456

#sed 's/原字符串/新字符串/ng' 文件 #从每一行的第n个开始匹配,替换后面所有匹配到的字符
#从第二个i开始匹配,这里去掉g表示仅替换匹配到的第二个字符,加上表示从匹配到的第二个字符开始替换后面所有匹配到的字符
[root@operation tmp]# sed 's/i/ysw/2g' test2
yinshyswweysw1
yinshyswweysw2
yinshyswweysw3
yinshyswweysw4
yinshyswweysw5
123456

#字符转换,将123分别转换为ysw。s指令是将一个字符串替换为一个另字符串,y命令是一个一个字符的转换,且支持同时转换多个字符串。
[root@operation tmp]# sed 'y/123/ysw/' test2
yinshiweiy
yinshiweis
yinshiweiw
yinshiwei4
yinshiwei5
ysw456

删除
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#删除 d
#删除y开头的行
[root@operation tmp]# sed '/^y\+/d' test2
123456

也可以用s替换写成
#删除文件所有内容(无输出返回)
[root@operation tmp]# sed 'd' test2
#删除2-7行的内容
[root@operation tmp]# sed '2,7 d' test2
yinshiwei1
#删除带有1的行
[root@operation tmp]# sed '/1/d' test2
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5

#删除空白行
[root@operation tmp]# sed '/^$/d' test2
yinshiwei1
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
123456
打印
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
#打印用p,但一般会配合-n使用,-n的效果是显示处理后的结果,如果不加-n的话就会打印出你想要的行数然后再打印出该文本所有内容,如下
#打印第一行的内容
[root@operation tmp]# sed '1 p' test2
yinshiwei1
yinshiwei1
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
123456

#加上-n的效果
[root@operation tmp]# sed -n '1 p' test2
yinshiwei1

#打印1-3行内容
[root@operation tmp]# sed -n '1,3 p' test2
yinshiwei1
yinshiwei2
yinshiwei3
#打印除1-3行以外的内容
[root@operation tmp]# sed -n '1,3! p' test2
yinshiwei4
yinshiwei5
123456

#打印包含1的行
[root@operation tmp]# sed -n '/1/p' test2
yinshiwei1
123456

命令参数用例

-e

-e 可以同时在一条命令里面执行多个操作

1
2
3
4
5
6
7
8
9
#将1和2替换成%,分开为两个替换操作参数
[root@operation tmp]# sed -e 's/1/%/g' -e 's/2/%/g' test2 #也可以写成 sed 's/1/%/g;s/2/%/g' test2
yinshiwei%
yinshiwei%
yinshiwei3
yinshiwei4
yinshiwei5
%%3456

-f

从文件读取操作参数

1
2
3
4
5
6
7
8
9
[root@operation tmp]# echo 's/1/%/g;s/2/%/g'  > sed.txt
[root@operation tmp]# sed -f sed.txt test2
yinshiwei%
yinshiwei%
yinshiwei3
yinshiwei4
yinshiwei5
%%3456

-h

查看帮助手册,等同于 sed –help

-n

只显示匹配处理的行(否则会输出所有)(也就是关闭默认的输出)

1
2
3
4
5
6
7
8
9
-n一般配合操作参数里面的p使用,首先-n会关闭输出,p则会打印匹配到的行。效果如下
#将1替换为%
[root@operation tmp]# sed -n 's/1/%/p' test2
yinshiwei%
%23456
如果不加p则无显示,如下
[root@operation tmp]# sed -n 's/1/%/' test2


-i

我们从上面已经知道sed不会直接修改源文件,一般情况是做了字符处理后将处理后的该文件输出到屏幕,而-i的功能相当于将这个操作写入到文件中

1
2
3
4
5
6
7
8
9
10
11
例如这里还是将1替换为%,我们加上-i
[root@operation tmp]# sed -i 's/1/%/' test2
[root@operation tmp]# cat test2
yinshiwei%
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
%23456

#这个文件直接写入了我们的操作,这个操作是不会输出到屏幕的,直接将内容重定向到文件。
-i.bak

功能和i一样,但会把源文件保存为.bak格式,相当于备份原文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@operation tmp]# sed -i.bak 's/1/%/' test2
[root@operation tmp]# cat test2.bak
yinshiwei1
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
123456

[root@operation tmp]# cat test2
yinshiwei%
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
%23456

-r

使用扩展正则表达式匹配

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
用扩展正则表达式和不用的区别大致如下
[root@asmboy shell]# echo 202.038.008.090|sed 's/0\+\([0-9]\+\)/\1/g'
22.38.8.90
[root@asmboy shell]# echo 202.038.008.090|sed -r 's/0+([0-9]+)/\1/g'
22.38.8.90
如果不用扩展正则的话,有些字符需要做\转换才能使用。总之一句话,想少用\  那你就用-r。
#例子2:
#将yinshiwei替换为空字符串(删除yinshiwei)
[root@operation tmp]# sed -r 's/^([a-z]{9})//' test2.bak
1
2
3
4
5
123456
#如果要换成非扩展正则,则如下
[root@operation tmp]# sed 's/^\([a-z]\{9\}\)//' test2.bak
1
2
3
4
5
123456

#如果不加\ 的话,如下
[root@operation tmp]# sed 's/^([a-z]{9})//' test2.bak
yinshiwei1
yinshiwei2
yinshiwei3
yinshiwei4
yinshiwei5
123456

#由上面结果可以发现,输出的内容是源文件内容,所以正则没有匹配到,因为字符没有做转义。

awk

简介

awk是一款文本处理解释器,也是linux中最强大的文本处理器。

它与sed命令有一些不同,sed常用于一整行的处理,二awk比较倾向于将一行分成多个“字段”然后再进行处理,awk命令的过程中,可用使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”;还可以进行简单的数学运算。

语法

1
2
3
awk [选项参数] 'script' var=value file(s) #命令行模式

awk [选项参数] -f scriptfile var=value file(s) #脚本模式

命令行参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
-F fs or --field-separator fs
指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F:。
-v var=value or --asign var=value
赋值一个用户定义变量。
-f scripfile or --file scriptfile
从脚本文件中读取awk命令。
-mf nnn and -mr nnn
对nnn值设置内在限制,-mf选项限制分配给nnn的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样,所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印简短的版权信息。
-W help or --help, -W usage or --usage
打印全部awk选项和每个选项的简短说明。
-W lint or --lint
打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old
打印关于不能向传统unix平台移植的结构的警告。
-W posix
打开兼容模式。但有以下限制,不识别:/x、函数关键字、func、换码序列以及当fs是一个空格时,将新行作为一个域分隔符;操作符**和**=不能代替^和^=;fflush无效。
-W re-interval or --re-inerval
允许间隔正则表达式的使用,参考(grep中的Posix字符类),如括号表达式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作为源代码,可与-f命令混用。
-W version or --version
打印bug报告信息的版本。

基本用法

1
2
3
awk [选项参数] 'script' var=value file(s) 
script一般以print用的多,以{}括起来,其中$1,$2以此为第一列,第二列,且默认不适用-F指定分隔符的时候会以空格来作为分割符。
$0会打印所有列

以空格为分隔符,输出列

1
2
3
4
5
6
7
8
9
10
[root@operation tmp]# cat test1 
a b c d
1 2 3 4
! @ # $
[root@operation tmp]# awk '{print $1,$4}' test1
a d
1 4
! $

#不指定任何分隔符则默认为空格作为分隔符

以指定字符为分割符,输出列

1
2
3
4
5
6
7
8
9
10
11
[root@operation tmp]# awk -F: '{print $1,$4}' /etc/passwd | tail -10
postfix 89
chrony 996
rsync 1000
mysql 27
nginx 993
tss 59
rpc 32
rpcuser 29
nfsnobody 65534
ceph 167

同时指定多个分隔符

1
2
3
4
5
6
7
8
9
10
11
12
[root@operation tmp]# cat test1 
Grape(100g)1980
raisins(500g)1990
plum(240g)1997
apricot(180g)2005
nectarine(200g)2008
[root@operation tmp]# awk -F '[()]' '{print $1, $2, $3}' test1
Grape 100g 1980
raisins 500g 1990
plum 240g 1997
apricot 180g 2005
nectarine 200g 2008

给打印列的赋值

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@operation tmp]# cat test1 
Grape(100g)1980
raisins(500g)1990
plum(240g)1997
apricot(180g)2005
nectarine(200g)2008
[root@operation tmp]# awk -F '[()]' '{$2 = "999G";print $0}' test1
Grape 999G 1980
raisins 999G 1990
plum 999G 1997
apricot 999G 2005
nectarine 999G 2008

在参数列表中加入字符串或者转义字符

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[root@operation tmp]# cat test1 
a b c d
1 2 3 4
! @ # $
[root@operation tmp]# awk '{print $1 "\n" $2 "\n" $3}' test1
a
b
c
1
2
3
!
@
#

NR和NF(行和列)

打印每一行的行号和列数

1
2
3
4
5
6
7
8
[root@operation tmp]# cat test1 
a b c d
1 2 3 4
! @ # $
[root@operation tmp]# awk '{print $0,'\t',NR,NF}' test1
a b c d 1 4
1 2 3 4 2 4
! @ # $ 3 4

截取某行(NR)的中的某列

1
2
3
4
5
6
7
8
[root@operation tmp]# cat test1 
a b c d
1 2 3 4
! @ # $
[root@operation tmp]# awk 'NR==2{print $0}' test1 #NR==2表示第二行,$0为所有,则为第二行所有数据
1 2 3 4
[root@operation tmp]# awk 'NR==2{print $1}' test1
1

NF=n,表示总共打印n列

1
2
3
4
5
6
7
8
[root@operation tmp]# awk 'NF=2{print $0}' test1
a b
1 2
! @
[root@operation tmp]# awk 'NF=3{print $0}' test1
a b c
1 2 3
! @ #

运算符

运算符 描述
= += -= *= /= %= ^= **= 赋值
?: C条件表达式
|| 逻辑或
&& 逻辑与
~ 和 !~ 匹配正则表达式和不匹配正则表达式
< <= > >= != == 关系运算符
空格 连接
+ - 加,减
* / % 乘,除与求余
+ - ! 一元加,减和逻辑非
^ *** 求幂
++ – 增加或减少,作为前缀或后缀
$ 字段引用
in 数组成员

算术运算符:+,-,*,/,%

1
2
3
4
5
6
7
8
9
10
11
12
[root@oldboy test]# awk 'BEGIN{a=50;b=20;print "(a+b)=",(a+b)}'        
(a+b)= 70
[root@oldboy test]# awk 'BEGIN{a=50;b=20;print("(a+b)=",(a+b))}'
(a+b)= 70
[root@oldboy test]# awk 'BEGIN{a=50;b=20;print "(a-b)=",(a-b)}'
(a-b)= 30
[root@oldboy test]# awk 'BEGIN{a=50;b=20;print "(a*b)=",(a*b)}'
(a*b)= 1000
[root@oldboy test]# awk 'BEGIN{a=50;b=20;print "(a/b)=",(a/b)}'
(a/b)= 2.5
[root@oldboy test]# awk 'BEGIN{a=50;b=20;print "(a%b)=",(a%b)}'
(a%b)= 10

递增和递减运算符++,–

前增
1
2
[root@oldboy test]# awk 'BEGIN { a = 10; b = ++a; printf "a = %d, b = %d\n", a, b }'
a = 11, b = 11
前减
1
2
3
4
5
6
7
# --a表示a=a-1,++a表示a=a+1[root@oldboy ~]# awk 'BEGIN{a=10;print a,--a}'
10 9
[root@oldboy ~]# awk 'BEGIN{a=10;print a,--a,--a}'
10 9 8
[root@oldboy ~]# awk 'BEGIN{a=10;print a,--a,--a,++a}'
10 9 8 9
[root@oldboy ~]# awk 'BEGIN{a=10;print a,--a,--a,++a,++a}'
后递增
1
2
3
4
5
6
# 递增操作数1的值,首先会返回操作数的值,第一次a++返回原值[root@oldboy ~]# awk 'BEGIN{a=10;print a++}'  
10# 先返回原值,再递增1
[root@oldboy ~]# awk 'BEGIN{a=10;print a++,a++}'
10 11
[root@oldboy ~]# awk 'BEGIN{a=10;print a++,a++,a++}'
10 11 12
后递减
1
2
[root@oldboy ~]# awk 'BEGIN{a=10;print a--,a--,a--}'
10 9 8

赋值运算符=,+=,-=,*=,/=,%=,^=,**=

1
2
3
4
5
6
7
8
9
10
11
12
[root@oldboy ~]# awk 'BEGIN{a=10;b=10;if (a==b) print( "a==b")}'
a==b
[root@oldboy ~]# awk 'BEGIN{a=10;b=20;if (a != b) print( "a != b")}'
a != b
[root@oldboy ~]# awk 'BEGIN{a=10;b=20;if (a < b) print( "a < b")}'
a < b
[root@oldboy ~]# awk 'BEGIN{a=10;b=20;if (a <= b) print( "a <= b")}'
a <= b
[root@oldboy ~]# awk 'BEGIN{a=10;b=20;if (b > a ) print( "b > a ")}'
b > a
[root@oldboy ~]# awk 'BEGIN{a=10;b=10;if (a >= b ) print( "a >= b ")}'
a >= b

逻辑运算符 ||, &&

1
2
3
4
5
6
7
8
[root@oldboy ~]# awk 'BEGIN{num=5;if (num>=0 && num <= 7) printf "%d is in octal format\n",num}'
5 is in octal format

[root@oldboy ~]# awk 'BEGIN{ch="\n";if (ch == " " || ch == "\t" || ch == "\n" ) print "Current character is whitespace."}'
Current character is whitespace.

[root@oldboy ~]# awk 'BEGIN {name=""; if (! length(name)) print "name is empty string."}'
name is empty string.

三元运算符

三元运算轻松实现条件表达式。

语法:

  condition expression ? statement1: statement2

当条件表达式返回值为true时,statement1被执行,否则执行statement2

1
2
[root@oldboy ~]# awk 'BEGIN{a=10;b=10;(a>b) ? max=a : max=b; print "Max =",max}'
Max = 10

一元运算符:一元加法运算,一元减法运算

一元加法运算,由+表示,通过+1乘以单操作数。

一元减法运算,由-表示,通过-1乘以单个操作数。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# a = +a 即 a=a*1
[root@oldboy ~]# awk 'BEGIN{a=-10; print a= +a}'
-10

# -10*1=-10; -10 *1 =-10
[root@oldboy ~]# awk 'BEGIN{a=-10; print a= +a,a = +a}'
-10 -10

# -10 + (-10)=-20
[root@oldboy ~]# awk 'BEGIN{a=-10; print a= +a,a = +a+a}'
-10 -20

# -10 * -1 = 10
[root@oldboy ~]# awk 'BEGIN{a=-10; print a= +a,a = -a}'
-10 10

指数运算符 ^, **

1
2
3
4
[root@oldboy ~]# awk 'BEGIN{a=10;a=a^2;print a}'  
100
[root@oldboy ~]# awk 'BEGIN{a=10;a=a**2;print a}'
100

字符串连接运算符

空格是字符串连接运算符,它能合并两个字符串。

1
2
[root@oldboy ~]# awk 'BEGIN{str1="Hello, ";str2="World";str3 = str1 str2;print str3}'      
Hello, World

数组成员运算符 in

通过in表示。在访问数组元素时使用。

1
2
3
4
[root@oldboy ~]# awk 'BEGIN{arr[0]=1;arr[1]=2;arr[2]=3;for (i in arr) printf "arr[%d]=%d\n",i,arr[i]}'
arr[0]=1
arr[1]=2
arr[2]=3

正则表达式运算符 ~, !~

  • ~ 匹配
  • !~ 不匹配
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@oldboy ~]# awk '$0 ~ 99' /etc/passwd
nobody:x:99:99:Nobody:/:/sbin/nologin
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
php001:x:819:999::/home/php001:/bin/bash
php002:x:820:999::/home/php002:/bin/bash
php003:x:821:999::/home/php003:/bin/bash
php004:x:822:999::/home/php004:/bin/bash
php005:x:823:999::/home/php005:/bin/bash
[root@oldboy ~]# awk '$0 ~ /99/' /etc/passwd
nobody:x:99:99:Nobody:/:/sbin/nologin
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
php001:x:819:999::/home/php001:/bin/bash
php002:x:820:999::/home/php002:/bin/bash
php003:x:821:999::/home/php003:/bin/bash
php004:x:822:999::/home/php004:/bin/bash
php005:x:823:999::/home/php005:/bin/bash

# 不匹配含有数字0-8的
[root@oldboy ~]# awk '$0 !~ /[0-8]/' /etc/passwd
nobody:x:99:99:Nobody:/:/sbin/nologin

BEGIN和END

在awk中,BEGIN只在开始处理之前运行一次,END只在结束处理之后运行一次,其余正常的文本行处理过程不运行。

1
awk '[BEGIN]{..}{..}[END{..}]' file
1
2
3
4
5
6
7
8
9
10
11
[root@operation tmp]# cat test1 
a b c d
1 2 3 4
! @ # $

[root@operation tmp]# awk 'BEGIN {print "开始"} {print $0} END {print "结束"}' test1
开始
a b c d
1 2 3 4
! @ # $
结束

awk脚本

假设有这么一个文件(学生成绩表):

1
2
3
4
5
6
$ cat score.txt
Marry 2143 78 84 77
Jack 2321 66 78 45
Tom 2122 48 77 71
Mike 2537 87 97 95
Bob 2415 40 57 62

我们的 awk 脚本如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
math = 0
english = 0
computer = 0

printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

我们来看一下执行结果:

1
2
3
4
5
6
7
8
9
10
11
$ awk -f cal.awk score.txt
NAME NO. MATH ENGLISH COMPUTER TOTAL
---------------------------------------------
Marry 2143 78 84 77 239
Jack 2321 66 78 45 189
Tom 2122 48 77 71 196
Mike 2537 87 97 95 279
Bob 2415 40 57 62 159
---------------------------------------------
TOTAL: 319 393 350
AVERAGE: 63.80 78.60 70.00