友情提醒：本博文涉及的内容中涉及到的系统实践操作在Centos6.5上实现,GNU/Linux简称为linux，GNU/grep简称为grep，GNU/sed简称为sed，GNU/gawk简称为awk。

-------------------------------------------------楔子---------------------------------------------

小酒馆一角落，一胖三瘦围着方桌坐定，大快耳颐后正在唠嗑。

瘦子甲：“胖子，为什么要把正则表达式和linux联系在一起？”

胖子：“因为下面的内容是在linux平台上正则表达式的简单使用。”

瘦子乙：“你认为linux平台上正则表达式很重要?”

胖子：“重要性无需质疑，linux的两大特性：①一切皆文件。②使用文本文件保存服务配置。就决定了正则表达式和它的三个好×××，grep/sed/awk的组合在处理文件搜索，替换，生成报告文件时，无往而不利。”

瘦子丙：“胖子，你再不开始讲正题，这顿饭你请。”

胖子：“容我在啰嗦一句，linux上正则表达式的使用，是个被写烂的题材，下文若有雷同，纯属巧合，牛人请自闪，约架请先向公安备案。”

----------------------------------正文----------------------------------------------  

请先允许我简要介绍下grep这个工具，不然正则表达式没法演示。

1. Grep是个搜索工具，可根据使用者定义的PATTEN，逐行搜索文本或者管道传递的数据，若行中有匹配PATTEN模式的字符串，则该行被打印出来(grep默认行为)。这个PATTEN可以是字符串，或者是使用正则表达式元字符组合的模式。

例如：在/etc/password文件中搜索含有root字符串的行。

[lijun@Test02 test]$ grep --color=auto 'root' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[lijun@Test02 test]$

看是不是很方便的就将含有root字符串的行搜索出来了？！

2.grep的语法格式：

grep [option] 'PATTEN' [FILE...]

常用选项：

--color=auto ：使用该选项可使被匹配到的字符串变色显示。

-E：使用扩展的正则表达式。

-o: 只显示匹配模式的字符串，而不显示该行其他的内容。

-v：反向显示，显示那些不含匹配模式字符串的行。

-i：匹配时忽略字符大小写。

-B #：#是数字，显示匹配的行及改行上面的#行。

-C #：#是数字，显示匹配的行及改行上下的#行。

-A #：#是数字，显示匹配的行及改行下面的#行。

*其它的选项请自行使用$man grep 查看。

*模式PATTEN建议使用'' 号或者""号括起来

举例：

生成测试文件及内容：

[lijun@Test02 test]$ cat<<EOF>t1file.txt
> who are you?
> My name is Brad Pitt.
> Your phone number is:135456789
> yes,sir
> EOF

[lijun@Test02 test]$

2.1)显示grep默认行为：搜索含有you字符串的行

[lijun@Test02 test]$ grep 'you' t1file.txt
who are you?
[lijun@Test02 test]$

默认情况下只显示了含有you的行，不含有you字符串的行不显示，且you没有变色。

2.2)实行匹配字符串变色显示：搜索含有you字符串的行

[lijun@Test02 test]$ grep --color=auto 'you' t1file.txt
who are you?
[lijun@Test02 test]$
这下看的可以明显清晰易辨别。

2.3）忽略字符大小写：搜索含有you字符串的行

[lijun@Test02 test]$ grep -i --color=auto 'you' t1file.txt
who are you?
Your phone number is:135456789
[lijun@Test02 test]$

使用选项-i后，搜索范围又一步加大了,You也被匹配到了,同2.2)相比。

2.3)测试-v：搜索不含有you字符串的行

[lijun@Test02 test]$ grep -v -i 'you' t1file.txt
My name is Brad Pitt.
yes,sir
[lijun@Test02 test]$

[lijun@Test02 test]$ grep -v 'you' t1file.txt
My name is Brad Pitt.
Your phone number is:135456789
yes,sir
[lijun@Test02 test]$

为了让看得清使用的选项个数，这里没有将-v和-i合并使用。

2.4)测试下选项 -C#：显示含有name字符串行，及该行上下各1行

[lijun@Test02 test]$ grep -C1 --color=auto 'name' t1file.txt
who are you?
My name is Brad Pitt.
Your phone number is:135456789
[lijun@Test02 test]$

-A#,-B#同-C#使用方式类同,只是显示的行不同，这里就不测试了。

2.5）测试-E选项：含有字符串you或者You的行

[lijun@Test02 test]$ grep -E --color=auto '(y|Y)ou' t1file.txt
who are you?
Your phone number is:135456789
[lijun@Test02 test]$

*看不懂(y|Y),没关系,因为你还没学正则表达式,看完下面的就会了.

3.正则表达式

正则表达式，又称：Regular Expression，RE。计算机科学中的一个概念，它由一堆元字符组成，
再配合人类的思维，可以使用有限的元字符组合，表达一系列符合某些语法模式的字符串，在文本处理
领域中可用来匹配特定模式的字符串，同grep/sed/awk这些工具组合起来使用,可实现文本文件的检索,替换,格式化显示等功能.


在以字符界面为主的linux服务器维护领域,服务的配置是文本文件保存,各种信息的输出都可转变为文本格式出现在维护人员的终端上,例如下面的例子:

例子1)查看22端口是否开启:

[lijun@Test01 ~]$ sudo netstat -tlpn | grep '.*:22'
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      1405/sshd           
tcp        0      0 :::22                       :::*                        LISTEN      1405/sshd           
[lijun@Test01 ~]$


例子2)在/etc/目录下寻找是否有个以udev命名的目录

[lijun@Test01 ~]$ ls -l /etc/ | fgrep 'udev'
drwxr-xr-x.  4 root root   4096 Apr  4 17:01 udev
[lijun@Test01 ~]$

*这比find查找快,比ls /etc 然后一个一个的看更快.


例子3)查看下当前ftp server配置中匿名用户登的权限设定

[lijun@Test01 ~]$ sudo grep --color '^anon' /etc/vsftpd/vsftpd.conf
anonymous_enable=YES
anon_upload_enable=NO
[lijun@Test01 ~]$


例子4)统计并查看当前进程中http server的服务进程:

[lijun@Test01 ~]$ sudo ps -ef |grep 'httpd$'
root     47054     1  0 21:48 ?        00:00:00 /usr/sbin/httpd
apache   47056 47054  0 21:48 ?        00:00:00 /usr/sbin/httpd
apache   47057 47054  0 21:48 ?        00:00:00 /usr/sbin/httpd
apache   47058 47054  0 21:48 ?        00:00:00 /usr/sbin/httpd
apache   47059 47054  0 21:48 ?        00:00:00 /usr/sbin/httpd
apache   47060 47054  0 21:48 ?        00:00:00 /usr/sbin/httpd
apache   47061 47054  0 21:48 ?        00:00:00 /usr/sbin/httpd
apache   47062 47054  0 21:48 ?        00:00:00 /usr/sbin/httpd
apache   47063 47054  0 21:48 ?        00:00:00 /usr/sbin/httpd
[lijun@Test01 ~]$ sudo ps -ef |grep 'httpd$'  |wc -l
9
[lijun@Test01 ~]$

这些例子不正是说明正则表达式配合工具文本信息处理方面的强大吗?!


正则表达式分为：基本正则表达式和扩展正则表达式。

基本正则表达式中元字符：

=======匹配字符，数字和符号=========

.:表示任意单个字符

eg:以b开头h结尾中间任意2个字符的,可以表示为'b..h'


[ ]:表示指定范围内的任意单个字符

eg:数字[0-9],小写字母[a-z],大写字母[A-Z]


[^ ]:表示指定范围外的任意单个字符

eg: 非数字的任意字符[^0-9]


[[:digit:]] :0到9数字中任一个,等同于[0-9]

[[:lower:]] :小写字母中任一个,等同于[a-z]

[[:upper:]] :大写字母中任一个,等同于[A-Z]

[[:alpha:]] :大小写字母中任一个,等同于[a-zA-Z]

[[:alnum:]] :字母数字中任一个,等同于[0-9a-zA-Z]

[[:punct:]] :标点符合中任一个

[[:space:]] :任一空白字符

=======匹配字符出现的次数===========

\*:左边的字符出现任意次,和上面的 . 配合使用 .* 可表示任意长度任意字符

\?:左边的字符出现0次或1次

eg:模式 'book\?' 可匹配 'boo' 和 'book'

\+:左边的字符出现至少1次

\{m,n\}:左边的字符出现m到n次

\{m,\}:左边的字符出现至少m次

\{0,n\}:左边的字符出现至多n次

=======锚定位置=======================

^:表示右边的字符出现在行首

eg:以root开头的行  '^root'

$:表示左边的字符出现在行尾

eg:以nologin结尾的行   'nologin$'

\< ：表示右边的字符出现在单词首部，可使用\b代替

eg:表示b为词首后跟3个任意字符的词  '\<b...

\> : 表示左边的字符出现在单词尾部，可使用\b代替

\<WORD\>:绝对匹配WORD的单词

eg:匹配单词root \<root\>

========分组与引用====================

\(PATTEN\): PATTEN当作一个整体出现

\(P1\).....\1....：\1的位置出现一个同前边P1一模一样的字符


举例：

3.1）行首匹配符号^:显示/etc/passwd文件中root位于行首的行

[lijun@Test02 test]$ grep --color '^root' /etc/passwd
root:x:0:0:root:/root:/bin/bash
[lijun@Test02 test]$
             3.2)行尾匹配符$:显示/etc/passwd文件中bash位于行尾的行

[lijun@Test02 test]$ grep --color 'bash$' /etc/passwd
root:x:0:0:root:/root:/bin/bash
lijun:x:500:500:lijun,115,110,119:/home/lijun:/bin/bash

[lijun@Test02 test]$

3.3)锚定词首符\< 锚定词尾符\> ：在/etc/passwd 文件中显示包含以r开头，t结尾，中间2个任意字符的单词的行。

[lijun@Test02 test]$ grep --color=auto '\<r..t\>' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[lijun@Test02 test]$

3.4）显示.与*的组合使用以及贪婪模式: 在/etc/passwd 文件中显示包含以r开头，t结尾，中间任意字符的单词的行。

[lijun@Test02 test]$ grep --color=auto '\<r.*t\>' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[lijun@Test02 test]$

在显示的第一行中匹配那么长，是因为正则表达式的贪婪模式所致。

3.5）范围符号[]的使用：显示/proc/meminfo中以s开头的行

[root@Test02 tt]# grep --color=auto '^[sS]' /proc/meminfo
SwapCached:            0 kB
SwapTotal:       1063928 kB
SwapFree:        1063928 kB
Shmem:               172 kB
Slab:             101220 kB
SReclaimable:      46408 kB
SUnreclaim:        54812 kB
[root@Test02 tt]# grep -i  '^s' /proc/meminfo
SwapCached:            0 kB
SwapTotal:       1063928 kB
SwapFree:        1063928 kB
Shmem:               172 kB
Slab:             101228 kB
SReclaimable:      46412 kB
SUnreclaim:        54816 kB

3.6）分组和引用演示：搜索下面文档每行中均有以l开头，e结尾中间任意字符的单词，要求行首同行尾单词相同的行

[root@Test02 tt]# cat 3.txt
she is my love,isn't your love
I like her leg,but she is your love
she is not my love,but her phone as my like
I like dog,but she like cat

[root@Test02 tt]# grep --color '\(\<l..e\>\).*\1' 3.txt
she is my love,isn't your love
I like dog,but she like cat

行中的那些非l开头e结尾的单词被模式 .* 匹配无法除去


扩展的正则表达式：

使用扩展正则表达式使用grep -E 或者 egrep


=======匹配字符，数字和符号=========

与基本正则表达式相同

=======锚定位置=======================

与基本正则表达式相同

=======匹配字符出现的次数===========

*:左边的字符出现任意次

?:左边的字符出现0次或1次

+:左边的字符出现至少1次

{m,n}:左边的字符出现m到n次

{m,}:左边的字符出现至少m次

{0,n}:左边的字符出现至多n次

同基本正则表达式相比不再需要 转义符 \  转义

========分组与引用====================

(PATTEN): PATTEN当作一个整体出现

(P1).....\1....：\1的位置出现一个同前边P1一模一样的字符

========选择======================

a|b:表示a或者b

例子：

3.7)写个模式匹配下列邮件地址：

[root@Test02 tt]# cat 2.txt
linuxedu@126.com
LINUXEDU@qq.com
171_7717@qq.com
zhijun-L@163.com is j.com
This is my email:zhijun-L@163.com,and this is my http address:http://www.sina.com


[root@Test02 tt]# grep -i -E --color=auto '\<[[:alnum:]]+(-|_){0,}[[:alnum:]]{0,}\>\@\<[[:alnum:]]+\>\.com' 2.txt
linuxedu@126.com
LINUXEDU@qq.com
171_7717@qq.com
zhijun-L@163.com is j.com
This is my email:zhijun-L@163.com,and this is my http address:http://www.sina.com
[root@Test02 tt]#

3.8)写个模式匹配ifconfig eth1中出现的数字：

[root@Test02 tt]# ifconfig eth1|grep --color=auto -E '[0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5]'
eth1      Link encap:Ethernet  HWaddr 00:0C:29:97:01:8B  
          inet addr:172.16.200.2  Bcast:172.16.200.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe97:18b/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:12535 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4685 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1144613 (1.0 MiB)  TX bytes:569776 (556.4 KiB)
[root@Test02 tt]#


3.9）写个模式匹配ifconfig eth1中出现的ip地址和掩码

[root@Test02 tt]# ifconfig eth1|grep --color=auto  -E '(\<([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>\.){3}\<([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>'
          inet addr:172.16.200.2  Bcast:172.16.200.255  Mask:255.255.255.0


好吧，就这些了，上面就是常用到的正则表达式和grep的用法，更详细的请通过书籍，互联网等查询学习。

感谢老婆送的棒棒糖，让我支撑这写完这篇小文。

----------------------------------小结-----------------------------------------------

说完上面这些，胖子瞟了一眼在座的3个同伴，看着他们发发蔫的眼神，胖子心中想到：这比诱惑术还好用？下次大餐时，该多准备些awk,sed配合正则表达式的用法，这样以来就不用自己买单了，嘎嘎。

便向店小二喊道：“座上的3个吃完买单”。变抽身翩然而去。