Linux Shell常用技巧(一)

winston

1. 一.    特殊文件: /dev/null和/dev/tty
3.     Linux系统提供了两个对Shell编程非常有用的特殊文件，/dev/null和/dev/tty。其中/dev/null将会丢掉所有写入它的数据，换句换说，当程序将数据写入到此文件时，会认为它已经成功完成写入数据的操作，但实际上什么事都没有做。如果你需要的是命令的退出状态，而非它的输出，此功能会非常有用，见如下Shell代码：
4.     /> vi test_dev_null.sh
5.    
6.     #!/bin/bash
7.     if grep hello TestFile > /dev/null
8.     then
9.         echo "Found"
10.     else
11.         echo "NOT Found"
12.     fi
13.     在vi中保存并退出后执行以下命令：
14.     /> chmod +x test_dev_null.sh  #使该文件成为可执行文件
15.     /> cat > TestFile
16.     hello my friend
17.     CTRL + D                             #退出命令行文件编辑状态
18.     /> ./test_dev_null.sh
19.     Found                                 #这里并没有输出grep命令的执行结果。
20.     将以上Shell脚本做如下修改：
21.     /> vi test_dev_null.sh
22.    
23.     #!/bin/bash
24.     if grep hello TestFile
25.     then
26.         echo "Found"
27.     else
28.         echo "NOT Found"
29.     fi
30.     在vi中保存退出后，再次执行该脚本：
31.     /> ./test_dev_null.sh
32.     hello my friend                      #grep命令的执行结果被输出了。
33.     Found
34.    
35.     下面我们再来看/dev/tty的用途。当程序打开此文件是，Linux会自动将它重定向到一个终端窗口，因此该文件对于读取人工输入时特别有用。见如下Shell代码：
36.     /> vi test_dev_tty.sh
37.    
38.     #!/bin/bash
39.     printf "Enter new password: "    #提示输入
40.     stty -echo                               #关闭自动打印输入字符的功能
41.     read password < /dev/tty         #读取密码
42.     printf "\nEnter again: "             #换行后提示再输入一次
43.     read password2 < /dev/tty       #再读取一次以确认
44.     printf "\n"                               #换行
45.     stty echo                                #记着打开自动打印输入字符的功能
46.     echo "Password = " $password #输出读入变量
47.     echo "Password2 = " $password2
48.     echo "All Done"
50.     在vi中保存并退出后执行以下命令：
51.     /> chmod +x test_dev_tty.sh #使该文件成为可执行文件
52.     /> ./test_dev_tty
53.     Enter new password:             #这里密码的输入被读入到脚本中的password变量
54.     Enter again:                          #这里密码的输入被读入到脚本中的password2变量
55.     Password = hello
56.     Password2 = hello
57.     All Done
59. 二.    简单的命令跟踪:
61.     Linux Shell提供了两种方式来跟踪Shell脚本中的命令，以帮助我们准确的定位程序中存在的问题。下面的代码为第一种方式，该方式会将Shell脚本中所有被执行的命令打印到终端，并在命令前加"+"：加号的后面还跟着一个空格。
62.     /> cat > trace_all_command.sh
63.     who | wc -l                          #这两条Shell命令将输出当前Linux服务器登录的用户数量
64.     CTRL + D                            #退出命令行文件编辑状态
65.     /> chmod +x trace_all_command.sh
66.     /> sh -x ./trace_all_command.sh #Shell执行器的-x选项将打开脚本的执行跟踪功能。
67.     + wc -l                               #被跟踪的两条Shell命令
68.     + who
69.     2                                       #实际输出结果。
70.     Linux Shell提供的另一种方式可以只打印部分被执行的Shell命令，该方法在调试较为复杂的脚本时，显得尤为有用。
71.     /> cat > trace_patial_command.sh
72.     #! /bin/bash
73.     set -x                                #从该命令之后打开跟踪功能
74.     echo 1st echo                     #将被打印输出的Shell命令
75.     set +x                               #该Shell命令也将被打印输出，然而在该命令被执行之后，所有的命令将不再打印输出
76.     echo 2nd echo                    #该Shell命令将不再被打印输出。
77.     CTRL + D                           #退出命令行文件编辑状态
78.     /> chmod +x trace_patial_command.sh
79.     /> ./trace_patial_command.sh
80.     + echo 1st echo
81.     1st echo
82.     + set +x
83.     2nd echo
84.    
85. 三.    正则表达式基本语法描述:
87.     Linux Shell环境下提供了两种正则表达式规则，一个是基本正则表达式(BRE)，另一个是扩展正则表达式(ERE)。
88.     下面是这两种表达式的语法列表，需要注意的是，如果没有明确指出的Meta字符，其将可同时用于BRE和ERE，否则将尽适用于指定的模式。
89. 正则元字符        模式含义        用例
90. \        通常用于关闭其后续字符的特殊意义，恢复其原意。        \(...\)，这里的括号仅仅表示括号。
91. .        匹配任何单个字符。        a.b，将匹配abb、acb等
92. *        匹配它之前的0-n个的单个字符。        a*b，将匹配ab、aab、aaab等。
93. ^        匹配紧接着的正则表达式，在行的起始处。        ^ab，将匹配abc、abd等，但是不匹配cab。
94. nbsp;       匹配紧接着的正则表达式，在行的结尾处。        ab$，将匹配ab、cab等，但是不匹配abc。
95. [...]        方括号表达式，匹配其内部任何字符。其中-表示连续字符的范围，^符号置于方括号里第一个字符则有反向的含义，即匹配不在列表内(方括号)的任何字符。如果想让]和-表示其原意，需要将其放置在方括号的首字符位置，如[]ab]或[-ab]，如这两个字符同时存在，则将]放置在首字符位置，-放置在最尾部，如[]ab-]。        [a-bA-Z0-9!]表示所有的大小写字母，数字和感叹号。[^abc]表示a、b、c之外的所有字符。[Tt]om，可以匹配Tom和tom。
96. \{n,m\}        区间表达式，匹配在它前面的单个字符重复出现的次数区间，\{n\}表示重复n次；\{n,\}表示至少重复n次；\{n,m\}表示重复n到m次。        ab\{2\}表示abb；ab\{2,\}表示abb、abbb等。ab\{2,4\}表示abb、abbb和abbbb。
97. \(...\)        将圆括号之间的模式存储在特殊“保留空间”。最多可以将9个独立的子模式存储在单个模式中。匹配于子模式的文本，可以通过转义序列\1到\9，被重复使用在相同模式里。        \(ab\).*\1表示ab组合出现两次，两次之间可存在任何数目的任何字符，如abcdab、abab等。
98. {n,m}(ERE)        其功能等同于上面的\{n,m\}，只是不再写\转义符了。        ab+匹配ab、abbb等，但是不匹配a。
99. +(ERE)        和前面的星号相比，+匹配的是前面正则表达式的1-n个实例。         
100. ?(ERE)        匹配前面正则表达式的0个或1个。        ab?仅匹配a或ab。
101. |(ERE)        匹配于|符号前后的正则表达式。        (ab|cd)匹配ab或cd。
102. [:alpha:]        匹配字母字符。        [[:alpha:]!]ab$匹配cab、dab和!ab。
103. [:alnum:]        匹配字母和数字字符。        [[:alnum:]]ab$匹配1ab、aab。
104. [:blank:]        匹配空格(space)和Tab字符。        [[:alnum:]]ab$匹配1ab、aab。
105. [:cntrl:]        匹配控制字符。         
106. [:digit:]        匹配数字字符。         
107. [:graph:]        匹配非空格字符。         
108. [:lower:]        匹配小写字母字符。         
109. [:upper:]        匹配大写字母字符。         
110. [:punct:]        匹配标点字符。         
111. [:space:]        匹配空白(whitespace)字符。         
112. [:xdigit:]        匹配十六进制数字。         
113. \w        匹配任何字母和数字组成的字符，等同于[[:alnum:]_]         
114. \W        匹配任何非字母和数字组成的字符，等同于[^[:alnum:]_]         
115. \<\>        匹配单词的起始和结尾。        \<read匹配readme，me\>匹配readme。
117.     下面的列表给出了Linux Shell中常用的工具或命令分别支持的正则表达式的类型。
118.          grep        sed        vi        egrep        awk
119. BRE        *        *        *                  
120. ERE                                   *        *
122. 四.    使用cut命令选定字段:
124.     cut命令是用来剪下文本文件里的数据，文本文件可以是字段类型或是字符类型。下面给出应用实例：
125.     /> cat /etc/passwd
126.     root:x:0:0:root:/root:/bin/bash
127.     bin:x:1:1:bin:/bin:/sbin/nologin
128.     daemon:x:2:2:daemon:/sbin:/sbin/nologin
129.     adm:x:3:4:adm:/var/adm:/sbin/nologin
130.     ... ...
131.     /> cut -d : -f 1,5 /etc/passwd     #-d后面的冒号表示字段之间的分隔符，-f表示取分割后的哪些字段
132.     root:root                                 #这里取出的是第一个和第五个字段。
133.     bin:bin
134.     daemon:daemon
135.     adm:adm
136.     ... ...
137.     /> cut -d: -f 3- /etc/passwd       #从第三个字段开始显示，直到最后一个字段。
138.     0:0:root:/root:/bin/bash
139.     1:1:bin:/bin:/sbin/nologin
140.     2:2:daemon:/sbin:/sbin/nologin
141.     3:4:adm:/var/adm:/sbin/nologin
142.     4:7:lp:/var/spool/lpd:/sbin/nologin
143.     ... ...   
144.     这里需要进一步说明的是，使用cut命令还可以剪切以字符数量为标量的部分字符，该功能通过-c选项实现，其不能与-d选项共存。
145.     /> cut -c 1-4 /etc/passwd          #取每行的前1-4个字符。
146.     /> cut -c-4 /etc/passwd            #取每行的前4个字符。
147.     root
148.     bin:
149.     daem
150.     adm:
151.     ... ...
152.     /> cut -c4- /etc/passwd            #取每行的第4个到最后字符。
153.     t:x:0:0:root:/root:/bin/bash
154.     :x:1:1:bin:/bin:/sbin/nologin
155.     mon:x:2:2:daemon:/sbin:/sbin/nologin
156.     :x:3:4:adm:/var/adm:/sbin/nologin
157.     ... ...
158.     /> cut -c1,4 /etc/passwd           #取每行的第一个和第四个字符。
159.     rt
160.     b:
161.     dm
162.     a:
163.     ... ...
164.     /> cut -c1-4,5 /etc/passwd        #取每行的1-4和第5个字符。
165.     root:
166.     bin:x
167.     daemo
168.     adm:x
170. 五.    计算行数、字数以及字符数:
172.     Linux提供了一个简单的工具wc用于完成该功能，见如下用例：
173.     /> echo This is a test of the emergency broadcast system | wc
174.     1    9    49                              #1行，9个单词，49个字符
175.     /> echo Testing one two three | wc -c
176.     22                                         #22个字符
177.     /> echo Testing one two three | wc -l
178.     1                                           #1行
179.     /> echo Testing one two three | wc -w
180.     4                                           #4个单词
181.     /> wc /etc/passwd /etc/group    #计算两个文件里的数据。
182.     39   71  1933  /etc/passwd
183.     62   62  906    /etc/group
184.     101 133 2839  总用量
186. 六.    提取开头或结尾数行:
188.     有时，你会需要从文本文件里把几行字，多半是靠近开头或结尾的几行提取出来。如查看工作日志等操作。Linux Shell提供head和tail两个命令来完成此项工作。见如下用例：
189.     /> head -n 5 /etc/passwd           #显示输入文件的前五行。
190.     root:x:0:0:root:/root:/bin/bash
191.     bin:x:1:1:bin:/bin:/sbin/nologin
192.     daemon:x:2:2:daemon:/sbin:/sbin/nologin
193.     adm:x:3:4:adm:/var/adm:/sbin/nologin
194.     lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
196.     /> tail -n 5 /etc/passwd             #显示输入文件的最后五行。
197.     sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
198.     mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/bash
199.     pulse:x:496:494:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
200.     gdm:x:42:42::/var/lib/gdm:/sbin/nologin
201.     stephen:x:500:500:stephen:/home/stephen:/bin/bash
202.     如果使用者想查看不间断增长的日志(如服务程序输出的)，可以使用tail的-f选项，这样可以让tail命令不会自动退出，必须通过CTRL+C命令强制退出，因此该选项不适合用于Shell脚本中，见如下用例：
203.     /> tail -f -n 5 my_server_log
204.     ... ...
205.     ^C                                         #CTRL+C退出到命令行提示符状态。
206. 分类: Linux Shell

复制代码

来自：http://www.cnblogs.com/stephen-l ... /11/10/2240461.html

目录：
Linux Shell常用技巧(一)
http://www.acejoy.com/thread-4312-1-1.html
一. 特殊文件: /dev/null和/dev/tty
二. 简单的命令跟踪
三. 正则表达式基本语法描述
四. 使用cut命令选定字段
五. 计算行数、字数以及字符数
六. 提取开头或结尾数行

Linux Shell常用技巧(二)
http://www.acejoy.com/thread-4313-1-1.html
七. grep家族

Linux Shell常用技巧(三)
http://www.acejoy.com/thread-4314-1-1.html
八. 流编辑器sed

Linux Shell常用技巧(四)
http://www.acejoy.com/thread-4315-1-1.html
九. awk实用功能
十. awk表达式功能

Linux Shell常用技巧(五)
http://www.acejoy.com/thread-4316-1-1.html
十一.awk编程

Linux Shell常用技巧(六)
http://www.acejoy.com/thread-4317-1-1.html
十二.行的排序命令sort
十三.删除重复行的命令uniq
十四.文件压缩解压命令tar
十五.大文件拆分命令split

Linux Shell常用技巧(七)
http://www.acejoy.com/thread-4318-1-1.html
十六.文件查找命令find
十七.xargs命令

Linux Shell常用技巧(八)
http://www.acejoy.com/thread-4319-1-1.html
十八.和系统运行状况相关的Shell命令

Linux Shell常用技巧(九)
http://www.acejoy.com/thread-4320-1-1.html
十九.和系统运行进程相关的Shell命令

Linux Shell常用技巧(十)
http://www.acejoy.com/thread-4321-1-1.html
二十.通过管道组合Shell命令获取系统运行数据
二十一.通过管道组合Shell命令进行系统管理

Linux Shell常用技巧(十一)
http://www.acejoy.com/thread-4322-1-1.html
二十二.交互式使用Bash Shell

Linux Shell常用技巧(十二)
http://www.acejoy.com/thread-4323-1-1.html
二十三.Bash Shell编程