Shell从入门到精通
熟悉基本shell操作不仅是运维的基本功，对于开发来说也是多多益善，我在学习的过程中，总结了十个练手的小demo，并附上涉及的知识点，仅供娱乐。
1. 多线程ping监控，检查同一网段的IP是否连通
- Linux 系统中有一个特殊的设备/dev/null，这是一个黑洞。无论往该文件中写入多少数据，都会被系统吞噬、丢弃。如果有些输出信息是我们不再需要的， 则可以使用重定向将输出信息导入该设备文件中。注意：数据一旦导入黑洞将无法找回。
- 重定向: > 是覆盖重定向, >> 是累加重定向
- $0 这个程式的执行名字
$n 这个程式的第n个参数值，n=1..9
$* 这个程式的所有参数,此选项参数可超过9个。
$# 这个程式的参数个数
$$ 这个程式的PID(脚本运行的当前进程ID号)
$! 执行上一个背景指令的PID(后台运行的最后一个进程的进程ID号)
$? 执行上一个指令的返回值 (显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误)
$- 显示shell使用的当前选项，与set命令功能相同
$@ 跟$*类似，但是可以当作数组用 -
& 表示任务在后台执行，如要在后台运行redis-server,则有 redis-server &
&& 表示前一条命令执行成功时，才执行后一条命令 ，如 echo \’1‘ && echo \’2\’
| 表示管道，上一条命令的输出，作为下一条命令参数，如 echo \’yes\’ | wc -l
|| 表示上一条命令执行失败后，才执行下一条命令，如 cat nofile || echo “fail” -
ping 命令语法
ping [-dfnqrRv][-c<完成次数>][-i<间隔秒数>][-I<网络界面>][-l<前置载入>][-p<范本样式>][-s<数据包大小>][-t<存活数值>][主机名称或IP地址]
#!/bin/bash
#使用&开启后台进程
net="101.200.35"
mult_ping() {
ping -c2 -i0.2 -W1 $1 &>/dev/null
if [ $? -eq 0 ];then
echo "$1 is up"
else
echo "$1 is down"
fi
}
for i in {0..255}
do
mult_ping $net.$i &
done
wait
2.进度条功能显示
- 常见系统预设变量
#!/bin/bash
trap \'kill $!\' INT
# 定义宽度为50的进度条
# 输出完成后将/r光标切换到行首，准备下一次进度条显示
bar () {
while :
pound=""
for ((i = 47; i>=1; i-- ))
do
pound += #
printf "|%s%${i}s|\r" "$pound"
sleep 0.2
done
}
# 调用函数，显示进度符号，直到复制结束kill进度函数
bar &
cp -r $1 $2
kill $!
echo "复制结束"
3. Linux创建进程的三种方式
- fork
通常情况下在系统中通过相对路径或绝对路径执行一个命令时，都会由父进程开启一个子进程，当子进程结束后再返回父进程，这种行为过程就叫作fork。当脚本中正常调用一个外部命令 1或其他脚本时，都会fork一个子Shell进程，我们的命令会运行在这个子Shell中。 - exec
使用 exec 方式调用其他命令或脚本时，系统不会开启子进程，而是使用新的程序替换当前的 Shell 环境，因为当前 Shell 环境被替换了，所以当 exec 调用的程序结束后，当前环境会被关闭。但是有一个特例，当 exec 后面的参数是文件重定向时，不会替换当前 Shell 环境，脚本后续的其他命令也不会受到任何影响。 - source或 . （点）
使用 source 命令或.（点）可以不开启子 Shell，而在当前 Shell 环境中将需要执行的命令加载进来，执行完加载的命令后，继续执行脚本中后续的指令。
分析工具：pstree 进程树
4. 控制进程数量——文件描述符和命名管道
文件描述符
文件描述符是一个非负整数，而内核需要通过这个文件描述符才可以访问文件。当我们在系统中打开已有的文件或新建文件时，内核每次都会给特定的进程返回一个文件描述符，当进程需要对文件进行读或写操作时，都要依赖这个文件描述符进行。文件描述符就像一本书的目录页数（也叫索引），通过这个索引可以找到需要的内容。在 Linux 或类 UNIX系统中内核默认会为每个进程创建三个标准的文件描述符，分别是 0（标准输入）、 1（标准输出）和 2（标准错误）。通过查看/proc/PID 号/fd/目录下的文件，就可以查看每个进程拥有的所有文件描述符。
创建文件描述符：
exec 文件描述符 <> 文件名调用文件描述符语法格式：
&文件描述符关闭文件描述符：
exec 文件描述符<&-
exec 文件描述符>&-命名管道
管道是进程间通信的一种方式，匿名管道，使用|符号就可以创建一个匿名管道，顾名思义，系统会自动创建一个可以读写数据的管道，但是这个管道并没有名称。一个程序往管道中写数据，另一个程序就可以从管道中读取数据。但是匿名管道仅可以实现父进程与子进程之间的数据交换，能不能实现任意两个无关的进程之间的通信呢？答案是肯定的，使用命名管道，也叫FIFO1文件。
命名管道的特征：
- FIFO 文件由命令创建（mknod 或 mkfifo 命令），可以在文件系统中直接看到。
- 写入管道的数据一旦被读取后，就不可以再重复读取。
- 进程往命名管道中写数据时，如果没有其他进程读取数据，则写进程会被阻塞。
- 进程尝试从命名管道中读取数据时，如果管道中没有数据，则读进程会被阻塞。
- 命名管道中的数据常驻内存，并不实际写入磁盘，读写效率会更高。
5. 可任意控制进程数量的多线程ping
第一个demo中，通过 & 开启任意数量线程进行ping，但是这里的线程不可控。我们用上面的文件描述符和命名管道的知识，写一段可控的多线程ping。
#!/bin/bash
pipefile=/tmp/procs_$$.temp
num=10
net="101.200.35"
multi_ping() {
ping -c2 -i0.2 -W1 $1 &>/dev/null
if [ $? -eq 0 ];then
echo "$1 is up"
else
echo "$1 is down"
fi
}
# 创建命名管道文件，创建其文件描述符，通过重定向将数据导入管道文件
mkfifo $pipefile
exec 12<>$pipefile
for i in `seq $num`
do
echo "" >&12 &
done
# 成功读取命名管道中的数据后开启新的进程
# 所有内容读取完之后read被阻塞，无法再启动新的进程
# 等待前面启动的线程结束后，继续往管道文件中写入数据，释放阻塞，再次开启新的线程
for j in {1..254}
do
read -u12
{
multi_ping $net.$j
echo "" >&12
} &
done
wait
rm -rf $pipfile
6. sed爬虫批量下载美女图片
- sed命令汇总
- sed 是逐行处理软件，我们可能仅输入了一条 sed 指令，但系统会将该指令应用在所有匹配的数据行上，因此相同的指令会被反复执行 N 次，这取决于匹配到的数据有几行。
- 默认 sed 不支持扩展正则，如果希望使用扩展正则匹配数据，可以使用-r 参数。
- sed 程序使用=指令可以显示行号，结合条件匹配，可以显示特定数据行的行号。
- 在 sed 中支持使用感叹号（！）对匹配的条件进行取反操作。
下载思路：用curl获取网站源代码+sed数据清洗获取图片地址+wget下载保存
#!/bin/bash
# 爬取美女图片
# 定义要爬取的网站和保存的文件
page="https://tieba.baidu.com/p/4420470629"
URL="beau.txt"
# 将网站源代码保存到文件中
curl -s https://tieba.baidu.com/p/4420470629 > $URL
# 对源代码数据过滤清洗，获取种子的URL链接
echo -e "\033[32m 正在获取种子 URL,请稍后...\033[0m"
sed -i \'/<img/!d\' $URL #删除不包含<img 的行
sed -i \'s/.*src="//\' $URL #删除 src="及其前面的所有内容
sed -i \'s/".*//\' $URL #删除双引号及其后面的所有内容
echo
#利用循环批量下载所有图片数据
#wget 为下载工具,其参数选项描述如下：
# -P 指定将数据下载到特定目录(prefix)
# -c 支持断点续传(continue)
# -q 不显示下载过程(quiet)
echo -e "\033[32m 正在批量下载种子数据,请稍后...\033[0m"
for i in $(cat $URL)
do
wget -P tempPhoto/ -c $i
done这种知识最基本的爬虫，对于反爬虫的网站就嗝屁了，对于那种异步加载的也没办法，总之，就是比较弱。
7. sed随机点名器
做一个互联网大佬的随机点名器
#!/bin/bash
#按 Ctrl+C 组合键时:恢复光标,恢复终端属性,清屏,退出脚本
#防止程序意外中断导致的终端混乱
trap \'tput cnorm;stty $save_property;clear;exit\' 2
#定义变量:人员列表文件名,文件的行数,屏幕的行数,屏幕的列数
name_file="name.txt"
line_file=$(sed -n \'$=\' $name_file)
line_screen=`tput lines`
column_screen=`tput cols`
#设置终端属性
save_property=$(stty -g) #保存当前终端所有属性
tput civis #关闭光标
#随机抽取一个人名(随机点名)
while :
do
tmp=$(sed -n "$[RANDOM%line_file+1]p" $name_file)
#随机获取文件的某一行人名
tput clear #清屏
tput cup $[line_screen/4] $[column_screen/4]
echo -e "\033[3;5H 随机点名器(按 P 停止): "
echo -e "\033[4;5H#############################"
echo -e "\033[5;5H# #"
echo -e "\033[6;5H#\t\t$tmp\t\t#"
echo -e "\033[7;5H# #"
echo -e "\033[8;5H#############################"
sleep 0.1
stty -echo
read -n1 -t0.1 input
if [[ $input == "p" || $input == "P" ]];then
break
fi
done
tput cnorm #恢复光标
stty $save_property #恢复终端属性
8.系统性能监控脚本
- awk语法格式
- awk变量
- awk条件匹配
- awk 可以通过-v（variable） 选项设置或者修改变量的值，我们可以使用-v 定义新的变量，也可以使用该选项修改内置变量的值。
- 使用[]定义分隔符集合，同时设置多个分隔符。比如使用[:,-]表示以冒号（：）、逗号（，）或者横线（-）为分隔符
-
[-F|-f|-v] 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value
9.监控网络连接状态
- ss语法格式
#!/bin/bash
# 监控网络连接状态
#所有 TCP 连接的个数
TCP_Total=$(ss -s | awk \'$1=="TCP"{print $2}\')
#所有 UDP 连接的个数
UDP_Total=$(ss -s | awk \'$1=="UDP"{print $2}\')
#所有 UNIX sockets 连接个数
Unix_sockets_Total=$(ss -ax | awk \'BEGIN{count=0} {count++} END{print
count}\')
#所有处于 Listen 监听状态的 TCP 端口个数
TCP_Listen_Total=$(ss -antlpH | awk \'BEGIN{count=0} {count++} END{print
count}\')
#所有处于 ESTABLISHED 状态的 TCP 连接个数
TCP_Estab_Total=$(ss -antpH | awk \'BEGIN{count=0} /^ESTAB/{count++}
END{print count}\')
#所有处于 SYN-RECV 状态的 TCP 连接个数
TCP_SYN_RECV_Total=$(ss -antpH | awk \'BEGIN{count=0} /^SYN-RECV/{count++}
END{print count}\')
#所有处于 TIME-WAIT 状态的 TCP 连接个数
TCP_TIME_WAIT_Total=$(ss -antpH | awk \'BEGIN{count=0} /^TIME-WAIT/{count++}
END{print count}\')
#所有处于 TIME-WAIT1 状态的 TCP 连接个数
TCP_TIME_WAIT1_Total=$(ss -antpH | awk \'BEGIN{count=0}
/^TIME-WAIT1/{count++} END{print count}\')
#所有处于 TIME-WAIT2 状态的 TCP 连接个数
TCP_TIME_WAIT2_Total=$(ss -antpH | awk \'BEGIN{count=0}
/^TIME-WAIT2/{count++} END{print count}\')
#所有远程主机的 TCP 连接次数
TCP_Remote_Count=$(ss -antH | awk \'$1!~/LISTEN/{IP[$5]++} END{ for(i in
IP){print IP[i],i} }\' | sort -nr)
#每个端口被访问的次数
TCP_Port_Count=$(ss -antH | sed -r \'s/ +/ /g\' | awk -F"[ :]"
\'$1!~/LISTEN/{port[$5]++} END{for(i in port){print port[i],i}}\' | sort -nr)
#定义输出颜色
SUCCESS="echo -en \\033[1;32m" #绿色
NORMAL="echo -en \\033[0;39m" #黑色
#显示 TCP 连接总数
tcp_total(){
echo -n "TCP 连接总数: "
$SUCCESS
echo "$TCP_Total"
$NORMAL
}
#显示处于 LISTEN 状态的 TCP 端口个数
tcp_listen(){
echo -n "处于 LISTEN 状态的 TCP 端口个数: "
$SUCCESS
echo "$TCP_Listen_Total"
$NORMAL
}
#显示处于 ESTABLISHED 状态的 TCP 连接个数
tcp_estab(){
echo -n "处于 ESTAB 状态的 TCP 连接个数: "
$SUCCESS
echo "$TCP_Estab_Total"
$NORMAL
}
#显示处于 SYN-RECV 状态的 TCP 连接个数
tcp_syn_recv(){
echo -n "处于 SYN-RECV 状态的 TCP 连接个数: "
$SUCCESS
echo "$TCP_SYN_RECV_Total"
$NORMAL
}
#显示处于 TIME-WAIT 状态的 TCP 连接个数
tcp_time_wait(){
echo -n "处于 TIME-WAIT1 状态的 TCP 连接个数: "
$SUCCESS
echo "$TCP_TIME_WAIT1_Total"
$NORMAL
}
#显示处于 TIME-WAIT2 状态的 TCP 连接个数
tcp_time_wait2(){
echo -n "处于 TIME-WAIT2 状态的 TCP 连接个数: "
$SUCCESS
echo "$TCP_TIME_WAIT2_Total"
$NORMAL
}
#显示 UDP 连接总数
udp_total(){
echo -n "UDP 连接总数: "
$SUCCESS
echo "$UDP_Total"
$NORMAL
}
#显示 UNIX sockets 连接总数
unix_total(){
echo -n "Unix sockets 连接总数: "
$SUCCESS
echo "$Unix_sockets_Total"
$NORMAL
}
#显示每个远程主机的访问次数
remote_count(){
echo "每个远程主机与本机的并发连接数: "
$SUCCESS
echo "$TCP_Remote_Count"
$NORMAL
}
#显示每个端口的并发连接数
port_count(){
echo "每个端口的并发连接数: "
$SUCCESS
echo "$TCP_Port_Count"
$NORMAL
}
print_info(){
echo -e "------------------------------------------------------"
$1
}
print_info tcp_total
print_info tcp_listen
print_info tcp_estab
print_info tcp_syn_recv
print_info tcp_time_wait
print_info tcp_time_wait1
print_info tcp_time_wait2
print_info udp_total
print_info unix_total
print_info remote_count
print_info port_count
echo -e "------------------------------------------------------"
参考
版权声明：本文为qishun原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。