shell脚本三剑客之sed
文章目录
- 一、sed
-
- 1.1 sed 概述
- 1.2 sed 工作流程
- 1.3 sed 命令常见用法
- 1.4 sed 常用选项
- 1.5 sed 命令的常用操作
- 二、sed 命令的使用
-
- 2.1 输出符合条件的文本
- 2.2 册除符合条件的文本
- 2.3 替换符合条件的文本
- 2.4 迁移符合条件的文本
- 2.5 使用脚本编辑文件
- 2.6 sed直接操作文件
一、sed
1.1 sed 概述
sed 是一个强大而简单的文本解析转换工具,可以读取文本,并根据指定的条件对文本内容进行编辑(删除、替换、添加、移动等),最后输出所有行或者仅输出处理的某些行。
sed也可以在无交互的情况下实现相当复杂的文本处理操作,被广泛应用于shell脚本中,用以完成各种自动化处理任务
1.2 sed 工作流程
sed 的工作流程主要包括读取、执行和显示三个过程
读取:
sed 从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间,patternspace) 。
执行:默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,否则sed命令将会在所有的行上依次执行
显示:发送修改后的内容到输出流。在发送数据后,模式空间将会被清空。
在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完
注:默认情况下所有的sed命令都是在模式空间内执行的,因此输入的文件并不会发生任何变化,除非是用重定向存储输出
sed工作原理
过程:
读入新的一行内容到缓存空间;
从指定的操作指令中取出第一条指令,判断是否匹配pattern;
如果不匹配,则忽略后读的编辑命令,回到第2步继续取出下一条指令;
如果匹配,则针对缓存的行执行后续的编辑命令;完成后,回到第2步继续取出下一条指令;
当所有指令都应用之后,输出缓存行的内容;回到第1步继续读入下一行内容;
当所有行都处理完之后,结束;
1.3 sed 命令常见用法
通常情况下调用sed命令有两种格式,其中 " 参数 " 是指操作的目标文件,当存在多个操作对象时用,文件之间用逗号 " ," 分隔,而 scriptfile 表示脚本文件,需要用 " -f " 选项指定,当脚本文件出现在目标文件之前时,表示通过指定的脚本文件来处理输入的目标文件。
sed[选项]'操作'参数sed[选项]-f scriptfile参数
1.4 sed 常用选项
-e 或 --expression= :表示用指定命令或者脚本来处理输入的文本文件。-f 或 --file= :表示用指定的脚本文件来处理输入的文本文件。-h 或 --help :显示帮助。-n、--quiet 或 silent :表示仅显示处理后的结果。-i.bak :直接编辑文本文件。-r,-E :使用扩展正则表达式。-s :将多个文件视为独立文件,而不是单个连续的长文件流
1.5 sed 命令的常用操作
"操作"用于指定对文件操作的动作行为,也就是 sed 的命令。通常情况下是采用的 " [n1 [,n2] ] " 操作参数的格式。n1、n2是可选的,代表选择进行操作的行数,
a∶ 增加,在当前行下面增加一行指定内容。c∶ 替换,将选定行替换为指定内容。d∶删除,删除选定的行。i∶ 插入,在选定行上面插入一行指定内容。p∶ 打印,如果同时指定行,表示打印指定行;如果不指定行,则表示打印所有内容; 如果有非打印字符,则以 AscII码输出。其通常与_n"选项一起使用。s∶替换,替换指定字符。y∶ 字符转换,转换前后的字符长度必须相同。
二、sed 命令的使用
2.1 输出符合条件的文本
示例:
1.输出所有内容,等同于 cat test.txt
2. 输出第 3 行
3.输出 3-5 行
4.输出奇数行,n 表示读入下一行资料
5.输出所有偶数行,n 表示读入下一行资料
6.输出第 1-5 行之间的奇数行(第1、3、5行)
7.输出第1 行至第10行之间的偶数行
8.输出第10 行至文件尾之间的偶数行
在执行 “sed -n ‘10,${n;p}’ test.txt” 命令时,读取的第1行是文件的第10行,读取的第2行是文件的第11行,依此类推,所以输出的偶数行是文件的第11行、13行直至文件结尾,其中包括空行
9.直接显示需要的第二行内容
sed命令结合正则表达式时,格式略有不同,正则表达式以"/"包围
示例:
1.输出包含the的行
2.输出从第4行至第一个包含 the 的行
3.输出包含the的行所在的行号,等号(=)用来输出行号
4.输出以 PI 开头的行
5.输出以数字结尾的行
6.输出包含单词wood的行,代表单词边界
2.2 册除符合条件的文本
命令的几种常用删除用法
示例:
下面命令中nl命令用于计算文件的行数,结合该命令可以更加直观地查看到命令执行的结果
1.删除第 3 行
2.删除 3-5 行
3.删除包含 cross 的行。(原本的第 8 行被删除;如果要删除不包含cross 的行,用!符号表示取反操作,如’/cross/!d’)
4.删除以小写字母开头的行
5.删除以"."结尾的行
6.删除所有空行
2.3 替换符合条件的文本
在使用 sed 命令进行替换操作时需要用到s(字符串替换)、c(整行/整块替换)、y(字符转换)命令选项
常见的用法如下所示:
示例:
1.将每行中的第一个 “the” 替换为 “THE”
2.将每行中的第 2 个 “l” 替换为 “L”
3.将文件中的所有 “the” 替换为 “THE”
4.将文件中的所有 “o” 删除(替换为空串)
5.在每行行首插入 “#” 号
6.在包含 “the” 的每行行首插入 “#” 号
,通过 " -f " 选项来调用。
例如:
执行以下命令即可将第 1-5 行内容转移至第 16 行后
sed '1,5{H;d};16G' test.txt
可以改用脚本文件方式:
[root@localhost ~]# vim ttt.list1,5H1,5d16G[root@localhost ~]# sed -f ttt.list test.txt The year ahead will test our political establishment to the limit.PI=3.141592653589793238462643383249901429a wood cross!Actions speak louder than words#woood ##woooooood# AxyzxyzxyzxyzCI bet this place is really spooky late at night!Misfortunes never come alone/single.he was short and fat.He was wearing a blue polo shirt with black pants.The home of Football on BBC Sport online.the tongue is boneless but it breaks bones.12!google is the best tools for search keyword.
2.6 sed直接操作文件
示例:
编写一个脚本,用来调整vsftpd 服务配置,要求禁止匿名用户,但允许本地用户(也允许写入)
[root@localhost ~]#vim local_only_ftp.sh #!/bin/bash #指定样本文件路径、配置文件路径SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_STTE/vsftpd.conf"CONFIG="/etc/vsftpd/vsftpd.conf" #备份原来的配置文件,检测文件名为/etc/vsftpd/vsftpd.conf.bak备份文件是否存在,若不存在则使用cp命令进行文件备份[ ! -e "SCONFIG.bak" ] && cp $CONFIG $CONFIG.bak #基于样本配置进行调整,覆盖现有文件sed -e '/^anonymous_enable/s/YES/NO/g' $SAMPLE >$CONFIGsed -i -e '/^local_enable/s/NO/YES/g' -e '/^write_enable/s/NO/YES/g' $CONFIGgrep "listen" $CONFIG || sed -i '$alisten=YES' $CONFIG #启动vsftpd 服务,并设为开机后自动运行systemctl restart vsftpd systemctl enable vsftpd [root@localhost ~] #chmod +x local_only_ftp.sh