目录

一、AWK

干什么用的？

使用起来有什么条件？

怎么使用？

二、sed

功能？

sed怎样读取数据？

怎样调用sed ？

三、sort 

功能是什么？

命令有哪些？

本文只讲解了一些简略的知识框架，如需详细学习，附录几本参考书籍，百度网盘自行下载：

链接：https://pan.baidu.com/s/1uqBeL7FF0GiG4EzmWk90sg?pwd=3905 
提取码：3905

一、AWK

引言：如果要格式化报文或从一个大的文本文件中抽取数据包，那么awk可以完成这些任务。

干什么用的？

        awk是shell过滤工具，之所以要在shell中使用awk是因为awk本身是学习的好例子，但结合与其他工具诸如grep和sed，将会使shell编程更加容易。

        简言之，功能就是过滤和提取，通过对源文件读取内容，然后进行过滤，提取用户感兴趣的字段

使用起来有什么条件？

        源文件必须满足如下条件才可被awk过滤和提取内容：

        源文件中内容要满足每个都有分隔符，且是相同的分隔符。

        如：1.2  2.3  3.4这就满足条件，分隔符为' . '

怎么使用？

        有三种方式调用AWK。

第一种是命令行方式：

awk [-F field-separator] 'commands' input-file(s)

• commands是真正的awk命令
• -F. 分隔符。因为 a w k使用空格作为缺省的域分隔符，因此如果 要浏览域间有空格的文本，不必指定这个选项，但如果要浏览诸如 p a s s w d文件，此文件各域 以冒号作为分隔符，则必须指明 - F选项.

         第二种方法是将所有awk命令插入一个文件，并使 awk程序可执行，然后用awk命令解释 器作为脚本的首行，以便通过键入脚本名称来调用它。

        第三种方式是将所有的awk命令插入一个单独文件，然后调用：

awk -f awk-script-file input-files(s)

        -f 选项指明在文件 awk _script _ file中的awk脚本，input _ file( s )是使用awk进行浏览的文件名。

示例：

        获源文件中的整数部分，通过下面圈红的命令实现，其中print:打印 ，'{}' awk的命令，file是源文件，‘>’ 是重定向，新创建newfile文件将内容输入到该文件内，如果不写就是打印到屏幕上。而$1就是文件的第一列。

         若要获取小数部分，通过$2得到：

获取下面标红的第一行

        可以用管道grep结合awk进行筛选，其中间隔符是空格，因此直接不写.F，-v 取反 不要XXX的意思。

        或者用这种方式，第1列必须是ubantu，对其筛选，$0是打印一整行，然后筛选第8行是sleep，进行如下筛选也可以：

二、sed

功能？

        简言之就是对文件进行读取数据和编辑

sed怎样读取数据？

        sed从文件的一个文本行或从标准输入的几种格式中读取数据，将之拷贝到一个编辑缓冲区，然后读命令行或脚本的第一条命令，并使用这些命令查找模式或定位行号编辑它。重复此过程直到命令结束。

        修改的是拷贝，源文件未发生变化

怎样调用sed ？

        调用sed有三种方式：

1. 在命令行键入命令；
2. 将sed命令插入脚本文件，然后调用sed；
3. 将sed命令插入脚本文件，并使sed脚本可执行。

        使用sed命令行格式为：

sed [选项] sed命令 输入文件

         在命令行使用sed命令时，实际命令要加单引号。sed也允许加双引号。

        使用sed脚本文件，格式为：

sed [选项] -f sed脚本文件 输入文件 

        要使用第一行具有s e d命令解释器的s e d脚本文件，其格式为：

sed 脚本文件 [选项] 输入文件 

        不管是使用shell命令行方式或脚本文件方式，如果没有指定输入文件，sed从标准输入中接受输入，一般是键盘或重定向结果。

        sed选项如下：

• n 不打印；sed不写编辑行到标准输出，缺省为打印所有行（编辑和未编辑）。
• p命令可以 用来打印编辑行。
• c 下一命令是编辑命令。使用多项编辑时加入此选项。如果只用到一条sed命令， 此选项无用，但指定它也没有关系。
• f 如果正在调用sed脚本文件，使用此选项。此选项通知sed一个脚本文件支持所有的sed命令，例如：sed -f myscript.sed input_file，这里myscript.sed即为支持sed命令的文件。

        基本sed编辑命令如下： 

示例：

在第二行内添加3.3

附加数据：附加到第二行后面

删除第二行

打印第二行、第三行，加上-n是不对源文件进行打印

三、sort 

功能是什么？

        sort命令将许多不同的域按不同的列顺序分类。

命令有哪些？

sort -cmu -o output_file [other options] +pos1 +pos2 input_files

• -c 测试文件是否已经分类
• -m 合并两个分类文件
• -u 删除所有复制行
• -o 存储sort结果的输出文件名
  • - o选项保存分类结果，然而也可以使用重定向方法保存。
• 其他选项：
  • -b 使用域进行分类时，忽略第一个空格
  • -n 指定分类是域上的数字分类
  • -t 域分隔符；用非空格或t a b键分隔域
  • -r 对分类次序或比较求逆
  • +n n为域号。使用此域号开始分类。 n n为域号。在分类比较时忽略此域，一般与 + n一起使用。 post1 传递到m，n。m为域号，n为开始分类字符数；例如 4，6意即以第5域分类，从第7 个字符开始。

        最基本的sort方式为sort filename，按第一域进行分类（分类键 0）。实际上读文件时sort操作将行中各域进行比较，如下所示：

sort分类求逆

         如果要逆向sort结果，使用- r选项。在通读大的注册文件时，使用逆向sort很方便。

唯一性分类

        有时，原文件中有重复行，这时可以使用 - u选项进行唯一性（不重复）分类以去除重复行。对带重复行的文件使用- u选项去除重复行，不必加其他选项，sort会自动处理。

        如下所示，对文件逆序+去重：