一步一步学爬虫（4）数据存储之文本存储

• 4.1 TXT纯文本文件存储
• • 4.1.1 本节目标
  • 4.1.2 基本实例
  • 4.1.3 打开方式
  • 4.1.4 简化写法

4.1 TXT纯文本文件存储

  将数据保存到 TXT 文本的操作非常简单，而且 TXT 文本几乎兼容任何平台，但是这有个缺点，那就是不利于检索。所以如果对检索和数据结构要求不高，追求方便第一的话，可以采用 TXT 文本存储。

  本节中，我们就来看下利用 Python 保存 TXT 文本文件的方法。

4.1.1 本节目标

  本节我们以电影示例网站 https://ssr1.scrape.center/ 为例，爬取首页 10 部电影的数据，然后将相关信息存储为 TXT 文本格式。

4.1.2 基本实例

  首先，可以用 requests 将网页源代码获取下来，然后使用 pyquery 解析库解析，接下来将提取的电影名称、类别、上映时间等信息保存到 TXT 文本中，代码如下：

import requests
from pyquery import PyQuery as pq
import reurl = 'https://ssr1.scrape.center/'
html = requests.get(url).text
doc = pq(html)
items = doc('.el-card').items()file = open('movies.txt', 'w', encoding='utf-8')
for item in items:# 电影名称name = item.find('a > h2').text()file.write(f'名称: {name}\n')# 类别categories = [item.text() for item in item.find('.categories button span').items()]file.write(f'类别: {categories}\n')# 上映时间published_at = item.find('.info:contains(上映)').text()published_at = re.search('(\d{4}-\d{2}-\d{2})', published_at).group(1) \if published_at and re.search('\d{4}-\d{2}-\d{2}', published_at) else Nonefile.write(f'上映时间: {published_at}\n')# 评分score = item.find('p.score').text()file.write(f'评分: {score}\n')file.write(f'{"=" * 50}\n')
file.close()

  这里主要是为了演示文件保存的方式，因此 requests 异常处理部分在此省去。首先，用 requests 提取首页的 HTML 代码，然后利用 pyquery 将电影的名称、类别、上映时间、评分信息提取出来。

  利用 Python 提供的 open 方法打开一个文本文件，获取一个文件操作对象，这里赋值为 file，每提取一部分信息，就利用 file 对象的 write 方法将提取的内容写入文件。

  全部提取完毕之后，最后调用 close 方法将其关闭，这样抓取的内容即可成功写入文本中了。

  运行程序，可以发现在本地生成了一个 movies.txt 文件，其内容如图所示。

  这样电影信息的内容就被保存成文本形式了。

  回过头来我们看下本节重点需要了解的内容，就是文本写入操作，其实就是 open、write、close 这三个方法的用法。

  这里 open 方法的第一个参数即要保存的目标文件名称；第二个参数为 w，代表以覆盖写入的方式写入文本；另外，我们还指定了文件的编码为 utf-8。最后，写入完成后，还需要调用 close 方法来关闭文件对象。

4.1.3 打开方式

  在刚才的实例中，open 方法的第二个参数设置成了 w，这样在每次写入文本时会清空源文件，然后将新的内容写入文件，这是一种文件打开方式。关于文件的打开方式，其实还有其他几种，这里简要介绍一下。

• r：以只读方式打开文件，意思就是只能读取文件内容，不能写入文件内容。这是默认模式。
• rb：以二进制只读方式打开一个文件，通常用于打开二进制文件，比如音频、图片、视频等等。
• r+：以读写方式打开一个文件，既可以读文件又可以写文件。
• rb+：以二进制读写方式打开一个文件，同样既可以读又可以写，但读取和写入的都是二进制数据。
• w：以写入方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
• wb：以二进制写入方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
• w+：以读写方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
• wb+：以二进制读写格式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
• a：以追加方式打开一个文件。如果该文件已存在，文件指针将会放在文件结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，则创建新文件来写入。
• ab：以二进制追加方式打开一个文件。如果该文件已存在，则文件指针将会放在文件结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，则创建新文件来写入。
• a+：以读写方式打开一个文件。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，则创建新文件来读写。
• ab+：以二进制追加方式打开一个文件。如果该文件已存在，则文件指针将会放在文件结尾。如果该文件不存在，则创建新文件用于读写。

4.1.4 简化写法

  另外，文件写入还有一种简写方法，那就是使用 with as 语法。在 with 控制块结束时，文件会自动关闭，所以就不需要再调用 close 方法了。

  这种保存方式可以简写如下,对应的原代码就要删除掉，把下面代码放入for循环：

with open('movies.txt', 'a', encoding='utf-8')  as file:file.write(f'名称: {name}\n')file.write(f'类别: {categories}\n')file.write(f'上映时间: {published_at}\n')file.write(f'评分: {score}\n')

  上面便是利用 Python 将结果保存为 TXT 文件的方法，这种方法简单易用，操作高效，是一种最基本的保存数据的方法。