爬虫系列:存储媒体文件

举报
爬虫程序大魔王 发表于 2021/11/06 11:16:53 2021/11/06
【摘要】 爬虫系列:存储媒体文件

本期爬虫系列主要讲解爬虫采集完成数据之后,我们应该怎么存储,以及用什么样的方式存储数据。

虽然在命令行里显示结果很有意思,但是随着数据不断增多,并且需要对数据分析时,将数据打印到命令行就不是办法了。为了可以远程使用大部分网络爬虫,你还需要把采集到的数据存储起来。

本篇文章介绍的数据存储方式,绝大多数应用程序都适用。如果你准备创建一个网站的后端服务或者创建自己的 API,那么可能需要把数据写入数据库。如果你需要一个快速简单的方法收集网上的文档,然后保存到你的硬盘里,那么可能需要创建一个文件流(file stream)来实现。

存储媒体文件

存储媒体文件主要有两种方式:只获取文件 URL 链接,或者直接把源文件下载下来。你可以通过媒体文件所在的 URL 链接直接引用它。这样做的优点如下:

  • 爬虫运行得更快,耗费得流量更少,因为只要链接,不需要下载文件;
  • 可以节省很多存储空间,因为只需要存储 URL 链接就可以了;
  • 存储 URL 的代码更容易编写,也不需要文件下载代码;
  • 不下载文件能够降低目标服务器的负载。

保存媒体文件存在的缺点:

  • 这些内嵌在你网站或应用中的外站 URL 链接称为盗链(hotlinking),使用盗链可能让你麻烦不断,每个网站都会实施防盗链措施;
  • 因为你的链接放在别人的服务器上,所以你的应用就跟着别人的节奏运行了;
  • 盗链是很容易改变的。如果你把盗链图片放在博客上,要是被对方服务器发现,就可能被恶搞。如果你把 URL 链接存储起来准备以后再使用,可能用的时候链接已经失效了,或者变成了完全无关的内容;
  • 现实中的浏览器不仅会请求 HTML 页面并切换页面,它们也会下载访问页面上所有的资源。下载文件会让你的爬虫看起来更像人在浏览网站,这样做反而有好处。

如果你还在犹豫究竟是存储文件,还只是存储文件的 URL 链接,可以想想这些文件是要多次使用还是放进数据库之后就只等着“落灰”,再也不会被打开。如果答案是后者,那么最好还是只存储这些文件的 URL 吧。如果答案是前者,那就继续往下看。

import requests

from utils import connection_util


class SaveData(object):
    def __init__(self):
        self._target_url = 'https://www.pdflibr.com'
        self._init_connection = connection_util.ProcessConnection()

    def save_image(self):
        # 连接目标网站,获取内容
        get_content = self._init_connection.init_connection(self._target_url)
        if get_content:
            imageLocation = get_content.find("img", {"alt": "IP to Location"})["data-src"]
            real_path = self._target_url + imageLocation
            r = requests.get(real_path)
            with open("ip_location.png", 'wb') as f:
                f.write(r.content)


if __name__ == "__main__":
    SaveData().save_image()

这段程序从IP 查询 - 爬虫识别下载一张图片,然后保存在运行程序的文件夹里。

如果你只需要下载一个文件,而且知道如何获取它,以及它的文件类型,这么做就可以了。但是大多数爬虫一天只下载一个文件。下面的程序会把IP 查询 - 爬虫识别上所有 src 属性的文件都下载下来:

import os.path
from urllib.request import urlretrieve
from utils import connection_util


class GetAllSrc(object):
    def __init__(self):
        self._init_download_dir = 'downloaded'
        self._baseUrl = 'https://www.pdflibr.com/ip'
        self._init_connection = connection_util.ProcessConnection()

    def get_absolute_url(self, baseUrl, source):
        if source.startswith("https://image."):
            url = "https://" + source[14:]
        elif source.startswith("https://"):
            url = source
        elif source.startswith("www."):
            url = "https://" + source[4:]
        else:
            url = source
        if baseUrl not in url:
            return None
        return url

    def get_download_path(self, baseUrl, absoluteUrl, download_dir):
        path = absoluteUrl.replace("www.", "")
        path = path.replace(baseUrl, "")
        path = download_dir + path
        directory = os.path.dirname(path)

        if not os.path.exists(directory):
            os.makedirs(directory)

        return path

    def download_main(self):
        get_content = self._init_connection.init_connection(self._baseUrl)
        if get_content:
            download_list = get_content.findAll(src=True)
            for download in download_list:
                file_url = self.get_absolute_url(self._baseUrl, download["src"])
                if file_url is not None:
                    print(file_url)
                    urlretrieve(file_url, self.get_download_path(self._baseUrl, file_url, self._init_download_dir))


if __name__ == '__main__':
    GetAllSrc().download_main()

运行以上代码需要注意:

这个程序会把页面上所有的文件都下载到你硬盘里,可能会包含一些 bash 脚本,.exe 文件,设置可能是恶意软件(malmare)。

这个程序首先选择页面上所有带 src 属性的标签,然后对 URL 链接进行清理和标准化,获得了文件的绝对路径(而且去掉了外链),最后每个文件都会下载到程序所在的 downloaded 文件里。

这里使用 Python 的 os 模块用来获取每个下载文件的目标文件夹,建立完整的路径。os 模块是 Python 与操作系统交互的接口,它可以操作文件路径,创建目录,获取运行进程和环境变量的信息,以及其他系统相关操作。

文章源代码托管于 Github:爬虫系列:存储媒体文件

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。