华为云沙箱实验之使用Python爬虫抓取图片和文字实验丨【我的华为云体验之旅】

举报
lwq1228 发表于 2021/12/23 15:56:53 2021/12/23
【摘要】 1.准备环境 1.1.预置环境点击上方“预置实验环境”按钮，【约等待3分钟】后预置成功。预置成功后ECS资源用户、密码信息可点击预置环境信息查看。环境预置会生成资源：名称为“python-spider”的弹性云服务器ECS、创建配置相关的VPC、共享带宽，弹性公网IP、安全组。 1.2.登录华为云进入【实验操作桌面】，打开Chrome浏览器，首次可自动登录并进入华为云控制台页面，选择【IA...

1.准备环境

1.1.预置环境

点击上方“预置实验环境”按钮，【约等待3分钟】后预置成功。预置成功后ECS资源用户、密码信息可点击预置环境信息查看。环境预置会生成资源：名称为“python-spider”的弹性云服务器ECS、创建配置相关的VPC、共享带宽，弹性公网IP、安全组。

img

1.2.登录华为云

进入【实验操作桌面】，打开Chrome浏览器，首次可自动登录并进入华为云控制台页面，选择【IAM用户登录】模式，于登录对话框中输入系统为您分配的华为云实验账号和密码登录华为云，如下图所示：

img

1.3.创建云数据库RDS

在已登录的华为云控制台，展开左侧菜单栏，点击“服务列表”->“数据库”->“云数据库 RDS”进入云数据库RDS控制台，点击“购买数据库实例”。
参数配置如下图所示：

img

img

img

img

参数设置完成点击“立即购买”，确认参数无误后点击“提交”完成购买，点击“返回云数据库RDS列表”可查看到正在创建的云数据库RDS，约等待【4-6分钟】数据库状态变为“正常”，说明数据库创建完成，如下图所示：

img

1.4.创建数据库及数据库表

点击云数据库RDS“rds-spider”进入详情页，在左侧导航栏，单击“连接管理”->“公网地址”->单击“绑定”->“确定”。如下图所示：

img

弹性公网IP绑定完成，点击“登录”，输入用户名：root，密码：创建云数据库RDS时设置的密码，如下图所示：

img

点击“登录”进入数据库列表，然后点击“+新建数据库”，数据库名称为“vmall”，点击“确定”，完成数据库创建，如下图所示：

img

在新建的数据库右侧点击“新建表”，如下图所示：

img

进入数据库“vmall”的表管理页，点击“+新建表”，表名：“product”，其他参数默认，点击“下一步”如下图所示：

img

添加3个字段如下图所示：

img

设置完成点击“立即创建”，弹出SQL预览页面，如下图所示：

img

点击“执行脚本”完成表创建。

2.查看目的网页并编写爬虫代码

2.1.洞察目的网页

在【实验操作桌面】浏览器新建tab页，输入华为商城地址并访问：https://sale.vmall.com/huaweizone.html，在打开的页面选择一件商品打开商品详情页，如下图所示：

img

按“F12”查看网页元素，选择“鼠标跟随”按钮查看元素，然后点击网页中某个元素，可以看到源码界面显示了此元素对应的源码片段，从该源码片段中找到元素class或是id属性，如下图所示：

img

2.2.创建爬虫项目并导入

切换到【实验操作桌面】，打开“Xfce终端”，依次执行以下命令在桌面新建项目文件夹。

cd Desktop
scrapy startproject vmall_spider
cd vmall_spider
scrapy genspider -t crawl vmall "vmall.com"

启动“Pycharm”，启动成功点击“File”->“Open”，选择创建的项目“vmall_spider”如下图所示：

img

点击“OK”->“This Window”完成项目导入。

2.3.编写爬虫代码

（1）在项目“vmall_spider”-＞“spiders”下，双击打开“vmall.py”文件，删除原有代码，写入以下代码：

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from vmall_spider.items import VmallSpiderItem

class VamllSpider(CrawlSpider):
    name = 'vamll'
    allowed_domains = ['vmall.com']
    start_urls = ['https://sale.vmall.com/huaweizone.html']

    rules = (
        Rule(LinkExtractor(allow=r'.*/product/.*'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        title=response.xpath("//div[@class='product-meta product-global']/h1/text()").get()
        price=response.xpath("//div[@class='product-price-info']/span/text()").get()
        image=response.xpath("//a[@id='product-img']/img/@src").get()
        item=VmallSpiderItem(
            title=title,
            image=image,
        )
        print("="*30)
        print(title)
        print(image)
        print("="*30)
        yield item

（2）双击打开“itmes.py”文件，删除原有代码，写入以下代码：

import scrapy
class VmallSpiderItem(scrapy.Item):
    title=scrapy.Field()
    image=scrapy.Field()

（3）双击打开“pipelines.py”文件，删除原有代码，写入以下代码（使用步骤1.3创建的云数据库RDS的密码、步骤1.4绑定的弹性公网IP替换代码中的相关信息）。

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
import pymysql
import os
from urllib import request

class VmallSpiderPipeline:
    def __init__(self):
        dbparams={
            'host':'124.70.15.164', #云数据库弹性公网IP
            'port':3306, #云数据库端口
            'user':'root', #云数据库用户
            'password':'rIDM7g4nl5VxRUpI', #云数据库RDS密码
            'database':'vmall', #数据库名称
            'charset':'utf8'
        }
        self.conn=pymysql.connect(**dbparams)
        self.cursor=self.conn.cursor()
        self._sql=None

        self.path=os.path.join(os.path.dirname(os.path.dirname(__file__)),'images')
        if not os.path.exists(self.path):
            os.mkdir(self.path)

    def process_item(self,item,spider):
        url=item['image']
        image_name=url.split('_')[-1]
        print("--------------------------image_name-----------------------------")
        print(image_name)
        print(url)
        request.urlretrieve(url,os.path.join(self.path,image_name))
        self.cursor.execute(self.sql,(item['title'], item['image']))
        self.conn.commit()
        return item

    @property
    def sql(self):
        if not self._sql:
            self._sql="""
            insert into product(id,title,image) values(null,%s,%s)
            """
            return self._sql
        return self._sql

（4）鼠标右键“vmall_spider”（目录第二层）点击“new”->“Python File”创建“start.py”文件，写入以下代码。

from scrapy import cmdline
cmdline.execute("scrapy crawl vamll".split())

（5）双击打开“settings.py”文件，删除原有代码，写入以下代码：

# Scrapy settings for vmall_spider project
# python-spider-rds
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://docs.scrapy.org/en/latest/topics/settings.html
#     https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://docs.scrapy.org/en/latest/topics/spider-middleware.html
import os

BOT_NAME = 'vmall_spider'

SPIDER_MODULES = ['vmall_spider.spiders']
NEWSPIDER_MODULE = 'vmall_spider.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
# USER_AGENT = 'vmall_spider (+http://www.yourdomain.com)'

# Obey robots.txt rules
# ROBOTSTXT_OBEY = True
ROBOTSTXT_OBEY = False

# Configure maximum concurrent requests performed by Scrapy (default: 16)
# CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
# CONCURRENT_REQUESTS_PER_DOMAIN = 16
# CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
# COOKIES_ENABLED = False

# Disable Telnet Console (enabled by default)
# TELNETCONSOLE_ENABLED = False

# Override the default request headers:
# DEFAULT_REQUEST_HEADERS = {
#   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#   'Accept-Language': 'en',
# }
DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
    'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16'

}

# Enable or disable spider middlewares
# See https://docs.scrapy.org/en/latest/topics/spider-middleware.html
# SPIDER_MIDDLEWARES = {
#    'vmall_spider.middlewares.VmallSpiderSpiderMiddleware': 543,
# }

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
# DOWNLOADER_MIDDLEWARES = {
#     'vmall_spider.middlewares.SeleniumDownloadMiddleware': 543,
# }

# Enable or disable extensions
# See https://docs.scrapy.org/en/latest/topics/extensions.html
# EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
# }

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'vmall_spider.pipelines.VmallSpiderPipeline': 300,
}

# Enable and configure the AutoThrottle extension (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/autothrottle.html
# AUTOTHROTTLE_ENABLED = True
# The initial download delay
# AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
# AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
# AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
# AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
# HTTPCACHE_ENABLED = True
# HTTPCACHE_EXPIRATION_SECS = 0
# HTTPCACHE_DIR = 'httpcache'
# HTTPCACHE_IGNORE_HTTP_CODES = []
# HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage

至此代码编写完成。

3.在弹性云服务器ECS上运行爬虫程序

3.1.安装所需依赖

登录弹性云服务器ECS：
① 切换到【实验操作桌面】已打开的“Xfce终端”，执行以下命令（使用弹性云服务器ECS的公网IP替换命令中的【EIP】），登录云服务器；

ssh root@EIP

说明: 在华为云控制点展开左侧菜单栏，点击“服务列表”->“计算”->“弹性云服务器ECS”进入管理列表，可查看复制名称为“python-spider”的ECS服务器的弹性公网IP。

② 接受秘钥输入“yes”，回车；
③ 输入密码：使用预置环境信息中云服务器名称为python-spider的用户密码（输入密码时，命令行窗口不会显示密码，输完之后直接键入回车）。
登录成功如下图所示：

img

依次执行以下命令安装所需依赖。

yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

yum install gcc libffi-devel python-devel openssl-devel -y
yum install libxslt-devel -y

执行以下命令升级pip。

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip

依次执行以下命令安装pip依赖。

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pymysql
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pillow

3.2.上传爬虫项目并运行

执行以下命令退出弹性云服务器ECS登录状态。

exit

执行以下命令（使用弹性云服务器ECS的弹性公网IP替换命令中的EIP）上传项目到弹性云服务器ECS，提示输入密码为：使用预置环境信息中云服务器名称为python-spider的用户密码

cd /home/user/Desktop && scp -r ./vmall_spider root@EIP:/root

仿照步骤3.1重新登录弹性云服务器ECS，登录成功后执行以下命令，可查看到上传的项目。

ls

如下图所示：

img

执行以下命令启动爬虫项目，运行片刻（约30秒），按“Ctrl+Z”键停止运行程序。

cd /root/vmall_spider/vmall_spider/ && python3 start.py

运行成功如下图所示：

img

3.3.查看爬取数据

切换至【实验操作桌面】浏览器已登录云数据库RDS页面，点击“对象列表”->“打开表”如下图所示：

img

可看到已爬取的数据，如下图所示：

img

4.存储爬取图片至对象存储服务OBS

4.1.创建对象存储服务OBS

切换至弹性云服务器列表页，展开左侧菜单栏，点击“服务列表”->“存储”->“对象存储服务OBS”进入管理列表。点击“创建桶”填写参数如下图所示：

img

img

img

点击“立即创建”->“确定”完成对象存储服务OBS桶的创建，如下图所示：

img

4.2.安装对象存储服务OBS客户端

在弹性云服务器ECS上安装对象存储服务OBS客户端。
切换至已登录弹性云服务器ECS的命令行界面，执行以下命令下载“obsutil”工具。

cd ~ && wget https://sandbox-experiment-resource-north-4.obs.cn-north-4.myhuaweicloud.com/python-spider-rds/obsutil_linux_amd64.tar.gz

执行以下命令解压“obsutil”工具。

tar zvxf obsutil_linux_amd64.tar.gz

切换至实验浏览器华为云控制台页面，在右上角账号名下拉菜单中选择“我的凭证”-＞“访问秘钥”，进入创建管理访问密钥（AK/SK）的界面。位置如下图所示：

img

请删除原有的访问密钥，再进行新密钥的创建。点击【新增访问密钥】，在弹框中点击【确定】即可完成新增，然后点击“立即下载”选择“保存文件”->“确定”， 将密钥保存至浏览器默认文件保存路径/home/user/Downloads/，妥善保存系统自动下载的“credentials.csv”文件中的AK（Access Key Id）和SK（Secret Access Key）以备后面操作使用。

AK和SK查看方式：
切换至【实验操作桌面】双击图标“Xfce 终端”新打开一个命令行界面，输入以下命令，切换到目录（/home/user/Downloads/）下。

cd /home/user/Downloads/

输入以下命令，即可查看AK和SK内容：

vi credentials.csv

内容如图所示：

img

切换到已登录弹性云服务器ECS的命令行界面，执行以下命令（使用上图所示AK、SK替换命令中的“your_ak”、“your_sk”），初始化“obsutil”。

./obsutil_linux_amd64_5.2.5/obsutil config -i=your_ak -k=your_sk -e=https://obs.cn-north-4.myhuaweicloud.com

初始化成功如下图所示：

img

执行以下命令查看“obsutil”连通性。

./obsutil_linux_amd64_5.2.5/obsutil ls -s

连通正常如下图所示：

img

4.3.上传爬取图片至对象存储服务OBS并查看

继续执行以下命令【使用创建的对象存储服务OBS的名称（如：obs-spider）替换命令中的“your_bucket_name”】，上传爬取到的图片。

/root/obsutil_linux_amd64_5.2.5/obsutil cp /root/vmall_spider/images obs://your_bucket_name -f -r -vmd5 -flat -u

执行成功如下图所示：

img

仿照4.1步骤找到创建的对象存储服务OBS，点击名称打开详情页，点击左侧栏“对象”可看到上传保存的爬取图片，如下图所示：

img

任意点击图片名称进入详情，选择“图片预览”可预览爬取的图片如下图所示：

img

至此试验全部完成。

【我的华为云体验之旅】有奖征文火热进行中：https://bbs.huaweicloud.com/blogs/309059

【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
Python 弹性云服务器 ECS
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入