人家网站都免费了,你还用Python去爬?

举报
梦想橡皮擦 发表于 2023/01/25 17:53:06 2023/01/25
【摘要】 ⛳️ 实战场景这次实战的目标是一个叫做猫肯的字体站点,该站点所有的字体都是免费可商用的,所以为什么还要去下载呢?答案是练手,借免费站点学习爬虫,🌋目标站点地址:https://www.maoken.com/all-fonts目标页截图如下所示:使用的模块是 requests + lxml,用最少的代码,学习最纯粹的爬虫。 ⛳️ 实战编码基于捕获到的页面源码,直接提取内容。import r...

⛳️ 实战场景

这次实战的目标是一个叫做猫肯的字体站点,该站点所有的字体都是免费可商用的,所以为什么还要去下载呢?

答案是练手,借免费站点学习爬虫,🌋

目标站点地址:https://www.maoken.com/all-fonts
目标页截图如下所示:

使用的模块是 requests + lxml,用最少的代码,学习最纯粹的爬虫。

⛳️ 实战编码

基于捕获到的页面源码,直接提取内容。

import requests
from lxml import etree


def get_html():
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36"
    }
    res = requests.get('https://www.maoken.com/all-fonts', headers=headers)
    ele = etree.HTML(res.text)
    div_list = ele.xpath("//div[@class='basetabcon']")
    for div in div_list:
        tr_list = div.xpath(".//tr")
        for tr in tr_list:
            print(tr.xpath("./td/text()"))


if __name__ == '__main__':
    get_html()

本部分代码中,可以看到优先提取了 class='basetabcon'div,然后遍历其所有节点,提取 tr 元素,并且打印了其子节点 td 中的文本内容,输出如下:

['字体系列', '字体名称', 'PS中名称', '开发者', '发布时间', '最新版本', '分类', '字重数', '简体字数', '繁体字数', '授权方式', '下载']
[]
['字体圈系列', '字体圈伟君黑', '字体圈Design', '2022年10月', 'v1.00 ', '黑体', '1', '★★★★★', '★']
['字体圈欣意吉祥宋', '字体圈Design', '2021年01月', 'v1.00 ', '宋体', '1', '★★★★★', '★']
['字体圈欣意冠黑体', '字体圈Design', '2020年04月', 'v4.000 ', '创意体', '1', '★★★★★', '★★★★★']

此时发现出现了数据问题,第一行和第二行属于冗余数据,需要清理。

def get_html():
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36"
    }
    res = requests.get('https://www.maoken.com/all-fonts', headers=headers)
    ele = etree.HTML(res.text)
    div_list = ele.xpath("//div[@class='basetabcon']")
    for div in div_list:
        tr_list = div.xpath(".//tr")
        # 去除第一行冗余 tr
        for tr in tr_list[1:]:
            # 去除空数据
            if len(tr.xpath("./td/text()")) == 0:
                continue
            print(tr.xpath("./td/text()"))

按照上述内容对数据进行处理之后,得到下述信息:

['字体圈系列', '字体圈伟君黑', '字体圈Design', '2022年10月', 'v1.00 ', '黑体', '1', '★★★★★', '★']
['字体圈欣意吉祥宋', '字体圈Design', '2021年01月', 'v1.00 ', '宋体', '1', '★★★★★', '★']
['字体圈欣意冠黑体', '字体圈Design', '2020年04月', 'v4.000 ', '创意体', '1', '★★★★★', '★★★★★']

下面要处理的是合并单元格问题,在正式编码前优先核对一下界面显示规则。

其中字体圈系列 显示被合并了,从内容输出看,单元格字体圈系列所在的行多一个单元格,即列表多一个元素,如下所示。

接下来我们对数据进行再次整理,当单元格数量等于 13 的时候,新增一个字典 KEY,后续的字体都追加到该字典项中。

def get_html():
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ……"
    }
    res = requests.get('https://www.maoken.com/all-fonts', headers=headers)
    ele = etree.HTML(res.text)
    div_list = ele.xpath("//div[@class='basetabcon']")
    for div in div_list:
        tr_list = div.xpath(".//tr")
        # 去除第一行冗余 tr
        result = {}
        for tr in tr_list[1:8]:
            td_content = tr.xpath("./td//text()")
            # 去除空数据
            if len(td_content) < 4:
                continue

            # 合并单元格
            if len(td_content)==13:
                head = td_content[0]
                td_list = td_content[1:]
                result[head] = [] # 建立一个空字典
                result[head].append(td_list[:-2]) # 字典的值增加项

            else:
                result[head].append(td_content)

        print(result)

此时运行代码就可以获取到完整的表格数据了,效果如下所示,与网页对比之后,无数据丢失问题。

该案例实战中最需要学习的部分是单元格的解析,其中用到了差异对比,在实践中最大的风险是需要保证数据是完整的,即数据量中无缺项,否则无法进行硬编码解析数据。

本次实战通过 div 进行了首次提取,最终输出的数据是基于单元格位置进行拆分的,学习的时候重点掌握该解题方法。

📢📢📢📢📢📢
💗 你正在阅读 【梦想橡皮擦】 的博客
👍 阅读完毕,可以点点小手赞一下
🌻 发现错误,直接评论区中指正吧
📆 橡皮擦的第 737 篇原创博客

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。