python爬虫,将天气预报可视化

举报
爱打瞌睡的CV君 发表于 2022/07/08 00:51:12 2022/07/08
【摘要】 文章目录 🏅 前言⚔ 结果展示⚔ 程序代码⚔ 期望⚔ 完善(2022.1.5) 🏅 前言 划水许久,终于在今天,开始了2022年的第一篇文章。 在想题材之际,打开私信,有许多萌新...

🏅 前言

划水许久,终于在今天,开始了2022年的第一篇文章。

在想题材之际,打开私信,有许多萌新&小伙伴询问我之前写的一篇《python爬取天气预报数据,并实现数据可视化》中的bug怎么解决,虽然我在之前,就在评论区提供了自己的解决思路,但可能不够清楚,于是写这篇文章,来解决bug,并对程序进行优化。

  • 爬取思路可以看之前那篇文章哟:

《python爬取天气预报数据,并实现数据可视化》

⚔ 结果展示

  • 其中:

红线代表当天最高气温,蓝线代表最低气温,最高气温点上的标注为当天的天气情况。

如果使夜晚运行程序,则最高气温和最低气温的点会重合,使由爬取数据产生误差导致的。

在这里插入图片描述

⚔ 程序代码

详细请看注释

# -*- coding: UTF-8 -*-
"""
# @Time: 2022/1/4 11:02
# @Author: 远方的星
# @CSDN: https://blog.csdn.net/qq_44921056
"""
import chardet
import requests
from lxml import etree
from fake_useragent import UserAgent
import pandas as pd
from matplotlib import pyplot as plt


# 随机产生请求头
ua = UserAgent(verify_ssl=False, path='D:/Pycharm/fake_useragent.json')


# 随机切换请求头
def random_ua():
    headers = {
        "user-agent": ua.random
    }
    return headers


# 解析页面
def res_text(url):
    res = requests.get(url=url, headers=random_ua())
    res.encoding = chardet.detect(res.content)['encoding']
    response = res.text
    html = etree.HTML(response)
    return html


# 获得未来七天及八到十五天的页面链接
def get_url(url):
    html = res_text(url)
    url_7 = 'http://www.weather.com.cn/' + html.xpath('//*[@id="someDayNav"]/li[2]/a/@href')[0]
    url_8_15 = 'http://www.weather.com.cn/' + html.xpath('//*[@id="someDayNav"]/li[3]/a/@href')[0]
    # print(url_7)
    # print(url_8_15)
    return url_7, url_8_15


# 获取未来七天的天气情况
def get_data_7(url):
    html = res_text(url)
    list_s = html.xpath('//*[@id="7d"]/ul/li')  # 获取天气数据列表
    Date, Weather, Low, High = [], [], [], []
    for i in range(len(list_s)):
        list_date = list_s[i].xpath('./h1/text()')[0]  # 获取日期,如:4日(明天)
        # print(list_data)
        list_weather = list_s[i].xpath('./p[1]/@title')[0]  # 获取天气情况,如:小雨转雨夹雪
        # print(list_weather)
        tem_low = list_s[i].xpath('./p[2]/i/text()')  # 获取最低气温
        tem_high = list_s[i].xpath('./p[2]/span/text()')  # 获取最高气温
        if tem_high == []:  # 遇到夜晚情况,筛掉当天的最高气温
            tem_high = tem_low  # 无最高气温时,使最高气温等于最低气温
        tem_low = int(tem_low[0].replace('℃', '')) # 将气温数据处理
        tem_high = int(tem_high[0].replace('℃', ''))
        # print(type(tem_high))
        Date.append(list_date), Weather.append(list_weather), Low.append(tem_low), High.append(tem_high)
    excel = pd.DataFrame()  # 定义一个二维列表
    excel['日期'] = Date
    excel['天气'] = Weather
    excel['最低气温'] = Low
    excel['最高气温'] = High
    # print(excel)
    return excel


def get_data_8_15(url):
    html = res_text(url)
    list_s = html.xpath('//*[@id="15d"]/ul/li')
    Date, Weather, Low, High = [], [], [], []
    for i in range(len(list_s)):
        # data_s[0]是日期,如:周二(11日),data_s[1]是天气情况,如:阴转晴,data_s[2]是最低温度,如:/-3℃
        data_s = list_s[i].xpath('./span/text()')
        # print(data_s)
        date = modify_str(data_s[0])  # 获取日期情况
        weather = data_s[1]
        low = int(data_s[2].replace('/', '').replace('℃', ''))
        high = int(list_s[i].xpath('./span/em/text()')[0].replace('℃', ''))
        # print(date, weather, low, high)
        Date.append(date), Weather.append(weather), Low.append(low), High.append(high)
    # print(Date, Weather, Low, High)
    excel = pd.DataFrame()  # 定义一个二维列表
    excel['日期'] = Date
    excel['天气'] = Weather
    excel['最低气温'] = Low
    excel['最高气温'] = High
    # print(excel)
    return excel


# 将8-15天日期格式改成与未来7天一致
def modify_str(date):
    date_1 = date.split('(')
    date_2 = date_1[1].replace(')', '')
    date_result = date_2 + '(' + date_1[0] + ')'
    return date_result


# 实现数据可视化
def get_image(date, weather, high, low):
    # 用来正常显示中文标签
    plt.rcParams['font.sans-serif'] = ['SimHei']
    # 用来正常显示负号
    plt.rcParams['axes.unicode_minus'] = False
    # 根据数据绘制图形
    fig = plt.figure(dpi=128, figsize=(10, 6))
    ax = fig.add_subplot(111)
    plt.plot(date, high, c='red', alpha=0.5, marker='*')
    plt.plot(date, low, c='blue', alpha=0.5, marker='o')
    # 给图表中两条折线中间的部分上色
    plt.fill_between(date, high, low, facecolor='blue', alpha=0.2)
    # 设置图表格式
    plt.title('邳州近15天天气预报', fontsize=24)
    plt.xlabel('日期', fontsize=12)
    # 绘制斜的标签,以免重叠
    fig.autofmt_xdate()
    plt.ylabel('气温', fontsize=12)
    # 参数刻度线设置
    plt.tick_params(axis='both', which='major', labelsize=10)
    # 修改刻度
    plt.xticks(date[::1])
    # 对点进行标注,在最高气温点处标注当天的天气情况
    for i in range(15):
        ax.annotate(weather[i], xy=(date[i], high[i]))
    # 显示图片
    plt.show()


def main():
    base_url = 'http://www.weather.com.cn/weather1d/101190805.shtml'
    url_7, url_8_15 = get_url(base_url)
    data_1 = get_data_7(url_7)
    data_2 = get_data_8_15(url_8_15)
    data = pd.concat([data_1, data_2], axis=0, ignore_index=True)  # ignore_index=True实现两张表拼接,不保留原索引
    get_image(data['日期'], data['天气'], data['最高气温'], data['最低气温'])


if __name__ == '__main__':
    main()


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141
  • 142
  • 143
  • 144
  • 145
  • 146

⚔ 期望

这是以一个城市为例的可视化,下次争取做到根据输入的城市进行天气预报可视化📡

⚔ 完善(2022.1.5)

  • ①、新增一个函数:

用于根据使用者需要,获取相应城市的名称和编号。

需要注意的是,城市名称在输入时,不要加上“市”,如北京市,输入北京即可;深圳市,输入深圳即可。

函数中用到的本地文件,可用下面的百度网盘链接下载:

链接https://pan.baidu.com/s/10T8e6mNcL11jsgdW0DwVQw
提取码:ol39

def city_num():
    city = input("请输入您想要查询天气情况的城市:")
    file = pd.read_csv('D:/中国天气城市编号.csv', encoding="utf-8")  # 读取本地文件
    index = file[file['城市'] == '{}'.format(city)].index.tolist()[0]  # 根据城市查找行标签
    num = file.loc[index, '编号']  # 根据行标签和列表签锁定值
    return city, num

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • ②、对可视化的细节进行一部分修改:
    在图像中可直观看到气温变化,最高气温和最低气温数值,及每天的天气情况
  • ③、完善后的结果:
    在这里插入图片描述
  • ④、完善后的源码:
# -*- coding: UTF-8 -*-
"""
# @Time: 2022/1/4 11:02
# @Author: 远方的星
# @CSDN: https://blog.csdn.net/qq_44921056
"""
import chardet
import requests
from lxml import etree
from fake_useragent import UserAgent
import pandas as pd
from matplotlib import pyplot as plt


# 随机产生请求头
ua = UserAgent(verify_ssl=False, path='D:/Pycharm/fake_useragent.json')


# 随机切换请求头
def random_ua():
    headers = {
        "user-agent": ua.random
    }
    return headers


def city_num():
    city = input("请输入您想要查询天气情况的城市:")
    file = pd.read_csv('D:/中国天气城市编号.csv', encoding="utf-8")  # 读取本地文件
    index = file[file['城市'] == '{}'.format(city)].index.tolist()[0]  # 根据城市查找行标签
    num = file.loc[index, '编号']  # 根据行标签和列表签锁定值
    return city, num


# 解析页面
def res_text(url):
    res = requests.get(url=url, headers=random_ua())
    res.encoding = chardet.detect(res.content)['encoding']
    response = res.text
    html = etree.HTML(response)
    return html


# 获得未来七天及八到十五天的页面链接
def get_url(url):
    html = res_text(url)
    url_7 = 'http://www.weather.com.cn/' + html.xpath('//*[@id="someDayNav"]/li[2]/a/@href')[0]
    url_8_15 = 'http://www.weather.com.cn/' + html.xpath('//*[@id="someDayNav"]/li[3]/a/@href')[0]
    # print(url_7)
    # print(url_8_15)
    return url_7, url_8_15


# 获取未来七天的天气情况
def get_data_7(url):
    html = res_text(url)
    list_s = html.xpath('//*[@id="7d"]/ul/li')  # 获取天气数据列表
    Date, Weather, Low, High = [], [], [], []
    for i in range(len(list_s)):
        list_date = list_s[i].xpath('./h1/text()')[0]  # 获取日期,如:4日(明天)
        # print(list_data)
        list_weather = list_s[i].xpath('./p[1]/@title')[0]  # 获取天气情况,如:小雨转雨夹雪
        # print(list_weather)
        tem_low = list_s[i].xpath('./p[2]/i/text()')  # 获取最低气温
        tem_high = list_s[i].xpath('./p[2]/span/text()')  # 获取最高气温
        if tem_high == []:  # 遇到夜晚情况,筛掉当天的最高气温
            tem_high = tem_low  # 无最高气温时,使最高气温等于最低气温
        tem_low = int(tem_low[0].replace('℃', '')) # 将气温数据处理
        tem_high = int(tem_high[0].replace('℃', ''))
        # print(type(tem_high))
        Date.append(list_date), Weather.append(list_weather), Low.append(tem_low), High.append(tem_high)
    excel = pd.DataFrame()  # 定义一个二维列表
    excel['日期'] = Date
    excel['天气'] = Weather
    excel['最低气温'] = Low
    excel['最高气温'] = High
    # print(excel)
    return excel


def get_data_8_15(url):
    html = res_text(url)
    list_s = html.xpath('//*[@id="15d"]/ul/li')
    Date, Weather, Low, High = [], [], [], []
    for i in range(len(list_s)):
        # data_s[0]是日期,如:周二(11日),data_s[1]是天气情况,如:阴转晴,data_s[2]是最低温度,如:/-3℃
        data_s = list_s[i].xpath('./span/text()')
        # print(data_s)
        date = modify_str(data_s[0])  # 获取日期情况
        weather = data_s[1]
        low = int(data_s[2].replace('/', '').replace('℃', ''))
        high = int(list_s[i].xpath('./span/em/text()')[0].replace('℃', ''))
        # print(date, weather, low, high)
        Date.append(date), Weather.append(weather), Low.append(low), High.append(high)
    # print(Date, Weather, Low, High)
    excel = pd.DataFrame()  # 定义一个二维列表
    excel['日期'] = Date
    excel['天气'] = Weather
    excel['最低气温'] = Low
    excel['最高气温'] = High
    # print(excel)
    return excel


# 将8-15天日期格式改成与未来7天一致
def modify_str(date):
    date_1 = date.split('(')
    date_2 = date_1[1].replace(')', '')
    date_result = date_2 + '(' + date_1[0] + ')'
    return date_result


# 实现数据可视化
def get_image(city, date, weather, high, low):
    # 用来正常显示中文标签
    plt.rcParams['font.sans-serif'] = ['SimHei']
    # 用来正常显示负号
    plt.rcParams['axes.unicode_minus'] = False
    # 根据数据绘制图形
    fig = plt.figure(dpi=128, figsize=(10, 6))
    ax = fig.add_subplot(111)
    plt.plot(date, high, c='red', alpha=0.5, marker='*')
    plt.plot(date, low, c='blue', alpha=0.5, marker='o')
    # 给图表中两条折线中间的部分上色
    plt.fill_between(date, high, low, facecolor='blue', alpha=0.2)
    # 设置图表格式
    plt.title('{}近15天天气预报'.format(city), fontsize=24)
    plt.xlabel('日期', fontsize=12)
    # 绘制斜的标签,以免重叠
    fig.autofmt_xdate()
    plt.ylabel('气温', fontsize=12)
    # 参数刻度线设置
    plt.tick_params(axis='both', which='major', labelsize=10)
    # 修改刻度
    plt.xticks(date[::1])
    # 对点进行标注,在最高气温点处标注当天的天气情况
    for i in range(15):
        ax.annotate(weather[i], xy=(date[i], low[i]+1))
        ax.annotate(str(high[i])+'℃', xy=(date[i], high[i]+0.2))
        ax.annotate(str(low[i])+'℃', xy=(date[i], low[i]+0.2))
    # 显示图片
    plt.show()


def main():
    city, num = city_num()
    base_url = 'http://www.weather.com.cn/weather1d/{}.shtml'.format(num)
    url_7, url_8_15 = get_url(base_url)
    data_1 = get_data_7(url_7)
    data_2 = get_data_8_15(url_8_15)
    data = pd.concat([data_1, data_2], axis=0, ignore_index=True)  # ignore_index=True实现两张表拼接,不保留原索引
    get_image(city, data['日期'], data['天气'], data['最高气温'], data['最低气温'])


if __name__ == '__main__':
    main()


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141
  • 142
  • 143
  • 144
  • 145
  • 146
  • 147
  • 148
  • 149
  • 150
  • 151
  • 152
  • 153
  • 154
  • 155
  • 156
  • 157

如果对你有帮助,记得点个赞👍哟,也是对作者最大的鼓励🙇‍♂️。
如有不足之处可以在评论区👇多多指正,我会在看到的第一时间进行修正

作者:远方的星
CSDN:https://blog.csdn.net/qq_44921056
本文仅用于交流学习,未经作者允许,禁止转载,更勿做其他用途,违者必究。

文章来源: luckystar.blog.csdn.net,作者:爱打瞌睡的CV君,版权归原作者所有,如需转载,请联系作者。

原文链接:luckystar.blog.csdn.net/article/details/122301215

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。