Python爬取彩票数据

举报
风水道人 发表于 2023/05/04 16:04:48 2023/05/04
【摘要】 Python爬取彩票数据
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 设置请求头,模拟浏览器访问
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求,获取HTML页面
url = 'http://datachart.500.com/ssq/history/newinc/history.php?start=00001&end=31001'
response = requests.get(url, headers=headers)
html = response.content.decode('utf-8')
# 解析HTML页面,提取数据
soup = BeautifulSoup(html, 'html.parser')
table = soup.find_all('table')[0]
trs = table.find_all('tr')
data = []
for tr in trs[2:]:
    tds = tr.find_all('td')
    row = []
    for td in tds:
        row.append(td.text.strip())
    data.append(row)
    # 将数据保存为CSV文件
df = pd.DataFrame(data, columns=['date', 'r1', 'r2', 'r3', 'r4', 'r5', 'r6', 'b'])
df.to_csv('history_data.csv', index=False)

# 其中,requests库用于发送HTTP请求,BeautifulSoup库用于解析HTML页面。
# headers是请求头,用于模拟浏览器访问。url是历史数据页面的URL。
# response.content是HTML页面的二进制数据,需要使用decode方法将其转换为字符串。table是历史数据表格,trs是表格行,tds是表格列。`data
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。