Python爬取彩票数据

import requests
from bs4 import BeautifulSoup
import pandas as pd
# 设置请求头，模拟浏览器访问
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求，获取HTML页面
url = 'http://datachart.500.com/ssq/history/newinc/history.php?start=00001&end=31001'
response = requests.get(url, headers=headers)
html = response.content.decode('utf-8')
# 解析HTML页面，提取数据
soup = BeautifulSoup(html, 'html.parser')
table = soup.find_all('table')[0]
trs = table.find_all('tr')
data = []
for tr in trs[2:]:
    tds = tr.find_all('td')
    row = []
    for td in tds:
        row.append(td.text.strip())
    data.append(row)
    # 将数据保存为CSV文件
df = pd.DataFrame(data, columns=['date', 'r1', 'r2', 'r3', 'r4', 'r5', 'r6', 'b'])
df.to_csv('history_data.csv', index=False)

# 其中，requests库用于发送HTTP请求，BeautifulSoup库用于解析HTML页面。
# headers是请求头，用于模拟浏览器访问。url是历史数据页面的URL。
# response.content是HTML页面的二进制数据，需要使用decode方法将其转换为字符串。table是历史数据表格，trs是表格行，tds是表格列。`data