Python——简易代理池

01 实现背景

免费代理IP网站：https://www.xicidaili.com/wt/1，我们爬取的IP就来源于该网站下的免费代理IP信息

requests模块，用于http形式请求访问网页

BeautifulSoup模块，用于解析获取到的网页内容

02 实现目标

利用Python代码实现爬取可用代理IP，并将爬取到的IP地址载入到本地文件，方便后期使用

03 注意事项

1、为防止网站可能存在的简单反爬机制，我们简单添加headers信息，尝试绕过反爬

2、为保证爬取到的代理IP的可用性，我们使用该代理IP尝试访问百度,若访问成功即写入本地文件

04 实现代码

import requests
from  bs4  import BeautifulSoup
from threading import Thread

headers = {
	'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}

def get_ip():
	for page in range(1,100):
		resp = requests.get('https://www.xicidaili.com/wt/{}'.format(page),headers=headers)
		soup = BeautifulSoup(resp.text,'lxml')
		dates = soup.select('tr')
		for i in range(1,50):
			date = dates[i]
			date_detail = BeautifulSoup(str(date),'lxml')
			date_text = date_detail.select('td')
			IP = date_text[1].text
			Port =date_text[2].text
			Address = date_text[3].text
			Protocol = date_text[5].text
			print(f'{Protocol.lower()}://{IP}:{Port}\t{Address}')
			with open('get_ip.txt',mode ='a+') as file:
				file.write(f'{Protocol.lower()}://{IP}:{Port}\t{Address}\n')
			ip_judge = f'{Protocol.lower()}://{IP}:{Port}'
			proxy_list={}
			proxy_list[Protocol.lower()] = ip_judge
			resp_judge = requests.get(url = 'https://www.baidu.com',headers=headers,proxies=proxy_list)
			if resp_judge.status_code == 200:
				with open('get_ip.txt',mode ='a+') as file:
					file.write(f'{proxy_list}\n')
			else:
				print(f'This proxy is failed:{proxy_list}')

get_ip()

05 实现效果