Python爬虫必备技能，使用 动态代理ip 获取Steam 热销商品 示例

• 🎬 博客主页：https://xiaoy.blog.csdn.net

• 🎥 本文由 呆呆敲代码的小Y 原创，首发于 CSDN🙉

• 🎄 学习专栏推荐：Unity系统学习专栏

• 🌲 游戏制作专栏推荐：游戏制作

• 🌲Unity实战100例专栏推荐：Unity 实战100例 教程

• 🏅 欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！

• 📆 未来很长，值得我们全力奔赴更美好的生活✨

• ------------------❤️分割线❤️-------------------------

@toc

引言

• 动态代理ip 相信大家肯定都听说过，或者已经使用过。
• 本篇文章就来介绍一下什么是动态代理ip，还有一个使用代理ip爬取Youtube游戏模块主页。
• 使用动态ip有很多好处，比如保护你的网络免受外部攻击、屏蔽你的IP地址等。
• 那本篇文章就来研究一下这个动态ip，对这方面不了解的小伙伴正好可以一起学习一下。

一、动态代理ip

1.1 什么是动态代理ip

动态代理IP，字面意思来说这个IP会随时随机发生变化，不是固定的，就是动态代理IP。动态代理IP一般会有网络爬虫用户使用。

动态IP 分为 长效代理 和 短效代理：

• 长效代理代理IP：支持采集数据或者游戏挂机等许多业务，由于网络爬虫采集的数据量比较大，很少会选择长效代理，长效代理IP就相当于本地IP一样，访问一个网站久了自然IP也会被限制，而且采集的量非常小。不利于爬虫使用。

• 短效代理IP：支持数据抓取、seo优化、 APP刷量，问答推广等许多业务。一般是网络爬虫用户选择动态短效代理IP的比较多。爬虫的业务量大，使用动态短效代理IP去进行数据采集的话，能大大提高业务效率。

1.2 使用动态代理IP好处

1. 提高网站访问速度：浏览某个网站后，浏览的网站上的信息会存储在代理服务器的硬盘上。如果你再次浏览网站，这些信息可以随时在代理服务器中获取，而无需重新连接远程服务器。因此，它可以节省带宽，加快网站的浏览速度。
2. 作为防火墙：可以保证局域网的安全，作为防火墙的功能，对于使用代理服务器的局域网来说，从外部来看，只有代理服务器才能看到，而其他局域网的用户则不能看到。代理商还可以用来限制IP地址的封锁，禁止用户浏览某些页面。
3. 降低IP成本：应用代理服务器可以节省对IP地址的需求，从而降低IP地址的成本。
4. 便于管理网络资源：可以限制部分共享资源进入特殊区域用户，维护资源的区域性。
5. 提高爬虫的速率：使用动态代理ip可以绕过目标网站限制，更好的抓取网络数据，可以自定义时间更换ip地址，提高爬虫效率。

1.3 动态代理IP类别

动态代理IP 还分为透明代理，匿名代理，高匿代理。
以此可以看出代理IP的质量强度。对于网络爬虫来说可以根据自己的需求来购买定制需要动态IP。

高匿代理自然也是动态代理IP类型中质量最好的一种，不少的企业爬虫用户都会选择隧道转发的高匿爬虫代理IP来给业务提供需要，保证自己的业务效果和质量。

透明代理和匿名代理虽然也是代理IP，但是大大降低的爬虫业务的进展和效率，所以网络爬虫选择隧道转发的爬虫代理才是正确选择。

二、怎样申请 动态ip代理

2.1 选择合适的代理IP 网站

简单介绍了一下动态代理IP的概念和好处，再来说说怎样申请这个 动态代理IP 。

目前有很多的代理IP网站，根据稳定性和安全性对比价格差异很大。

那我这里使用的是 IPIDEA ，现在新用户有500M流量白嫖，正好我们可以拿来做实验。

可以直接点击注册就行了：http://www.ipidea.net/?utm-source=csdn&utm-keyword=?xy

进入网站之后点击 获取代理 -> API获取

然后根据自己的喜好选择 数量和地区，其他的使用默认选项即可，然后点击下面的 生成链接

如果没有实名认证的话会跳出这个界面，点击认证就好

然后复制我们生成的链接，这个链接要保存好，后面使用Python爬取的时候会用到。

把链接单独复制再打开就会看到刚才生成的IP，这部分可以用于我们自己的浏览器手动设置使用。

三、浏览器怎样使用 代理ip

上一步中我们获取到了一个 ip代理池，接下来拿QQ浏览器示例，简单看一下怎样使用这些代理ip。

在QQ浏览器菜单列表内 - 设置 - 高级 - 网络 - 更改代理服务器设置

在弹出的Internet属性窗口，点击局域网设置

填写我们复制的 IP 和 端口号，并点击 确定

打开百度/谷歌搜索引擎，搜索：IP，查看当前代理后的IP地址

到这里我们就是成功使用 代理ip 了，接下来使用 该代理ip 就可以干一些其他事情了~

但是这只是一个最简单的用法，更高级的应该是在使用爬虫的时候使用该动态IP代理池达到一个更好的效果。

下面就来简单写一个用代理ip来访问CSDN博客个人主页的实例。

四、使用 动态代理ip 获取Steam 热销商品 示例

使用Python写一个简单的 ip代理 示例，后面使用Python爬一些其他数据的时候都可以参照。

直接使用 requests 模块来做，然后再加一个随机请求头模块 fake_useragent 和 UserAgent。

下面就以 Steam 热销商品 做一个简单的示例，界面内容如下：

完整代码如下所示，注释很详细，就不多做说明了。

# 微信搜索：[呆呆敲代码的小Y]，回复[白嫖]获取超多精品编程学习资料！！
# 爬虫使用代理IP
# 导入模块：requests、fake-useragent、UserAgent
import requests
from fake_useragent import UserAgent

# 要访问的url地址
url='https://store.steampowered.com/search/?filter=topsellers'

# 随机请求头
headers={'User-Agent':UserAgent().random}

# 代理ip 的API(IPIDEA网站获取的)
api_url='http://tiqu.ipidea.io:81/abroad?num=100&type=1&lb=1&sb=0&flow=1&regions=&port=1'

res = requests.post(api_url,headers=headers, verify=True)

# proxies = {'协议': '协议://IP:端口号'}
proxie = "https://%s"%(res.text)
proxies = {'http': proxie}

# 打印所有的代理ip
print(proxies)

# 访问Youtube游戏模块测试并输出结果
html=requests.get(url=url,headers=headers,proxies=proxies).text
print(html)

# 微信搜索：[呆呆敲代码的小Y]，回复[白嫖]获取超多精品编程学习资料！！

运行效果所示：

获取Steam 热销商品 的完整信息如下：

这里只是演示了 使用 动态代理ip 获取Steam 热销商品 示例，利用好 动态代理ip 能用的事情可就更多了，大家自行体验吧！

只要能用爬虫的地方，我们可以自定义一个时间自动切换ip，这样在爬取大量数据的时候就会避免被限制访问，提高爬虫效率。

五、总结

• 关于 动态代理ip 这一块能做的功能不止爬取数据
• 还可以做更多好玩有趣的事，比如刷##，爬## 等等，具体用处大家自行摸索吧！
• 正好我最近也在更新Python的一些学习内容，大家对Python感兴趣的也可以来我的专栏学习哦。
• 博主对于Python这一块不是特别熟练，可以更好的从一个Python初学者的角度去和大家一起深入学习！
• 借助这个 Python零基础到入门 专栏 来跟大家一起学习Python相关的内容，如果有什么问题也欢迎在评论区一起讨论呀~

🚀往期优质文章分享

• ❤️Unity零基础到入门 | 游戏引擎 Unity 从0到1的 系统学习 路线【全面总结-建议收藏】！
• 🧡花一天时间做一个高质量飞机大战游戏，过万字Unity完整教程！漂亮学妹看了直呼666！
• 💛通宵一晚做出来的一款类似CS的第一人称射击游戏Demo！原来做游戏也不是很难
• 💚重回童年的经典系列☀️|【贪吃蛇小游戏】近两万字完整制作过程+解析+源码 【建议收藏学习】
• 🤍重回童年的经典系列☀️| 【皇室战争 】 的 即时战斗类 复刻游戏Demo！两万多字游戏制作过程+解析！
• 💙重回童年的经典系列☀️| 【横版街机格斗游戏】类似“恐龙快打” 该如何制作？ | 一起来学习 顺便送源码【建议收藏学习】
• 💜重回童年的经典系列☀️|【炸弹人小游戏】制作过程+解析 | 收藏起来跟曾经的小伙伴一起梦回童年！

• 🎄如果感觉文章看完了不过瘾，可以来我的其他 专栏 看一下哦~
• 🎄比如以下几个专栏：Unity基础知识学习专栏、Unity游戏制作专栏、Unity实战类项目 和 算法学习专栏
• 🎄可以学习更多的关于Unity引擎的相关内容哦！直接点击下面颜色字体就可以跳转啦！

资料白嫖，技术互助

温馨提示： 点击下面卡片可以获取更多编程知识，包括各种语言学习资料，上千套PPT模板和各种游戏源码素材等等资料。更多内容可自行查看哦！