python根据URL地址下载文件——wget

爬虫过程中经常会需要下载一些资源，通常我们会使用request进行下载，方法大致如下

import requests

# 请求链接，有防爬的要加headers，代理ip地址
img = requests.get(url)  

# 保存文件
with open('./img1.jpg', 'wb') as file:
    file.write(img.content)

这种下载方法还算是挺方便，但有一个更加便捷的方法可以实现同样的目的——wget包（Linux环境下，也有wget命令可以使用）

首先，我们需要安装wget包：

pip install wget

接下来我们看一下，如何使用wget进行下载吧

import wget
wget.download(url, out='./img1.jpg')

没错，就是这么两行，就完成了下载，真的是谁用谁知道，但是如果如果遇到防爬虫措施较严格的可能会失败。

wget不仅可以方便地使用，而且在下载过程中，还自带一个下载进度条，对于下载的文件，也会通过自动解析URL地址获得文件名，效果可以看下面的动图。

wget下载过程

====================================================================

本文发表在李思原博客“机器在学习”

原文链接：http://www.siyuanblog.com/?p=1587

欢迎扫码关注我的微信公众号：聚数为塔

=====================================================================