四、爬虫中的urllib库使用

这篇介绍如何使用爬虫中的urllib库

小试牛刀

怎样扒网页呢？

其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我们就写个例子来扒一个网页下来

from urllib.request import urlopen
 
response = urlopen("http://www.baidu.com")
print(response.read().decode())


  

 

  
1
  
2
  
3
  
4
  
5
 

真正的程序就两行，执行如下命令查看运行结果，感受一下

看，这个网页的源码已经被我们扒下来了，是不是很酸爽？

常见到的方法

• requset.urlopen(url,data,timeout)

  • 第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。

  • 第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT

  • 第一个参数URL是必须要传送的，在这个例子里面我们传送了百度的URL，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。

• respo

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/89340341