python写爬虫第一步

黄生 发表于 2021/10/30 19:49:49 2021/10/30
【摘要】 网上的信息是个宝库,是宝库要有工具来发掘和收集、整理。Python就是一个挖宝的好工具,来看看怎么用这个工具。首先,要有参数解析的功能,这样使用起来比较灵活,The getopt module is a parser for command-line options based on the convention established by the Unix getopt () funct...

网上的信息是个宝库,是宝库要有工具来发掘和收集、整理。

Python就是一个挖宝的好工具,来看看怎么用这个工具。

首先,要有参数解析的功能,这样使用起来比较灵活,

The getopt module is a parser for command-line options based on the convention established by the Unix getopt () function. It is in general used for parsing an argument sequence such as sys.argv.

用getopt来进行参数解析,比如像这样的参数:-f forum1,forum2 -n num_of_pages

分别来指定要处理的论坛列表,和要处理的页面的数量。

代码就是很常见的循环和判断处理,很平凡,没什么好特别说的。

网上的信息,最基础的还是网页,当然现在有多媒体啊短视频啊什么的,这个力所不能及,先搞最基础的网页,

Requests is an elegant and simple HTTP library for Python, built for human beings。

获取网页呢,使用requests库,号称是给人类使用的,说到底就是好用嘛,这王婆卖瓜卖的~

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。