python写爬虫第一步

网上的信息是个宝库，是宝库要有工具来发掘和收集、整理。

Python就是一个挖宝的好工具，来看看怎么用这个工具。

首先，要有参数解析的功能，这样使用起来比较灵活，

The getopt module is a parser for command-line options based on the convention established by the Unix getopt () function. It is in general used for parsing an argument sequence such as sys.argv.

用getopt来进行参数解析，比如像这样的参数：-f forum1,forum2 -n num_of_pages

分别来指定要处理的论坛列表，和要处理的页面的数量。

代码就是很常见的循环和判断处理，很平凡，没什么好特别说的。

网上的信息，最基础的还是网页，当然现在有多媒体啊短视频啊什么的，这个力所不能及，先搞最基础的网页，

Requests is an elegant and simple HTTP library for Python, built for human beings。

获取网页呢，使用requests库，号称是给人类使用的，说到底就是好用嘛，这王婆卖瓜卖的～