【GitHub精选项目】微博数据采集：weibo-crawler使用指南

前言

本文为大家带来的是 dataabc 的 weibo-crawler 开源项目，这是一个高效的下载微博数据的开源项目。它可以轻松的帮助用户获取微博数据从而进行分析。

在众多社交媒体平台中，微博以其海量的用户和实时的信息流成为了研究的热点。而weibo-crawler帮可以助研究人员、数据分析师甚至是好奇的个人用户，高效地从微博抓取数据。

本文介绍的不够详尽！仅展示该项目的一小部分！读者朋友们可以前往项目主页进行全面的学习！

项目地址：https://github.com/dataabc/weibo-crawler

项目概览

weibo-crawler 是一个开源的微博爬虫项目，能够自动化地抓取微博用户的帖子、评论、点赞数和转发数等信息。该项目使用 Python 开发，简化了数据收集的过程，支持将数据保存为CSV和JSON等格式，方便后续的数据分析工作。

它采集的数据也是很全面的！

CSV文件

下载图片

下载视频

克隆项目

git clone

最简单的，在命令行工具输入以下命令即可，如下图所示：

git clone https://github.com/dataabc/weibo-crawler.git

Download ZIP

如果没有安装Git，那么使用 Download ZIP 也是个不错的选择。

运行程序

本项目是由Python编程语言所编写，默认读者朋友们已经安装好了。

配置环境

step 1 安装依赖

去到项目目录下，安装所需要的库。在命令行执行以下命令即可。

pip install -r requirement.txt

step 2 定义参数

安装好项目所需要的依赖之后，可以打开config.json进行程序运行之间必要的配置

• 以下是完整的参数

{
    "user_id_list": ["1669879400"],
    "only_crawl_original": 1,
    "remove_html_tag": 1,
    "since_date": "2018-01-01",
    "write_mode": ["csv"],
    "original_pic_download": 1,
    "retweet_pic_download": 0,
    "original_video_download": 1,
    "retweet_video_download": 0,
    "download_comment":1,
    "comment_max_download_count":1000,
    "download_repost": 1,
    "repost_max_download_count": 1000,
    "user_id_as_folder_name": 0,
    "cookie": "your cookie",
    "mysql_config": {
        "host": "localhost",
        "port": 3306,
        "user": "root",
        "password": "123456",
        "charset": "utf8mb4"
    },
    "mongodb_URI": "mongodb://[username:password@]host[:port][/[defaultauthdb][?options]]"
}

具体的配置参数需要去看官方文档 的介绍，我们这里试运行只需要关注 user_id_list 这个参数即可。

设置user_id_list

具体如何获取 user_id 见如何获取user_id。

user_id_list是要爬取的微博用户的id列表，可以直接在配置中指定，也可以将其设置为一个txt文件的路径。

1. 直接指定：将用户id以列表形式列出，如：（这这里我们选择了第一种方式）

"user_id_list": ["1223178222", "1669879400", "1729370543"]

2. 使用txt文件：创建一个txt文件，每行包含一个用户id和可选的注释（如用户昵称），id和注释之间以空格分隔，示例如下：

1223178222 胡歌
1669879400 迪丽热巴
1729370543 郭碧婷

然后将文件路径指定给 user_id_list，例如：

"user_id_list": "user_id_list.txt"

本次试运行的config.json

• since_date:10 是取最近10天的内容

{
    "user_id_list":  ["1223178222", "1669879400", "1729370543"],
    "only_crawl_original": 0,
    "since_date": 10,
    "start_page": 1,
    "write_mode": [
        "csv"
    ],
    "original_pic_download": 1,
    "retweet_pic_download": 0,
    "original_video_download": 0,
    "retweet_video_download": 0,
    "download_comment": 1,
    "comment_max_download_count": 100,
    "download_repost": 1,
    "repost_max_download_count": 100,
    "user_id_as_folder_name": 0,
    "remove_html_tag": 1,
    "cookie": "your cookie",
    "mysql_config": {
        "host": "localhost",
        "port": 3306,
        "user": "root",
        "password": "123456",
        "charset": "utf8mb4"
    },
    "mongodb_URI": "mongodb://[username:password@]host[:port][/[defaultauthdb][?options]]"
}

运行方式

命令行

在做完上述的配置操作之后，就可以运行程序了！

运行 weibo.py ，

python weibo.py

运行情况如下图所示，

docker

此项目也支持docker运行，

在项目根路径创建一个名为docker-compose.yml 的文件，填下以下内容：

• path/to 修改成你的项目的根路径！

version: '3'
services:
  weibo-crawler:
    build:
      context: .
      dockerfile: Dockerfile
    volumes:
      - path/to/config.json:/app/config.json
      - path/to/weibo:/app/weibo
    environment:
      - schedule_interval=1 # 可选：循环间隔（分钟）

然后在命令行输入以下命令启动

docker-compose up -d

结果展示

可以参考前面的项目概览或项目文档，这里不做具体展示！

运行结果如下图所示：

• 程序在项目根目录下生成了对应的文件！
  

迪丽热巴

注意事项

1. 尊重版权：在使用weibo-crawler时应尊重微博用户的版权和隐私，仅用于非商业性研究和学习目的。
2. 遵守法律法规：在使用该工具时，应遵守当地法律法规，不得用于任何违法活动。
3. 配置Cookie：获取并配置自己的微博Cookie到config.json文件中，因为有效的Cookie对于获取部分受限内容是必需的。

总结

通过这个工具，用户可以自动化地抓取微博用户的帖子、评论、点赞数和转发数等信息，支持将数据保存为CSV和JSON等格式，大大简化了数据收集的过程。

本文详细介绍了weibo-crawler的项目概览、克隆项目、运行程序及结果展示等步骤，旨在帮助用户快速上手使用这个工具。在实际使用过程中，用户应当尊重版权、遵守法律法规，并妥善配置个人的微博Cookie，以确保爬虫的正常运行及数据获取的合规性。

美中不足的是，作者并没有在 Releases 发布编译好的拿来即用的版本。但是我相信能去逛Github网站的小伙伴，动手能力都不会太差！所以这也是小问题~

后话

本次分享到此结束，
see you~~🎈🎈