豆瓣" 饭圈 " 整治,如何采集分析评论

举报
laical1 发表于 2021/09/07 14:56:02 2021/09/07
【摘要】 豆瓣采集信息和评论进行大数据分析,可以及时观察流量艺人的热度和当前的焦点事件,归纳和总结豆瓣控评、控赞的规律

豆瓣为响应中央网信办的《关于进一步加强 " 饭圈 " 乱象治理的通知》,进行平台技术升级,暂停小组内进行回复的功能。下一步重点是对饭圈打榜、引战拉踩、炒作造谣等行为进行处理,封停引战账号,解散停用有严重违规的问题小组,将一些小组名称中带有 " 吃瓜 "、" 爆料 "、" 拉踩 " 等诱导关键词的强制改名为 " 未命名 "。豆瓣娱乐小组已经成为互联网上相当一部分八卦爆料的信息来源和 " 饭圈 " 活动的重要策源地,通过采集这些娱乐组的信息和评论进行大数据分析,可以及时观察流量艺人的热度和当前的焦点事件,归纳和总结豆瓣控评、控赞的规律,可以试试下面的程序,分析当前流量艺人是谁的热度最高:

const http = require("http");
const url = require("url");

// 要访问的目标页面
const targetUrl = "https://www.douban.com/group/627499/";


const urlParsed = url.parse(targetUrl);

// 代理服务器(产品官网 www.16yun.cn)
const proxyHost = "t.16yun.cn";
const proxyPort = "36600";

// 生成一个随机 proxy tunnel
var seed = 1;
function random() {
    var x = Math.sin(seed++) * 10000;
    return x - Math.floor(x);
}
const tunnel = random()*100;

// 代理验证信息
const proxyUser = "username";
const proxyPass = "password";

const base64    = new Buffer.from(proxyUser + ":" + proxyPass).toString("base64");

const options = {
    host: proxyHost,
    port: proxyPort,
    path: targetUrl,
    method: "GET",
    headers: {
        "Host": urlParsed.hostname,
        "Proxy-Tunnel": tunnel,
        "Proxy-Authorization" : "Basic " + base64
    }
};

http.request(options, function (res) {
    console.log("got response: " + res.statusCode);
    res.pipe(process.stdout);
}).on("error", function (err) {
    console.log(err);
}).end();
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。