【Python爬虫】第10篇：js逆向解析和Mongodb数据库。md集合文档(已分享，附代码)
本文主要学习一下关于爬虫的相关前置知识和一些理论性的知识，通过本文我们能够知道什么是爬虫，都有那些分类，爬虫能干什么等，同时还会站在爬虫的角度复习一下http协议。
全套笔记和代码自取地址：
感兴趣的小伙伴可以自取哦，欢迎大家点赞转发~
共 8 章，37 子模块
JS的解析
学习目标：
-
了解 定位js的方法
-
了解 添加断点观察js的执行过程的方法
-
应用 js2pyjs的方法
1 确定js的位置
对于前面人人网的案例，我们知道了url地址中有部分参数，但是参数是如何生成的呢？
毫无疑问，参数肯定是js生成的，那么如何这些参数的规律呢？通过下面的学习来了解
1.1 观察按钮的绑定js事件
通过点击按钮，然后点击Event Listener，部分网站可以找到绑定的事件，对应的，只需要点击即可跳转到js的位置
1.2 通过search all file 来搜索
部分网站的按钮可能并没有绑定js事件监听，那么这个时候可以通过搜索请求中的关键字来找到js的位置，比如livecell
点击美化输出选项
可以继续在其中搜索关键字
2 观察js的执行过程
找到js的位置之后，我们可以来通过观察js的位置，找到js具体在如何执行，后续我们可以通过python程序来模拟js的执行，或者是使用类似js2py直接把js代码转化为python程序去执行
观察js的执行过程最简单的方式是添加断点
添加断点的方式：在左边行号点击即可添加，对应的右边BreakPoints中会出现现有的所有断点
添加断点之后继续点击登录，每次程序在断点位置都会停止，通过如果该行有变量产生，都会把变量的结果展示在Scoope中
在上图的右上角有1，2，3三个功能，分别表示：
- 1：继续执行到下一个断点
- 2：进入调用的函数中
- 3：从调用的函数中跳出来3 js2py的使用
在知道了js如何生成我们想要的数据之后，那么接下来我们就需要使用程序js执行之后的结果了
3.1 js2py的介绍
js2py是一个js的翻译工具，也是一个通过纯python实现的js的解释器，
3.2 js的执行思路
js的执行方式大致分为两种：
-
在了解了js内容和执行顺序之后，通过python来完成js的执行过程，得到结果
-
在了解了js内容和执行顺序之后，使用类似js2py的模块来执js代码，得到结果
但是在使用python程序实现js的执行时候，需要观察的js的每一个步骤，非常麻烦，所以更多的时候我们会选择使用类似js2py的模块去执行js，接下来我们来使用js2py实现人人网登录参数的
3.3 具体的实现
定位进行登录js代码
formSubmit: function() {
var e, t = {};
$(".login").addEventListener("click", function() {
t.phoneNum = $(".phonenum").value,
t.password = $(".password").value,
e = loginValidate(t),
t.c1 = c1 || 0,
e.flag ? ajaxFunc("get", "http://activity.renren.com/livecell/rKey", "", function(e) {
var n = JSON.parse(e).data;
if (0 == n.code) {
t.password = t.password.split("").reverse().join(""),
setMaxDigits(130);
var o = new RSAKeyPair(n.e,"",n.n)
, r = encryptedString(o, t.password);
t.password = r,
t.rKey = n.rkey
} else
toast("公钥失败"),
t.rKey = "";
ajaxFunc("post", "http://activity.renren.com/livecell/ajax/clog", t, function(e) {
var e = JSON.parse(e).logInfo;
0 == e.code ? location.href = localStorage.getItem("url") || "" : toast(e.msg || "登录出错")
})
}) : toast(e.msg)
})
}从代码中我们知道:
-
我们要登录需要对密码进行加密和rkey字段的值
-
rkey字段的值我们直接发送请求rkey请求就可以获得
-
密码是先反转然后使用RSA进行加密, js代码很复杂, 我们希望能通过在python中执行js来实现
实现思路:
-
使用session发送rKey登录需要信息
-
url:
-
方法: get
-
-
根据信息对密码进行加密 2.1 准备用户名和密码
2.2 使用js2py生成js的执行环境:context
2.3 拷贝使用到js文件的内容到本项目中
2.4 读取js文件的内容,使用context来执行它们
2.5 向context环境中添加需要数据
2.6 使用context执行加密密码的js字符串
2.7 通过context加密后密码信息
-
使用session发送登录请求
-
URL:
-
请求方法: POST
-
数据:
phoneNum: xxxxxxx password: (加密后生产的) c1: 0 rKey: rkey请求的 -
具体代码
需要提前下载几个js文件到本地：
BigInt.js
RSA.js
Barrett.js
import requests
import json
import js2py
# - 实现思路:
# - 使用session发送rKey登录需要信息
# - url: http://activity.renren.com/livecell/rKey
# - 方法: get
# session对象
session = requests.session()
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Mobile Safari/537.36",
"X-Requested-With": "XMLHttpRequest",
"Content-Type":"application/x-www-form-urlencoded"
}
# 设置session的请求头信息
session.headers = headers
response = session.get("http://activity.renren.com/livecell/rKey")
# print(response.content.decode())
n = json.loads(response.content)['data']
# - 根据信息对密码进行加密
# - 准备用户名和密码
phoneNum = "131..."
password = "****"
# - 使用js2py生成js的执行环境:context
context = js2py.EvalJs()
# - 拷贝使用到js文件的内容到本项目中
# - 读取js文件的内容,使用context来执行它们
with open("BigInt.js", 'r', encoding='utf8') as f:
context.execute(f.read())
with open("RSA.js", 'r', encoding='utf8') as f:
context.execute(f.read())
with open("Barrett.js", 'r', encoding='utf8') as f:
context.execute(f.read())
# - 向context环境中添加需要数据
context.t = {'password': password}
context.n = n
# - 执行加密密码的js字符
js = '''
t.password = t.password.split("").reverse().join(""),
setMaxDigits(130);
var o = new RSAKeyPair(n.e,"",n.n)
, r = encryptedString(o, t.password);
'''
context.execute(js)
# - 通过context加密后密码信息
# print(context.r)
password = context.r
# - 使用session发送登录请求
# - URL: http://activity.renren.com/livecell/ajax/clog
# - 请求方法: POST
# - 数据:
# - phoneNum: 15565280933
# - password: (加密后生产的)
# - c1: 0
# - rKey: rkey请求的
data = {
'phoneNum': '131....',
'password': password,
'c1':0,
'rKey':n['rkey']
}
# print(session.headers)
response = session.post("http://activity.renren.com/livecell/ajax/clog", data=data)
print(response.content.decode())
# 访问登录的资源
response = session.get("http://activity.renren.com/home#profile")
print(response.content.decode())小结
-
通过在chrome中观察元素的绑定事件可以确定js
-
通过在chrome中search all file 搜索关键字可以确定js的位置
-
观察js的数据生成过程可以使用添加断点的方式观察
-
js2py的使用
-
需要准备js的内容
-
生成js的执行环境
-
在执行环境中执行js的字符串，传入数据，结果
-
Mongodb数据库
介绍
在前面的本文中我们学习了mysql这种关系型数据库，那么接下来，我们会来学习一种非关系型数据库mongodb，mongodb数据库主要用于海量存储，常被用在数据采集项目中。
内容
-
mongodb的介绍和安装
-
mongodb的简单使用
-
mongodb的增删改查
-
mongodb的聚合操作
-
mongodb的索引操作
-
mongodb的权限管理
-
mongodb和python交互（pymongo模块）
mongodb文档
Mongodb的介绍和安装
学习目标
-
了解 非关系型数据库的优势
-
了解 mongodb的安装
1. mongodb的介绍
1.1 什么是mongodb
-
mongodb 是一个功能最丰富的NoSQL非关系数据库。由 C++ 语言编写。
-
mongodb 本身提供S端存储数据，即server；也提供C端操作处理（如查询等）数据，即client。
1.2 SQL和NoSQL的主要区别
-
在SQL中层级关系： 数据库>表>数据
-
而在NoSQL中则是： 数据库>集合>文档
1.2.1 数据之间无关联性
-
SQL中如何需要增加外部关联数据的话，规范化做法是在原表中增加一个外键，关联外部数据表。
-
NoSQL则可以把外部数据直接放到原数据集中，以提高查询效率。缺点也比较明显，对关联数据做更新时会比较麻烦。
-
SQL中在一个表中的每条数据的字段是固定的。而NoSQL中的一个集合(表)中的每条文档(数据)的key(字段)可以是互不相同的。
1.2.2 拓展阅读
1.3 mongodb作为非关系型数据库相较于关系型数据库的优势
易扩展： NoSQL数据库种类繁多， 但是一个共同的特点都是去掉关系数据库的关系型特性。 数据之间无关系， 这样就非常容易扩展
大数据量，高性能： NoSQL数据库都具有非常高的读写性能， 尤其在大数据量下表现优秀。 这得益于它的非关系性，数据库的结构简单
灵活的数据模型： NoSQL无需事先为要存储的数据建立字段， 随时可以存储自定义的数据格式。 而在关系数据库中， 增删字段是一件非常麻烦的事情。 如果是非常大数据量的表， 增加字段简直就是一个噩梦
2. mongodb的安装
以ubuntu18.04为例
mongodb具有两种安装方式：命令安装 或 源码安装
2.1 命令安装
在ubuntu中使用apt-get工具安装
sudo apt-get install -y mongodb-org或参考官方文档
2.2 源码安装
2.2.1 选择相应版本和操作系统并下载
2.2.2 解压
tar -zxvf mongodb-linux-x86_64-ubuntu1804-4.0.3.tgz
2.2.3 移动到/usr/local/目录下
sudo mv -r mongodb-linux-x86_64-ubuntu1804-4.0.3/ /usr/local/mongodb
2.2.4 在shell的初始化脚本.bashrc中添加mongodb可执行文件到环境变量PATH中
a. 进入.bashrc文件中
cd ~
sudo vi .bashrcb. 在.bashrc文件的最后添加：
export PATH=/usr/local/mongodb/bin:$PATH3. mongodb的官方文档
小结
-
了解 非关系型数据库的优势
-
易扩展
-
高性能
-
灵活的数据字段
-
-
了解 mongodb的安装
-
sudo apt-get install -y mongodb-org
-
未完待续， 同学们请等待下一期
感兴趣的小伙伴可以自取哦，欢迎大家点赞转发~
- 点赞
- 收藏
- 关注作者
评论（0）