Python之JavaScript逆向系列——1、URL——www环球信息网(广域网/万维网)
Python之JavaScript逆向系列——1、URL——www环球信息网(广域网/万维网)
目录
Python之JavaScript逆向系列——1、URL——www环球信息网(广域网/万维网)
前言
大家好,本系列文章主要为大家提供的价值方向是网络信息获取,自动化的提取、收集、下载和记录互联网上的信息,加之自身分析,可以让价值最大化。整个内容中不会涉及到过为敏感的内容。
在这个AI+云计算+大数据时代,我们眼睛所看到的百分之九十的数据都是通过页面呈现出现的,不论是PC端、网页端还是移动端,数据渲染还是基于HTML+JavaScript进行的,而大多数的数据都是通过request请求后台API接口动态渲染的。而想成功的请求成功互联网上的开放/公开接口,必须知道它的【URL】、【Headers】、【Params】、【Body】等数据是如何生成的。我们需要了解浏览器开发者工具的功能,入门JS逆向,入门后还需要掌握例如如何【反编译js混淆】等内容,为了避免封本机IP,还需要对每次访问的IP进行代理,当我们拥有了JS逆向的能力后,根据JS所返回的动态请求参数信息便可以进行Python的具体信息获取操作,需要的知识点非常的多,故而本系列文章理论+实践会达到上百篇的文章,这篇文章是总篇,为了方便大家来直接查找所有知识点,建议之间关注收藏本篇,期望能给大家带来更高的价值。
环境准备
系统环境:win11
开发工具:
IP代理:
api工具:
数据库:MySQL5.7.32——阿里云RDS数据库
主要python库:requests、PyExecJS、parsel
正文
接上文中的www我们继续来学习。
www是什么?
WWW是环球信息网的缩写,也称为万维网。它是一种基于超文本和统一资源标识符(URL)技术,能够实现互联网上信息的链接与检索,是互联网的基础服务之一。WWW通过网页浏览器(如Internet Explorer, Firefox等)来显示和检索存储在网络服务器上的信息。这些信息可以是文本、图片、视频、音频、程序等。WWW使得人们可以方便地获取和分享海量的网络资源。
WWW是一个巨大的、开放的、跨平台的网络服务,任何人都可以在网络上发布信息,它为用户提供了极其丰富、快捷的信息资源。同时,WWW使用HTTP协议作为主要的通信协议,使得用户可以方便地与网络上的各种服务器进行交互。
在WWW中,每个网页都有一个唯一的URL地址,可以通过网络浏览器访问该地址,从而获取和浏览网页内容。此外,WWW还提供了许多其他的功能,如电子邮件、文件传输、网络新闻组等。
总之,WWW是一种全球性的、开放的、跨平台的信息服务,任何人都可以在其中发布和获取信息,为人们提供了丰富、快捷、方便的信息资源。
本地服务访问路径
以下是本地服务的访问路径,在上篇文章中提到,http的默认端口号是80,https默认端口号是443,这里一般网络请求不会带端口号,默认的也不需要写,但是如果请求是具体的ip地址+端口号我们就得与之匹配的写访问路径了。
127.0.0.1
localhost
github信息获取
国内的网站我们一般都能获取到,但是github很特殊,我们访问的时候经常访问不到。
如果我们想访问就需要搭桥,如果不搭桥的话我们可以使用【
】来中转下载我们想要的文件内容。
不建议搭桥,毕竟不靠谱。
这里是一篇完整的示例:
希望能给大家带来一定的价值。
- 点赞
- 收藏
- 关注作者
评论(0)