云社区 博客 博客详情
云社区 博客 博客详情

使用Python开发小说下载器,不再为下载小说而发愁

Oo小孩儿 发表于 2020-07-28 10:16:36 07-28 10:16
Oo小孩儿 发表于 2020-07-28 10:16:36 2020/07/28
0
0

【摘要】 使用Python开发小说下载器,不再为下载小说而发愁

需求分析

免费的小说网比较多,我看的比较多的是笔趣阁。这个网站基本收费的章节刚更新,它就能同步更新,简直不要太叼。既然要批量下载小说,肯定要分析这个网站了…

image.png

在搜索栏输入地址后,发送post请求获取数据,然后根据url解析,模拟操作即可。打开Fiddler,chrome搜索一下伏天氏,然后看看抓取到的日志流:

image.png

代码实现

在我们开始编码前,先得看下parameters中的这几个参数。

searchkey是什么鬼?

这是因为在因特网上传送URL,只能采用ASCII字符集。所以当传输中文时,有些网站会将中文进行编码后传输,再通过后台解码。那在python中该怎么做呢:

from urllib.parse import quote
quote('伏天氏')
'%E4%BC%8F%E5%A4%A9%E6%B0%8F'
# 为什么和Fiddler显示字符串不一样?
# 因为这个网站使用的gbk编码...
# 按照下面这样操作即可
quote('伏天氏',encoding='gbk')
'%B7%FC%CC%EC%CA%CF'

ct又是什么鬼?

我不知道,开始以为是临时参数,但试了好几次都是一样的,最后算了下:

102410242 = 2091752 …应该是网站那里需要进行限制的吧…


剩下的两个参数照着写就行了,先来一段代码测试下:

# -*- coding: utf-8 -*-
# @Author   : 王翔
# @JianShu  : 清风Python
# @Date     : 2019/6/30 23:51
# @Software : PyCharm
# @version  :Python 3.7.3
# @File     : a.py
 
import requests
from urllib.parse import quote
 
session = requests.session()
 
headers = {"User-Agent": ("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 "
                          "(KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36")
           }
url = ('http://www.biquge.cm/modules/article/sou.php?'
       'searchkey=%s&ct=2097152&si=biquge.cm&sts=biquge.cm') % quote("伏天氏", encoding='gbk')
result = session.post(url, headers=headers)
result.encoding = 'gbk'
print(result.text)

image.png

查看下结果,一切ok。标红这个id='list'是因为,当找不到小说的时候,就定位不到这个元素了。所以可以用来判断返回结果。解析url,然后获取所有的a标签text以及href和首页进行拼接,就可以实现跳转至每章内容了…

那么要使用requests+beautifulsoup进行二连击?No…上周五咱们说了requests_html这个模块,接着复习下呗…代码片段说明下:

from urllib.parse import  urljoin
# 根据url获取所有章节标签
response = self.post_method(post_url)
novel_data = response.html.find('#list a')
for chapter in novel_data :
    chapter_name = chapter.text
    chapter_url = urljoin(self.URL, chapter.attrs['href'])

这里注意下,url的拼接,如果你很闲可以自己写,如果你懒,直接使用urljoin即可。

每章内容的定位比较简单,就不再赘述了。

人性化下载

要想产品做得好,首先需要在需求分析的时候有亲身的体验与调研。

作为多年书虫,对于书友们太了解了,很多人看小说都会有养书的习惯,攒上个几十章,然后一次看个够。

完了再换其他的小说接着看,等攒够了再来刷。

按照咱么这样每次去通篇下载,不仅浪费时间也太不人性化了…

所以,增加了如下方式:

image.png

看到这些参数大家因该知道了,没错,使用列表切片进行动态下载!

打包exe使用

代码写完了,但是每次下载都要让大家在Python环境下进行使用,未免太麻烦了吧?

通过pyinstaller将代码进行打包成exe的可执行文件。你可以在任意的电脑上直接使用。

ps:因为是咱们自己打包的exe,所以杀软获取不到证书,多数会误报…添加信任或者临时关闭一下杀软即可。

伏天氏我中午看到了1130多章,那我下载最近50章给大家演示下exe的使用吧:

image.png

怎么样,exe的使用大家还满意吗?赶紧发了文章,吧下载的文本导到手机,接着啃剩下的章节了…

至于之前发了几次的文章转语音,为什么不用?

看小说的都知道,其实就图乐子…基本都是一目十行,指望百度API的语音,读到猴年去了。

另外,其实文本转语音的工具太多了,我平时使用的比较多的就是搜狗搜索和多看阅读。

导入文本后,直接能生成章节目录,调用讯飞语音的方茴,读起来比百度API的萝莉音舒服很多。

截几张图给大家看看刚才咱们下载的文本导入效果:

image.png

image.png

狂拽炫酷叼炸天!哈哈…


The End


今天的文章就分享到这里,不知道这波福利大家是否满意呢?

为了避免不必要的纠纷,公众号内部回复**小说**,即可获取exe的下载地址…

说明:次工具仅作为Python学习用途,请勿用于其他不正当途径,谢谢。

OK,今天的内容就到这里,如果觉得有帮助,欢迎将文章或我的微信公众号【清风Python】分享给更多喜欢python的人,谢谢。


登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 0
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论

您没有权限执行当前操作

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消