Python可视化数据分析02、Scrapy框架-强化测试Scrapy-CSS

举报
红目香薰 发表于 2022/07/29 10:31:50 2022/07/29
【摘要】 ​ ​编辑Python可视化数据分析02、Scrapy框架📋前言📋💝博客：【红目香薰的博客_CSDN博客-计算机理论,2022年蓝桥杯,MySQL领域博主】💝✍本文由在下【红目香薰】原创，首发于CSDN✍🤗2022年最大愿望：【服务百万技术人次】🤗💝Python初始环境地址：【Python可视化数据分析01、python环境搭建】💝 环境需求环境：win10开发工具：PyCh...

​

 ​编辑

Python可视化数据分析02、Scrapy框架

📋前言📋

💝博客：【红目香薰的博客_CSDN博客-计算机理论,2022年蓝桥杯,MySQL领域博主】💝

✍本文由在下【红目香薰】原创，首发于CSDN✍

🤗2022年最大愿望：【服务百万技术人次】🤗

💝Python初始环境地址：【Python可视化数据分析01、python环境搭建】💝 

环境需求

环境：win10

开发工具：PyCharm Community Edition 2021.2

数据库：MySQL5.6


环境安装命令

pip3 config set global.index-url https://repo.huaweicloud.com/repository/pypi/simple
pip3 config list
pip3 install --upgrade pip
pip3 install requests
pip3 install scrapy

安装scrapy

pip3 install scrapy

​编辑​

安装过程可能有一些长，稍等一会，看到Successfully代表完成。

​编辑​

创建测试类Demo2

​编辑​

scrapy-CSS

from scrapy.selector import Selector

css选择器介绍

在css中选择器是一种模式，用于选择需要添加样式的元素，css对html页面中的元素实现一对一，一对多或者多对一的控制，都需要用到css选择器，html页面中的元素就是通过css选择器进行控制的；

css选择器的基本语法

类选择器：元素的class属性，比如class="box"表示选取class为box的元素；
ID选择器：元素的id属性，比如id="box"表示选取id为box的元素；
元素选择器：直接选择文档元素，比如p表示选择所有的p元素，div表示选择所有的div元素；
属性选择器：选择具有某个属性的元素，如*[title]表示选择所有包含title属性的元素、a[href]表示选择所有带有href属性的a元素等；
后代选择器：选择包含元素后代的元素，如li a表示选取所有li 下所有a元素；
子元素选择器：选择作为某元素子元素的元素，如h1 > strong表示选择父元素为h1 的所有 strong 元素；
相邻兄弟选择器：选择紧接在另一元素后的元素，且二者有相同父元素，如h1 + p表示选择紧接在 h1 元素之后的所有p元素；

scrapy 中的css使用方法

以a元素来举例说明

response.css('a')：返回的是selector对象；
response.css('a').extract()：返回的是a标签对象；
response.css('a::text').extract_first()：返回的是第一个a标签中文本的值；
response.css('a::attr(href)').extract_first()：返回的是第一个a标签中href属性的值；
response.css('a[href*=image]::attr(href)').extract()：返回所有a标签中href属性包含image的值；
response.css('a[href*=image] img::attr(src)').extract()：返回所有a标签下image标签的src属性；

demo1:基础CSS

根据提供的字符串进行css拆解

from scrapy.selector import Selector

demoStr = """
<div id="header">
    <h1>你有一个梦想1</h1>
    <h1 class="mengXiang">你有一个梦想2</h1>
    <h1>你有一个梦想3</h1>
    <hr/>
    <a href="http://www.kengSiNi1.com">跳转到梦想1</a>
    <a href="http://www.kengSiNi2.com">跳转到梦想2</a>
</div>
"""
sel = Selector(text=demoStr)
result = sel.css("h1.mengXiang::attr(class)").extract()
for item in result:
    print(item)

​

编辑

Demo2：多级CSS

from scrapy.selector import Selector

demoStr = """
<div class="container">
        <div class="book-meta">
            <h1>星海王座</h1>
            <p>
                <span><i>作者：</i><a href="http://home.zongheng.com/show/userInfo/52917417.html" target="_blank">文坛小学生</a></span>
                <span><i>更新时间：</i>15小时前</span>
                <span><i>最新章节：</i>正文：第九百五十三章.真正的礼物</span>
            </p>
        </div>

        <div>
            <div class="section_title clearfix">

            	<p></p>         
                <button id="sort_button" class="pull-right animation_opacity">倒序</button>
                <span>[<a href="http://book.zongheng.com/totaltome/1085747/63644931.html" target="_blank">全文阅读</a>]</span>
            </div>
            <div class="volume-list">

                <div>
                    <div class="volume ">  
                        <div class="arrow-top arrow-box">
                            <b class="top"><i class="arrow1"></i><i class="arrow2"></i></b>
                        </div>                      
                        <a class="subscri" href="http://book.zongheng.com/totaltome/1085747/64102079.html" target="_blank"><em class="btn">[分卷阅读]</em></a>                                
                        <em class="v-line"></em>作品相关<em class="count">共1章<i>·</i>本卷共<cite>1452</cite>字</em>
                    </div>
                    <ul class="chapter-list clearfix">

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64102079.html" target="_blank" title="上架感言 字数：1452 更新时间：2021-02-27 00:12 ">上架感言</a>
                        </li>

                    </ul>
                </div>

                <div>
                    <div class="volume vip-color">  
                        <div class="arrow-top arrow-box">
                            <b class="top"><i class="arrow1"></i><i class="arrow2"></i></b>
                        </div>                      
                        <a class="subscri" href="http://book.zongheng.com/totaltome/1085747/63644931.html" target="_blank"><em class="btn">[分卷阅读]</em></a>                                
                        <em class="v-line"></em>正文<em class="count">共953章<i>·</i>本卷共<cite>3166151</cite>字</em>
                    </div>
                    <ul class="chapter-list clearfix">

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63644931.html" target="_blank" title="第一章.激活！ 字数：3470 更新时间：2020-12-28 17:18 ">第一章.激活！</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63651244.html" target="_blank" title="第二章.莫非她是女主？ 字数：3904 更新时间：2020-12-29 11:02 ">第二章.莫非她是女主？</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63654465.html" target="_blank" title="第三章.前女友，现女友？ 字数：2494 更新时间：2020-12-29 19:42 ">第三章.前女友，现女友？</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63659770.html" target="_blank" title="第四章.更多觉醒者 字数：5457 更新时间：2020-12-30 12:03 ">第四章.更多觉醒者</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63661334.html" target="_blank" title="第五章.进化！觉醒技 字数：3096 更新时间：2020-12-30 17:26 ">第五章.进化！觉醒技</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63666206.html" target="_blank" title="第六章.人类基地 字数：3607 更新时间：2020-12-31 08:25 ">第六章.人类基地</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63674158.html" target="_blank" title="第七章.第二次觉醒 字数：4623 更新时间：2021-01-01 08:37 ">第七章.第二次觉醒</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63682701.html" target="_blank" title="第八章.眼花缭乱的觉醒技 字数：4315 更新时间：2021-01-02 10:33 ">第八章.眼花缭乱的觉醒技</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63690558.html" target="_blank" title="第九章.大战再起 字数：3394 更新时间：2021-01-03 10:02 ">第九章.大战再起</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63697761.html" target="_blank" title="第十章.血肉战场 字数：3248 更新时间：2021-01-04 06:06 ">第十章.血肉战场</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63705259.html" target="_blank" title="第十一章.疯狂求死 字数：4041 更新时间：2021-01-05 00:03 ">第十一章.疯狂求死</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63716604.html" target="_blank" title="第十二章.艰难的抉择 字数：3242 更新时间：2021-01-06 14:39 ">第十二章.艰难的抉择</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63721460.html" target="_blank" title="第十三章.参军与氦3 字数：3444 更新时间：2021-01-07 00:01 ">第十三章.参军与氦3</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63729380.html" target="_blank" title="第十四章.回家 字数：3159 更新时间：2021-01-08 00:01 ">第十四章.回家</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63737394.html" target="_blank" title="第十五章.我有证件 字数：3243 更新时间：2021-01-09 00:05 ">第十五章.我有证件</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63747039.html" target="_blank" title="第十六章.当着我的面炫技？ 字数：3220 更新时间：2021-01-10 11:56 ">第十六章.当着我的面炫技？</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63752647.html" target="_blank" title="第十七章.觉醒者评议会 字数：3139 更新时间：2021-01-11 00:05 ">第十七章.觉醒者评议会</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63760912.html" target="_blank" title="第十八章.拼命的修炼 字数：3394 更新时间：2021-01-12 00:05 ">第十八章.拼命的修炼</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63769431.html" target="_blank" title="第十九章.实战是最好的训练 字数：3053 更新时间：2021-01-13 00:05 ">第十九章.实战是最好的训练</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63776882.html" target="_blank" title="第二十章.突飞猛进 字数：3643 更新时间：2021-01-14 00:15 ">第二十章.突飞猛进</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63779119.html" target="_blank" title="第二十一章.猛兽独行 字数：3591 更新时间：2021-01-14 12:14 ">第二十一章.猛兽独行</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63784480.html" target="_blank" title="第二十二章.潜伏 字数：3435 更新时间：2021-01-15 00:01 ">第二十二章.潜伏</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63786538.html" target="_blank" title="第二十三章.幸存者 字数：3531 更新时间：2021-01-15 11:46 ">第二十三章.幸存者</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63792017.html" target="_blank" title="第二十四章.恶战狂犬 字数：3386 更新时间：2021-01-16 00:03 ">第二十四章.恶战狂犬</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63799556.html" target="_blank" title="第二十五章.我不止会杀变异兽 字数：3200 更新时间：2021-01-17 00:12 ">第二十五章.我不止会杀变异兽</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63807092.html" target="_blank" title="第二十六章.觉醒者小队 字数：3314 更新时间：2021-01-18 00:01 ">第二十六章.觉醒者小队</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63809032.html" target="_blank" title="第二十七章.天降神兵 字数：3123 更新时间：2021-01-18 11:21 ">第二十七章.天降神兵</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63810933.html" target="_blank" title="第二十八章.我就是这样捡材料的 字数：3256 更新时间：2021-01-18 17:22 ">第二十八章.我就是这样捡材料的</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63814719.html" target="_blank" title="第二十九章.单挑白银级 字数：3080 更新时间：2021-01-19 00:12 ">第二十九章.单挑白银级</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63816929.html" target="_blank" title="第三十章.三次觉醒的门槛 字数：3244 更新时间：2021-01-19 11:55 ">第三十章.三次觉醒的门槛</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63819259.html" target="_blank" title="第三十一章.猎杀白银级 字数：3264 更新时间：2021-01-19 18:48 ">第三十一章.猎杀白银级</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63822490.html" target="_blank" title="第三十二章.黄金品质，战力暴涨 字数：3091 更新时间：2021-01-20 00:02 ">第三十二章.黄金品质，战力暴涨</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63825433.html" target="_blank" title="第三十三章.最强白银 字数：3423 更新时间：2021-01-20 14:04 ">第三十三章.最强白银</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63827508.html" target="_blank" title="第三十四章.再次相遇 字数：3137 更新时间：2021-01-20 19:42 ">第三十四章.再次相遇</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63830883.html" target="_blank" title="第三十五章.大开杀戒 字数：3211 更新时间：2021-01-21 00:06 ">第三十五章.大开杀戒</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63833206.html" target="_blank" title="第三十六章.背靠黑暗，逐光而行！ 字数：3270 更新时间：2021-01-21 11:57 ">第三十六章.背靠黑暗，逐光而行！</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63839489.html" target="_blank" title="第三十七章.重返基地 字数：3284 更新时间：2021-01-22 00:02 ">第三十七章.重返基地</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63841894.html" target="_blank" title="第三十八章.我杀的 字数：3175 更新时间：2021-01-22 11:40 ">第三十八章.我杀的</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63847691.html" target="_blank" title="第三十九章.新人类事务局 字数：3330 更新时间：2021-01-23 00:01 ">第三十九章.新人类事务局</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63850150.html" target="_blank" title="第四十章.私人请求 字数：3210 更新时间：2021-01-23 11:49 ">第四十章.私人请求</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63855626.html" target="_blank" title="第四十一章.整理收获 字数：3196 更新时间：2021-01-24 00:02 ">第四十一章.整理收获</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63857623.html" target="_blank" title="第四十二章.错误的打开方式 字数：3382 更新时间：2021-01-24 11:56 ">第四十二章.错误的打开方式</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63862960.html" target="_blank" title="第四十三章.惊动四方的奖励兑换 字数：3058 更新时间：2021-01-25 00:02 ">第四十三章.惊动四方的奖励兑换</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63865358.html" target="_blank" title="第四十四章.流言 字数：3218 更新时间：2021-01-25 12:11 ">第四十四章.流言</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63871030.html" target="_blank" title="第四十五章.逗你玩 字数：3616 更新时间：2021-01-26 00:02 ">第四十五章.逗你玩</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63873068.html" target="_blank" title="第四十六章.给我查 字数：3425 更新时间：2021-01-26 11:40 ">第四十六章.给我查</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63878691.html" target="_blank" title="第四十七章.左右为难 字数：3101 更新时间：2021-01-27 00:45 ">第四十七章.左右为难</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63880774.html" target="_blank" title="第四十八章.许悠然算个屁 字数：3417 更新时间：2021-01-27 12:04 ">第四十八章.许悠然算个屁</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63885964.html" target="_blank" title="第四十九章.幕后黑手和底牌 字数：3613 更新时间：2021-01-28 00:03 ">第四十九章.幕后黑手和底牌</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63888120.html" target="_blank" title="第五十章.要闯就闯祸，要打就打破 字数：3211 更新时间：2021-01-28 11:27 ">第五十章.要闯就闯祸，要打就打破</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63893844.html" target="_blank" title="第五十一章.强大的三次觉醒者 字数：3381 更新时间：2021-01-29 00:02 ">第五十一章.强大的三次觉醒者</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63896102.html" target="_blank" title="第五十二章.吊打 字数：3285 更新时间：2021-01-29 11:52 ">第五十二章.吊打</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63901491.html" target="_blank" title="第五十三章.力压群雄 字数：3144 更新时间：2021-01-30 00:02 ">第五十三章.力压群雄</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63909485.html" target="_blank" title="第五十四章.这就是觉醒者，法外狂徒！ 字数：3074 更新时间：2021-01-31 00:03 ">第五十四章.这就是觉醒者，法外狂徒！</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63917208.html" target="_blank" title="第五十五章.一位父亲的请求 字数：3279 更新时间：2021-02-01 00:01 ">第五十五章.一位父亲的请求</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63925090.html" target="_blank" title="第五十六章.可能会迟到，但一定会到 字数：3268 更新时间：2021-02-02 00:04 ">第五十六章.可能会迟到，但一定会到</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63932900.html" target="_blank" title="第五十七章.五大上将 字数：3235 更新时间：2021-02-03 00:13 ">第五十七章.五大上将</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63940461.html" target="_blank" title="第五十八章.惊人的惩罚 字数：3092 更新时间：2021-02-04 00:01 ">第五十八章.惊人的惩罚</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63942953.html" target="_blank" title="第五十九章.最高荣耀 字数：3704 更新时间：2021-02-04 12:15 ">第五十九章.最高荣耀</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63948159.html" target="_blank" title="第六十章.豪横的许悠然 字数：3217 更新时间：2021-02-05 00:02 ">第六十章.豪横的许悠然</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63950397.html" target="_blank" title="第六十一章.超级炸弹，毁天灭地 字数：3022 更新时间：2021-02-05 12:02 ">第六十一章.超级炸弹，毁天灭地</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63955479.html" target="_blank" title="第六十二章.死战不退！ 字数：3173 更新时间：2021-02-06 00:05 ">第六十二章.死战不退！</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63958738.html" target="_blank" title="第六十三章.一路横扫 字数：3210 更新时间：2021-02-06 16:33 ">第六十三章.一路横扫</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63962540.html" target="_blank" title="第六十四章.梦中的警示 字数：3036 更新时间：2021-02-07 00:01 ">第六十四章.梦中的警示</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63964793.html" target="_blank" title="第六十五章.地狱不空，誓不成佛 字数：3133 更新时间：2021-02-07 12:04 ">第六十五章.地狱不空，誓不成佛</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63970679.html" target="_blank" title="第六十六章.清剿开始 字数：3168 更新时间：2021-02-08 00:07 ">第六十六章.清剿开始</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63978239.html" target="_blank" title="第六十七章.出动！毁灭者小队 字数：3037 更新时间：2021-02-09 00:07 ">第六十七章.出动！毁灭者小队</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63985681.html" target="_blank" title="第六十八章.毁灭者之威 字数：3125 更新时间：2021-02-10 00:23 ">第六十八章.毁灭者之威</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63992857.html" target="_blank" title="第六十九章.4.6秒 字数：3220 更新时间：2021-02-11 00:16 ">第六十九章.4.6秒</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63999644.html" target="_blank" title="第七十章.希望你们报仇 字数：3234 更新时间：2021-02-12 00:04 ">第七十章.希望你们报仇</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64006072.html" target="_blank" title="第七十一章.全军楷模 字数：3167 更新时间：2021-02-13 00:03 ">第七十一章.全军楷模</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64012117.html" target="_blank" title="第七十二章.苍狼的嘲弄 字数：3290 更新时间：2021-02-14 00:02 ">第七十二章.苍狼的嘲弄</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64018426.html" target="_blank" title="第七十三章.送战友上路 字数：2169 更新时间：2021-02-15 00:10 ">第七十三章.送战友上路</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64024795.html" target="_blank" title="第七十四章.抗命与守护 字数：3064 更新时间：2021-02-16 00:02 ">第七十四章.抗命与守护</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64030982.html" target="_blank" title="第七十五章.青狼对苍狼 字数：3313 更新时间：2021-02-17 00:01 ">第七十五章.青狼对苍狼</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64037596.html" target="_blank" title="第七十六章.你自由了 字数：3162 更新时间：2021-02-18 00:03 ">第七十六章.你自由了</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64044476.html" target="_blank" title="第七十七章.发生质变的觉醒技 字数：3157 更新时间：2021-02-19 00:05 ">第七十七章.发生质变的觉醒技</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64051337.html" target="_blank" title="第七十八章.远方的来信 字数：3051 更新时间：2021-02-20 00:07 ">第七十八章.远方的来信</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64058300.html" target="_blank" title="第七十九章.许连长 字数：3262 更新时间：2021-02-21 00:01 ">第七十九章.许连长</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64065205.html" target="_blank" title="第八十章.时刻准备着 字数：3276 更新时间：2021-02-22 00:02 ">第八十章.时刻准备着</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64071910.html" target="_blank" title="第八十一章.未知文明 字数：3212 更新时间：2021-02-23 00:06 ">第八十一章.未知文明</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64074092.html" target="_blank" title="第八十二章.传送 字数：3134 更新时间：2021-02-23 12:50 ">第八十二章.传送</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64078877.html" target="_blank" title="第八十三章.正确打开方式 字数：3179 更新时间：2021-02-24 00:04 ">第八十三章.正确打开方式</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64082960.html" target="_blank" title="第八十四章.再踏征程 字数：3333 更新时间：2021-02-24 16:25 ">第八十四章.再踏征程</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64087009.html" target="_blank" title="第八十五章.一路向东 字数：3484 更新时间：2021-02-25 00:04 ">第八十五章.一路向东</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64095033.html" target="_blank" title="第八十六章.大会战 字数：3043 更新时间：2021-02-26 00:20 ">第八十六章.大会战</a>
                        </li>

                    </ul>
                </div>

             </div>
        </div>
    </div>
"""
sel = Selector(text=demoStr)
result1 = sel.css("div.book-meta h1").extract()
result2 = sel.css("div.book-meta h1::text").extract()
result3 = sel.css("div.book-meta p span::text").extract()
result4 = sel.css("ul.chapter-list li a::text").extract()
print("结果1：")
for item in result1:
    print(item)
print("结果2：")
for item in result2:
    print(item)
print("结果3：")
for item in result3:
    print(item)
print("结果4：")
for item in result4:
    print(item)

demo3：结果file保存

demo3-1：保存

# 文件流操作
#  参数1：文件名称，参数2：操作类型r是读取、w是写入、a是添加，参数3：编码格式
file = open("saveInfo.cvs", "w", encoding="utf-8")
file.write("我拥有一个美好的世界。")
file.close()

demo3-2：读取

file = open("saveInfo.cvs", "r", encoding="utf-8")
result = file.readlines()
for item in result:
    print(item)
file.close()

demo3-3：增加 

import time
for i in range(6, 16):
    file = open("saveInfo.cvs", "a", encoding="utf-8")
    file.write("我拥有一{0}个美好的世界\n".format(i))
    file.close()
    print(i)
    time.sleep(1)

demo3-4：保存筛选信息

import sys

from scrapy.selector import Selector

demoStr = """
<div class="container">
        <div class="book-meta">
            <h1>星海王座</h1>
            <p>
                <span><i>作者：</i><a href="http://home.zongheng.com/show/userInfo/52917417.html" target="_blank">文坛小学生</a></span>
                <span><i>更新时间：</i>15小时前</span>
                <span><i>最新章节：</i>正文：第九百五十三章.真正的礼物</span>
            </p>
        </div>

        <div>
            <div class="section_title clearfix">

            	<p></p>         
                <button id="sort_button" class="pull-right animation_opacity">倒序</button>
                <span>[<a href="http://book.zongheng.com/totaltome/1085747/63644931.html" target="_blank">全文阅读</a>]</span>
            </div>
            <div class="volume-list">

                <div>
                    <div class="volume ">  
                        <div class="arrow-top arrow-box">
                            <b class="top"><i class="arrow1"></i><i class="arrow2"></i></b>
                        </div>                      
                        <a class="subscri" href="http://book.zongheng.com/totaltome/1085747/64102079.html" target="_blank"><em class="btn">[分卷阅读]</em></a>                                
                        <em class="v-line"></em>作品相关<em class="count">共1章<i>·</i>本卷共<cite>1452</cite>字</em>
                    </div>
                    <ul class="chapter-list clearfix">

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64102079.html" target="_blank" title="上架感言 字数：1452 更新时间：2021-02-27 00:12 ">上架感言</a>
                        </li>

                    </ul>
                </div>

                <div>
                    <div class="volume vip-color">  
                        <div class="arrow-top arrow-box">
                            <b class="top"><i class="arrow1"></i><i class="arrow2"></i></b>
                        </div>                      
                        <a class="subscri" href="http://book.zongheng.com/totaltome/1085747/63644931.html" target="_blank"><em class="btn">[分卷阅读]</em></a>                                
                        <em class="v-line"></em>正文<em class="count">共953章<i>·</i>本卷共<cite>3166151</cite>字</em>
                    </div>
                    <ul class="chapter-list clearfix">

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63644931.html" target="_blank" title="第一章.激活！ 字数：3470 更新时间：2020-12-28 17:18 ">第一章.激活！</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63651244.html" target="_blank" title="第二章.莫非她是女主？ 字数：3904 更新时间：2020-12-29 11:02 ">第二章.莫非她是女主？</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63654465.html" target="_blank" title="第三章.前女友，现女友？ 字数：2494 更新时间：2020-12-29 19:42 ">第三章.前女友，现女友？</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63659770.html" target="_blank" title="第四章.更多觉醒者 字数：5457 更新时间：2020-12-30 12:03 ">第四章.更多觉醒者</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63661334.html" target="_blank" title="第五章.进化！觉醒技 字数：3096 更新时间：2020-12-30 17:26 ">第五章.进化！觉醒技</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63666206.html" target="_blank" title="第六章.人类基地 字数：3607 更新时间：2020-12-31 08:25 ">第六章.人类基地</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63674158.html" target="_blank" title="第七章.第二次觉醒 字数：4623 更新时间：2021-01-01 08:37 ">第七章.第二次觉醒</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63682701.html" target="_blank" title="第八章.眼花缭乱的觉醒技 字数：4315 更新时间：2021-01-02 10:33 ">第八章.眼花缭乱的觉醒技</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63690558.html" target="_blank" title="第九章.大战再起 字数：3394 更新时间：2021-01-03 10:02 ">第九章.大战再起</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63697761.html" target="_blank" title="第十章.血肉战场 字数：3248 更新时间：2021-01-04 06:06 ">第十章.血肉战场</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63705259.html" target="_blank" title="第十一章.疯狂求死 字数：4041 更新时间：2021-01-05 00:03 ">第十一章.疯狂求死</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63716604.html" target="_blank" title="第十二章.艰难的抉择 字数：3242 更新时间：2021-01-06 14:39 ">第十二章.艰难的抉择</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63721460.html" target="_blank" title="第十三章.参军与氦3 字数：3444 更新时间：2021-01-07 00:01 ">第十三章.参军与氦3</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63729380.html" target="_blank" title="第十四章.回家 字数：3159 更新时间：2021-01-08 00:01 ">第十四章.回家</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63737394.html" target="_blank" title="第十五章.我有证件 字数：3243 更新时间：2021-01-09 00:05 ">第十五章.我有证件</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63747039.html" target="_blank" title="第十六章.当着我的面炫技？ 字数：3220 更新时间：2021-01-10 11:56 ">第十六章.当着我的面炫技？</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63752647.html" target="_blank" title="第十七章.觉醒者评议会 字数：3139 更新时间：2021-01-11 00:05 ">第十七章.觉醒者评议会</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63760912.html" target="_blank" title="第十八章.拼命的修炼 字数：3394 更新时间：2021-01-12 00:05 ">第十八章.拼命的修炼</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63769431.html" target="_blank" title="第十九章.实战是最好的训练 字数：3053 更新时间：2021-01-13 00:05 ">第十九章.实战是最好的训练</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63776882.html" target="_blank" title="第二十章.突飞猛进 字数：3643 更新时间：2021-01-14 00:15 ">第二十章.突飞猛进</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63779119.html" target="_blank" title="第二十一章.猛兽独行 字数：3591 更新时间：2021-01-14 12:14 ">第二十一章.猛兽独行</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63784480.html" target="_blank" title="第二十二章.潜伏 字数：3435 更新时间：2021-01-15 00:01 ">第二十二章.潜伏</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63786538.html" target="_blank" title="第二十三章.幸存者 字数：3531 更新时间：2021-01-15 11:46 ">第二十三章.幸存者</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63792017.html" target="_blank" title="第二十四章.恶战狂犬 字数：3386 更新时间：2021-01-16 00:03 ">第二十四章.恶战狂犬</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63799556.html" target="_blank" title="第二十五章.我不止会杀变异兽 字数：3200 更新时间：2021-01-17 00:12 ">第二十五章.我不止会杀变异兽</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63807092.html" target="_blank" title="第二十六章.觉醒者小队 字数：3314 更新时间：2021-01-18 00:01 ">第二十六章.觉醒者小队</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63809032.html" target="_blank" title="第二十七章.天降神兵 字数：3123 更新时间：2021-01-18 11:21 ">第二十七章.天降神兵</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63810933.html" target="_blank" title="第二十八章.我就是这样捡材料的 字数：3256 更新时间：2021-01-18 17:22 ">第二十八章.我就是这样捡材料的</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63814719.html" target="_blank" title="第二十九章.单挑白银级 字数：3080 更新时间：2021-01-19 00:12 ">第二十九章.单挑白银级</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63816929.html" target="_blank" title="第三十章.三次觉醒的门槛 字数：3244 更新时间：2021-01-19 11:55 ">第三十章.三次觉醒的门槛</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63819259.html" target="_blank" title="第三十一章.猎杀白银级 字数：3264 更新时间：2021-01-19 18:48 ">第三十一章.猎杀白银级</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63822490.html" target="_blank" title="第三十二章.黄金品质，战力暴涨 字数：3091 更新时间：2021-01-20 00:02 ">第三十二章.黄金品质，战力暴涨</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63825433.html" target="_blank" title="第三十三章.最强白银 字数：3423 更新时间：2021-01-20 14:04 ">第三十三章.最强白银</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63827508.html" target="_blank" title="第三十四章.再次相遇 字数：3137 更新时间：2021-01-20 19:42 ">第三十四章.再次相遇</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63830883.html" target="_blank" title="第三十五章.大开杀戒 字数：3211 更新时间：2021-01-21 00:06 ">第三十五章.大开杀戒</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63833206.html" target="_blank" title="第三十六章.背靠黑暗，逐光而行！ 字数：3270 更新时间：2021-01-21 11:57 ">第三十六章.背靠黑暗，逐光而行！</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63839489.html" target="_blank" title="第三十七章.重返基地 字数：3284 更新时间：2021-01-22 00:02 ">第三十七章.重返基地</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63841894.html" target="_blank" title="第三十八章.我杀的 字数：3175 更新时间：2021-01-22 11:40 ">第三十八章.我杀的</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63847691.html" target="_blank" title="第三十九章.新人类事务局 字数：3330 更新时间：2021-01-23 00:01 ">第三十九章.新人类事务局</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63850150.html" target="_blank" title="第四十章.私人请求 字数：3210 更新时间：2021-01-23 11:49 ">第四十章.私人请求</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63855626.html" target="_blank" title="第四十一章.整理收获 字数：3196 更新时间：2021-01-24 00:02 ">第四十一章.整理收获</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63857623.html" target="_blank" title="第四十二章.错误的打开方式 字数：3382 更新时间：2021-01-24 11:56 ">第四十二章.错误的打开方式</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63862960.html" target="_blank" title="第四十三章.惊动四方的奖励兑换 字数：3058 更新时间：2021-01-25 00:02 ">第四十三章.惊动四方的奖励兑换</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63865358.html" target="_blank" title="第四十四章.流言 字数：3218 更新时间：2021-01-25 12:11 ">第四十四章.流言</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63871030.html" target="_blank" title="第四十五章.逗你玩 字数：3616 更新时间：2021-01-26 00:02 ">第四十五章.逗你玩</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63873068.html" target="_blank" title="第四十六章.给我查 字数：3425 更新时间：2021-01-26 11:40 ">第四十六章.给我查</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63878691.html" target="_blank" title="第四十七章.左右为难 字数：3101 更新时间：2021-01-27 00:45 ">第四十七章.左右为难</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63880774.html" target="_blank" title="第四十八章.许悠然算个屁 字数：3417 更新时间：2021-01-27 12:04 ">第四十八章.许悠然算个屁</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63885964.html" target="_blank" title="第四十九章.幕后黑手和底牌 字数：3613 更新时间：2021-01-28 00:03 ">第四十九章.幕后黑手和底牌</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63888120.html" target="_blank" title="第五十章.要闯就闯祸，要打就打破 字数：3211 更新时间：2021-01-28 11:27 ">第五十章.要闯就闯祸，要打就打破</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63893844.html" target="_blank" title="第五十一章.强大的三次觉醒者 字数：3381 更新时间：2021-01-29 00:02 ">第五十一章.强大的三次觉醒者</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63896102.html" target="_blank" title="第五十二章.吊打 字数：3285 更新时间：2021-01-29 11:52 ">第五十二章.吊打</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63901491.html" target="_blank" title="第五十三章.力压群雄 字数：3144 更新时间：2021-01-30 00:02 ">第五十三章.力压群雄</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63909485.html" target="_blank" title="第五十四章.这就是觉醒者，法外狂徒！ 字数：3074 更新时间：2021-01-31 00:03 ">第五十四章.这就是觉醒者，法外狂徒！</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63917208.html" target="_blank" title="第五十五章.一位父亲的请求 字数：3279 更新时间：2021-02-01 00:01 ">第五十五章.一位父亲的请求</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63925090.html" target="_blank" title="第五十六章.可能会迟到，但一定会到 字数：3268 更新时间：2021-02-02 00:04 ">第五十六章.可能会迟到，但一定会到</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63932900.html" target="_blank" title="第五十七章.五大上将 字数：3235 更新时间：2021-02-03 00:13 ">第五十七章.五大上将</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63940461.html" target="_blank" title="第五十八章.惊人的惩罚 字数：3092 更新时间：2021-02-04 00:01 ">第五十八章.惊人的惩罚</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63942953.html" target="_blank" title="第五十九章.最高荣耀 字数：3704 更新时间：2021-02-04 12:15 ">第五十九章.最高荣耀</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63948159.html" target="_blank" title="第六十章.豪横的许悠然 字数：3217 更新时间：2021-02-05 00:02 ">第六十章.豪横的许悠然</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63950397.html" target="_blank" title="第六十一章.超级炸弹，毁天灭地 字数：3022 更新时间：2021-02-05 12:02 ">第六十一章.超级炸弹，毁天灭地</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63955479.html" target="_blank" title="第六十二章.死战不退！ 字数：3173 更新时间：2021-02-06 00:05 ">第六十二章.死战不退！</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63958738.html" target="_blank" title="第六十三章.一路横扫 字数：3210 更新时间：2021-02-06 16:33 ">第六十三章.一路横扫</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63962540.html" target="_blank" title="第六十四章.梦中的警示 字数：3036 更新时间：2021-02-07 00:01 ">第六十四章.梦中的警示</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63964793.html" target="_blank" title="第六十五章.地狱不空，誓不成佛 字数：3133 更新时间：2021-02-07 12:04 ">第六十五章.地狱不空，誓不成佛</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63970679.html" target="_blank" title="第六十六章.清剿开始 字数：3168 更新时间：2021-02-08 00:07 ">第六十六章.清剿开始</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63978239.html" target="_blank" title="第六十七章.出动！毁灭者小队 字数：3037 更新时间：2021-02-09 00:07 ">第六十七章.出动！毁灭者小队</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63985681.html" target="_blank" title="第六十八章.毁灭者之威 字数：3125 更新时间：2021-02-10 00:23 ">第六十八章.毁灭者之威</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63992857.html" target="_blank" title="第六十九章.4.6秒 字数：3220 更新时间：2021-02-11 00:16 ">第六十九章.4.6秒</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/63999644.html" target="_blank" title="第七十章.希望你们报仇 字数：3234 更新时间：2021-02-12 00:04 ">第七十章.希望你们报仇</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64006072.html" target="_blank" title="第七十一章.全军楷模 字数：3167 更新时间：2021-02-13 00:03 ">第七十一章.全军楷模</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64012117.html" target="_blank" title="第七十二章.苍狼的嘲弄 字数：3290 更新时间：2021-02-14 00:02 ">第七十二章.苍狼的嘲弄</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64018426.html" target="_blank" title="第七十三章.送战友上路 字数：2169 更新时间：2021-02-15 00:10 ">第七十三章.送战友上路</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64024795.html" target="_blank" title="第七十四章.抗命与守护 字数：3064 更新时间：2021-02-16 00:02 ">第七十四章.抗命与守护</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64030982.html" target="_blank" title="第七十五章.青狼对苍狼 字数：3313 更新时间：2021-02-17 00:01 ">第七十五章.青狼对苍狼</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64037596.html" target="_blank" title="第七十六章.你自由了 字数：3162 更新时间：2021-02-18 00:03 ">第七十六章.你自由了</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64044476.html" target="_blank" title="第七十七章.发生质变的觉醒技 字数：3157 更新时间：2021-02-19 00:05 ">第七十七章.发生质变的觉醒技</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64051337.html" target="_blank" title="第七十八章.远方的来信 字数：3051 更新时间：2021-02-20 00:07 ">第七十八章.远方的来信</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64058300.html" target="_blank" title="第七十九章.许连长 字数：3262 更新时间：2021-02-21 00:01 ">第七十九章.许连长</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64065205.html" target="_blank" title="第八十章.时刻准备着 字数：3276 更新时间：2021-02-22 00:02 ">第八十章.时刻准备着</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64071910.html" target="_blank" title="第八十一章.未知文明 字数：3212 更新时间：2021-02-23 00:06 ">第八十一章.未知文明</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64074092.html" target="_blank" title="第八十二章.传送 字数：3134 更新时间：2021-02-23 12:50 ">第八十二章.传送</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64078877.html" target="_blank" title="第八十三章.正确打开方式 字数：3179 更新时间：2021-02-24 00:04 ">第八十三章.正确打开方式</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64082960.html" target="_blank" title="第八十四章.再踏征程 字数：3333 更新时间：2021-02-24 16:25 ">第八十四章.再踏征程</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64087009.html" target="_blank" title="第八十五章.一路向东 字数：3484 更新时间：2021-02-25 00:04 ">第八十五章.一路向东</a>
                        </li>

                        <li class=" col-4">
                            <a href="http://book.zongheng.com/chapter/1085747/64095033.html" target="_blank" title="第八十六章.大会战 字数：3043 更新时间：2021-02-26 00:20 ">第八十六章.大会战</a>
                        </li>

                    </ul>
                </div>

             </div>
        </div>
    </div>
"""
sel = Selector(text=demoStr)
result4 = sel.css("ul.chapter-list li a::text").extract()
strInfo = ""
for item in result4:
    strInfo += item + "\n"
file = open("C:/Users/Administrator/Desktop/result4.txt", "w", encoding="utf-8")
file.write(strInfo)
file.close()
print("保存完毕")
# 打开盘符看看
import os
os.system("start C:/Users/Administrator/Desktop/")

​编辑

Demo4：时间time

import time

# 做一个倒计时
# print("休息3秒")
# time.sleep(3)
# print("我是3秒后的世界!")
for i in range(0, 10):
    print("倒计时：{0}秒".format((10 - i)))
    time.sleep(1)

​

编辑

Demo5：随机数

import random

#  随机数
#  概率控制
#  中奖概率
count = 0
for i in range(1, 100):
    nums = random.randint(1, 10)
    if nums == 1 or nums == 2:
        count += 1
        print("抽奖成功")
print("抽奖概率:{0}%".format(count))

​

编辑

demo6：某小说下载

由于【前86】章免费，那么咱们就弄前86章。

from requests import get
from scrapy.selector import Selector

html = get("http://book.zongheng.com/showchapter/1085747.html").content.decode("utf-8")
sel = Selector(text=html)
result = sel.css("ul li a::attr(href)").extract()
count = 0
for x in result:
    if "1085747" in x:
        print(x)
        if count == 86:
            break
        count += 1

​编辑​

正式抓取：

from requests import get
from scrapy.selector import Selector
import time
import random

html = get("http://book.zongheng.com/showchapter/1085747.html").content.decode("utf-8")
sel = Selector(text=html)
result = sel.css("ul li a::attr(href)").extract()
count = 0
for x in result:
    if "1085747" in x:
        html = get(x).content.decode("utf-8")
        sel = Selector(text=html)
        title = sel.css("div.title_txtbox::text").extract()[0]
        title = title.replace("：", "_")
        info = sel.css("div.content p::text").extract()
        strInfo = ""
        for j in info:
            strInfo += j
        file = open(str.format("{0}{1}", title, ".txt"), "w", encoding="utf-8")
        file.write(strInfo)
        file.close()
        # 每次操作完休息1~3s
        timeStop = random.randint(1, 4)
        time.sleep(timeStop)
        print("完成", title)
        if count == 86:
            break
        count += 1

下载过程：

​编辑​

下载完毕：

​编辑​

我没改路径就放在项目里了：

​编辑​

正式完整版小说下载

from requests import get
from scrapy.selector import Selector
import time
import random

html = get("http://book.zongheng.com/showchapter/1206227.html").content.decode("utf-8")
sel = Selector(text=html)
result = sel.css("ul li a::attr(href)").extract()
count = 0
for x in result:
    if "1206227" in x:
        html = get(x).content.decode("utf-8")
        sel = Selector(text=html)
        title = sel.css("div.title_txtbox::text").extract()[0]
        title = title.replace("：", "_")
        info = sel.css("div.content p::text").extract()
        strInfo = ""
        for j in info:
            strInfo += j + "\n"
        try:
            file = open(str.format("D:/baidu1/xianDiNaiBa/{0}{1}", title, ".txt"), "w", encoding="utf-8")
            file.write(strInfo)
            file.close()
        except:
            print("本章有异常，已经跳过")
        # 每次操作完休息1~3s
        timeStop = random.randint(1, 4)
        time.sleep(timeStop)

注意：文件夹需要自行创建 

​编辑

图片筛取与下载：

import requests
import uuid
import random
import time

url = "https://image.baidu.com/search/acjson?tn=resultjson_com&logid=7266558810577433352&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E9%98%BF%E5%87%A1%E8%BE%BE&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&word=%E9%98%BF%E5%87%A1%E8%BE%BE&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn=60&rn=30&gsm=3c&1613315170875="
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
resp = requests.get(url, headers=headers)
resp_json = resp.json()
data_list = resp_json['data']
lst = []
for item in data_list:
    if len(item) != 0:
        lst.append(item['thumbURL'])

# 以下为存储过程
# 遍历列表存储所有图片
for item in lst:
    # 发送请求
    try:
        pic = requests.get(item, timeout=100)
    except requests.exceptions.ConnectionError:
        print('错误：当前图片无法下载')
        continue
    # uuid4为图片名称
    # ,创建img文件夹， wb+:写入二进制数据
    file = open(str.format("D:/baidu1/img/{0}.jpg", uuid.uuid4()), 'wb+')
    file.write(pic.content)
    file.close()
    # 每次操作完休息1~3s
    timeStop = random.randint(1, 4)
    time.sleep(timeStop)
print("完成")

注意：文件夹需要自行创建 

​编辑


总结：

本章的主要核心是【CSS】只要把这个知识点玩明白了那么其他的就很简单了。

​

【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
CSS Python Scrapy
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入