Python爬虫应用实战-如何对爬取的数据进行数据存储？

文件存储

文件储存的形式多种多样，比如说保存成TXT纯文本形式，也可以保存为JSON格式、CSV格式等等。

TXT文本存储

将数据保存到TXT文件的操作是非常简单的，而且TXT文本几乎兼容任何平台，但是也是存在缺点的，那就是不利于检索。所以如果对检索数据的要求不高，追求第一的话，可以采用TXT文本存储。

基本示例

爬取小说网，链接如下：

https://www.soxscc.com/BianShenJueSeShaoNv/1001322.html

 

首先可以使用requests将网页源码获取下来，然后使用pyquery解析库解析，提取其中的小说内容。

具体代码如下所示：

  

   

    

     

    
    

     

      import requests
     
    
   

    

     

    
    

     

      from pyquery import PyQuery as pq
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      url = 'https://w、w.soxscc.com/BianShenJueSeShaoNv/1001322.html'
     
    
   

    

     

    
    

     

      headers = {
     
    
   

    

     

    
    

     

          'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
     
    
   

    

     

    
    

     

      }
     
    
   

    

     

    
    

     

      html = requests.get(url, headers=headers).text
     
    
   

    

     

    
    

     

      doc = pq(html)
     
    
   

    

     

    
    

     

      text = doc('#con1001322').text()
     
    
   

    

     

    
    

     

      file = open('都市仙尊.txt', 'w', encoding='utf-8')
     
    
   

    

     

    
    

     

      file.write(text)
     
    
   

    

     

    
    

     

      print('
     
    
  
 

文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。

原文链接：wenyusuran.blog.csdn.net/article/details/120503468