Selenium爬携程酒店评论+jieba数据分析实战

如果你想使用最少的时间相对客观的了解一样事物，那么最好的方式就是快速收集大量的关于它的评价，然后迅速地找出这些评价中的关键信息。

而这道题目，有两个特别大的难点：1.如何快速收集大量的评论；2.如何迅速的从大量评论中抽取关键信息。

基于python语言的爬虫技术和文本分析技术刚好可以克服这两大困难，帮助我们更快更客观的了解某样事物。接下来，我们使用python的Selenium和jieba对携程某酒店网页的评论进行抓取和分析。请大家搬好小板凳。

爬取评论数据

Selenium模拟浏览器

selenium是python中一个具有模拟浏览器操作功能的package。随着反爬虫技术日益强大，网页数据多数通过js和Ajax动态加载，简单的网页解析很难拿到关键数据。selenium的作用就发挥出来，它可以模拟浏览器向服务器发送请求，服务器将数据返回并加载到浏览器端后，我们就这样轻松的绕过了各种复杂的js解析过程，拿到那些动态加载的数据。
下面就是如何通过selenium模拟谷歌浏览器的一段代码，需要强调的是chromedriver的版本(下载地址)一定要和chrome的版本对应，比如笔者的chrome版本是71.0.3578.98（正式版本），则chromedriver对应版本是2.45，而且chromedriver下载完成后，解压后的chromedriver.exe 需放在chrome的应用文件夹内。

  

   

    

     

    
    

     
  def generate_chrome():
     
    
   

    

     

    
    

     

          chromedrive
     
    
  
 

文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。

原文链接：wenyusuran.blog.csdn.net/article/details/107332853