JS逆向:猿人学爬虫比赛第三题详细题解

实战地址

http://match.yuanrenxue.com/match/3

  

抓包分析

地址栏输入 地址，按下F12并回车，发现数据在这里:

请求中有个 sessionid 字段的cookie,估计需要该值:

点击第二页，再分析，如下:

原来先访问了 :

http://match.yuanrenxue.com/logo

  

这个接口，返回设置 cookie，然后再带着这个cookie 请求类似这个接口:

http://match.yuanrenxue.com/api/match/3?page=2

  

即可。

这里要注意先后顺序，必须是请求 logo这个接口并设置好cookie之后，才能拿到数据，否则在错误的基础上返回的肯定是错误的数据。

没有任何反爬，直接检测了浏览器的相关字段:

   

    

     

      

     
     

      

       headers = {
      
     
    

     

      

     
     

      
 "Accept-Language": "zh-CN,zh;q=0.9",
      
     
    

     

      

     
     

      

           'Referer': 'http://match.yuanrenxue.com/match/3',
      
     
    

     

      

     
     

      

       }
      
     
   
  

headers必须带 "Accept-Language" 和 "Referer"字段，且不能包含 "Host"字段，否则也无法返回正确的结果。这种情况，只能一个一个试了。

另外还有一个requests库的坑，我原本想让Session()来保持cookie，发现如果将 session.headers进行赋值的话，也一样拿不到数据。

完整源码

虽然headers不需要带UA也能拿到数据，不过里面带UA是个好习惯哦。

数据获取的代码如下:

   

    

     

      

     
     

      

       import requests
      
     
    

     

      

     
     

      

       session = requests.Session()
      
     
    

     

      

     
     

      

       headers = {
      
     
    

     

      

     
     

      
 "Accept-Language": "zh-CN,zh;q=0.9",
      
     
    

     

      

     
     

      
 'Referer': 'http://match.yuanrenxue.com/match/3',
      
     
    

     

      

     
     

      

           "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
      
     
    

     

      

     
     

      

       }
      
     
    

     

      

     
     

      

       cookie_url = "http://match.yuanrenxue.com/logo"
      
     
    

     

      

     
     

      

       for page in range(1,6):
      
     
    

     

      

     
     

      

        r = session.post(cookie_url,headers = headers)
      
     
    

     

      

     
     

      

        api_url = f"http://match.yuanrenxue.com/api/match/3?page={page}"
      
     
    

     

      

     
     

      

        r = session.get(api_url,headers = headers)
      
     
    

     

      

     
     

      
 print (r.text)
      
     
   
  

至于题目代码，请读者自行完成。也就调个库的事。