Robots协议

Robots协议

在网站根目录下的放置一个robots.txt，指明哪些目录可以访问，那些不可以访问，如：

User-agent: * 
Disallow: /?* 
Disallow: /pop/*.html 
Disallow: /pinpai/*.html?* 
User-agent: EtaoSpider 
Disallow: / 
User-agent: HuihuiSpider 
Disallow: / 
User-agent: GwdangSpider 
Disallow: / 
User-agent: WochachaSpider 
Disallow: /


  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
 

Robots基本语法

#注释 *代表所，/代表根目录  下面的意思是所有客户端，都不允许爬根目录
User-agent:*
Disallow:/

  

 

  
1
  
2
  
3
 

文章来源: blog.csdn.net，作者：WongKyunban，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/weixin_40763897/article/details/96740713