robots书写说明：
【摘要】
“User-Agent”搜索引擎的名字。针对所有搜索引擎写法：User-Agent: *，针对百度搜索引擎写法：User-Agent:Baiduspider“Allow”允许抓取。例：允许抓取news目录，参考写法：Allow: /news“Disallow”禁止抓取。例：禁止抓取admin目录，参考写法...
文章来源: blog.csdn.net，作者：lxw1844912514，版权归原作者所有，如需转载，请联系作者。
原文链接：blog.csdn.net/lxw1844912514/article/details/100028714
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）