robots.txt文件示例
【摘要】 # robots.txt generated at http://tool.chinaz.com/robots/
User-agent: *
Disallow:
Crawl-delay: 10
Sitemap: http://domain.com/sitemap.xml
12345
robots文件生成：http://tool.chinaz.com/robots/...
# robots.txt generated at http://tool.chinaz.com/robots/
User-agent: *
Disallow:
Crawl-delay: 10
Sitemap: http://domain.com/sitemap.xml
- 1
- 2
- 3
- 4
- 5
robots文件生成：http://tool.chinaz.com/robots/
文章来源: pengshiyu.blog.csdn.net，作者：彭世瑜，版权归原作者所有，如需转载，请联系作者。
原文链接：pengshiyu.blog.csdn.net/article/details/91361874
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）