前言

网站结构的第二意义指的是链接结构，或称为逻辑结构，也就是网站内部链接形成的链接的网络图。
对于搜索引擎来说更重要的是链接结构，而不是物理结构： 收录容易与否在于页面处于链接结构的什么位置，离首页有几次点击距离，而不是它的目录层次

I 、禁止收录机制

要确保页面不被收录，需要使用robots文件或Meta Robots标签。

II、搜索引擎蜘蛛就相当于一个禁用了Cookies的浏览器

搜索引擎蜘蛛就相当于一个禁用了Cookies的浏览器ÿ

文章来源: kunnan.blog.csdn.net，作者：iOS逆向，版权归原作者所有，如需转载，请联系作者。

原文链接：kunnan.blog.csdn.net/article/details/104049419