一个好的网站必须要有robots

　　要想robots。txt能给网站带来帮助，前提是该文件要设置合理，否则适得其反。网站建设中robots。txt文件少不了，下面就先来了解一下什么是robots。txt文件。

　　有了robots，就可以让搜索引擎抓取到网站页面，一些抓取不到的页面也会很清楚，也就是robots协议。这一协议在当今互联网的一项道德规范，保护网站数据和相关信息资料等，这对用户来说可以保护个人隐私等。但因robots不是命令，需要搜索引擎自己去遵守，所以网站被病毒攻击是属于正常情况。

　　当蜘蛛在抓群网页的过程中，先要检查网站中的robots纯文本文件，它存在在根域名下面，这个文件就告诉蜘蛛哪些页面是可以抓取的。robots。txt文件可以自己创建，对于不想让搜索引擎抓取的内容要说明。

　　robots。txt文件对我网站到底有哪些好处呢？首先它可以阻止一些文件被索引，这样就可以加快网站访问速度，也节省了不少流量。进而网站访问速度也就变快了，打开速度快的网站搜索引擎还是非常友好的。

　　robots。txt文件禁止了不需要的文件，对搜索引擎来说，索引环境变的更加简洁，搜索引擎自然很喜欢你的网站。一般来说网站根目录下一定会包含robots。txt文件，这对网站运营是非常友好的，适当的时候可以屏蔽蜘蛛。