为了让网站的主要核心内容展现给搜索引擎，在进行网站seo基础优化的时候，首先要考虑的网站附件内容就是robots协议文件。因为在搜索引擎蜘蛛对网站进行抓取的时候都会首先抓取robots协议，通过robots协议的内容来约束搜索引擎蜘蛛哪些内容不需要抓取，而哪些内容是必须抓取的，今天小凯seo博客和朋友们分享的主题就是关于利于网站seo优化的robots协议应该怎么编写。
robots协议是以txt文件放在网站的根目录下的，主要目的是为了极速的增加网站的权重，制止网站的某些内容被搜索引擎抓取到，从而有效的节约了服务器带宽和网站访问速度的提升。另外，还可以给搜索引擎蜘蛛创造一个非常简洁明了的抓取和索引环境，对seo优化是有非常好的积极作用的。
robots协议的编写方法应该遵循哪些原则才会更加有利于搜索引擎优化呢？首先是要让搜索引擎蜘蛛禁止抓取网站当中，并不利于抓取的文件，比如图片、JS文件、视频文件等等，这些内容即使是搜索引擎蜘蛛来抓取也是在浪费资源和时间，因此把这些文件所在的目录文件夹通过robots协议屏蔽是非常利于seo优化的。
本身网站的后台文件夹和模版文件夹等等一些和网站内容不相关的目录，但是又能通过URL链接读取到的内容，这些内容对于网站的核心关键词毫无匹配可言，所以这也是需要通过robots协议屏蔽掉的。对网站搭建不是很了解的朋友，可能对于这些目录的认识也是有限的，这就是因为为什么学习seo必须懂得建站的其中一个原因。
在小凯seo博客当中也有关于robots协议的具体操作方法，感兴趣的朋友可以站内搜索一下。robots协议文件是把网站内容更加整齐划一的展现给搜索引擎，让那些多余的文件目录隐藏起来，所以在进行robots协议的编写当中就是围绕着哪些内容是不需要搜索引擎抓取的，然后通过robots协议语法将其屏蔽就可以了。