robots.txt文件对于一个网站的重要性是SEOer必须知道的，robots协议是规范搜索引擎抓取的一种单方面协议，从某种意义来说搜索引擎可以不遵循这个协议，但是从目前来看，robots协议的有效性还是很大的。今天针对wordpress程序搭建的网站来说明一下利于seo优化的robots.txt的最佳写法。
小凯SEO博客站点的robots就参考了这样的一种写法，具体可以参考一下：https://www.xiaokaiseo.com/robots.txt
下面详细的解释一下每一条robots协议的意思......