robots.txt文件对于一个网站的重要性是SEOer必须知道的，robots协议是规范搜索引擎抓取的一种单方面协议，从某种意义来说搜索引擎可以不遵循这个协议，但是从目前来看，robots协议的有效性还是很大的。今天针对wordpress程序搭建的网站来说明一下利于seo优化的robots.txt的最佳写法。
小凯SEO博客站点的robots就参考了这样的一种写法，具体可以参考一下：https://www.xiaokaiseo.com/robots.txt
下面详细的解释一下每一条robots协议的意思：
【User-agent: *】开始配置 所有引擎
【Disallow: /wp-admin/】用于告诉搜索引擎不要抓取后台程序文件页面。
【Disallow: /wp-includes/】用于告诉搜索引擎不要抓取后台程序文件页面。
【Disallow: /wp-content/plugins】用于告诉搜索引擎不要抓取后台程序插件文件页面。
【Disallow: /wp-content/themes】用于告诉搜索引擎不要抓取后台程序模版文件页面。
【Disallow: /*?*】禁止搜索引擎抓取动态链接
【Disallow: /*/comment-page-*】禁止搜索引擎抓取评论分页等相关链接。
【Disallow: /*?replytocom=*】禁止搜索引擎抓取评论分页等相关链接。
【Disallow: /category/*/page/】禁止搜索引擎抓取收录分类和标签的分页。
【Disallow: /tag/*/page/】禁止搜索引擎抓取收录分类和标签的分页。
【Disallow: /*/trackback】禁止搜索引擎抓取收录trackback等垃圾信息
【Disallow: /feed】禁止搜索引擎抓取收录feed链接，feed只用于订阅本站，与搜索引擎无关。
【Disallow: /*/feed】禁止搜索引擎抓取收录feed链接，feed只用于订阅本站，与搜索引擎无关。
【Disallow: /comments/feed】禁止搜索引擎抓取收录feed链接，feed只用于订阅本站，与搜索引擎无关。
【Disallow: /?s=*】禁止搜索引擎抓取站内搜索结果
【Disallow: /*/?s=*\】禁止搜索引擎抓取站内搜索结果
【Disallow: /attachment/】禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。
当然，完美的robots.txt的写法格式当中还要有Sitemap（网站地图）的地址，截至2015年10月17日小凯SEO的博客刚刚上线，所以暂时没有加这个地址。这份协议或许并不适合所有的wordpress程序的网站，seo高手朋友都会根据自己的习惯进行robots细节上面的修改，对于seo基础还不是很扎实的朋友来说，可以参考一下这份robots.txt文件的写法。