推荐wordpress与joomla网站的robots写法


wordpress的robots并不是自动生成的,而是在搜索引擎抓取的时候会生成在根目录,生成sitemap的插件是Simple Google Sitemap XML我的wordpress robots写法如下:

一般上传到根目录之后要过一会才会在www.cuijunwei.com/robots.txt显示出更新,如果暂时没显示出来,等一会就好。

我的joomla的机器人是用插件实现的,插件的名字是Jcrawler,主要是生成sitemap,也用来生成robots,但是生成的机器人我很不满意,因为太长太罗嗦,而且最后的sitemap竟然是插件作者网址的,因此我做了修改:

也是上传到根目录,过一段时间就好。

robots的作用:
1、减少搜索引擎抓取不必要的页面,浪费带宽
2、我们将动态网址静态化之后可以通过robots.txt避免对他们的重复抓取。



发表评论

电子邮件地址不会被公开。 必填项已用*标注