推荐wordpress与joomla网站的robots写法

wordpress的robots并不是自动生成的,而是在搜索引擎抓取的时候会生成在根目录,生成sitemap的插件是Simple Google Sitemap XML我的wordpress robots写法如下:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*

Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.cuijunwei.com/sitemap.xml

一般上传到根目录之后要过一会才会在www.cuijunwei.com/robots.txt显示出更新,如果暂时没显示出来,等一会就好。

我的joomla的机器人是用插件实现的,插件的名字是Jcrawler,主要是生成sitemap,也用来生成robots,但是生成的机器人我很不满意,因为太长太罗嗦,而且最后的sitemap竟然是插件作者网址的,因此我做了修改:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
sitemap: http://www.zshanhai.com/sitemap.xml

也是上传到根目录,过一段时间就好。

robots的作用:
1、减少搜索引擎抓取不必要的页面,浪费带宽
2、我们将动态网址静态化之后可以通过robots.txt避免对他们的重复抓取。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

This site uses Akismet to reduce spam. Learn how your comment data is processed.