zen-cart优化 - robots.txt如何写?

2010-06-23 at 12:04 下午 kk

安装好zen-cart后,默后是没有robots.txt文件的,为了过滤爬虫抓取页面和权重导向,提供一个

robots.txt范本。

User-agent: *
Disallow: /cache/
Disallow: /contrib/
Disallow: /docs/
Disallow: /extras/
Disallow: /htmlarea/
Disallow: /stats/
Disallow: /sitemap/
Disallow: /graphics/
Disallow: /login.html
Disallow: /privacy.html
Disallow: /conditions.html
Disallow: /contact_us.html
Disallow: /gv_faq.html
Disallow: /discount_coupon.html
Disallow: /unsubscribe.html
Disallow: /shopping_cart.html
Disallow: /ask_a_question.html
Disallow: /popup_image_additional.html
Disallow: /product_reviews_write.html
Disallow: /tell_a_friend.html
Disallow: /pages-popup_image.html?
Disallow: /popup_image_additional.html?
Disallow: /login.html

如果不想让自己的图片在google图片搜索中出现,可以在robots.txt里面添加以下信息

User-agent: Googlebot-Image
Disallow: /

------------------------------------------------------------------------------------------
作者:
宽宽@网站策划运营
本站所有文章均为宽宽原创。
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。

Leave a Reply