-
+5
wordpress 3.1 robots.txt配置
2011-03-24 By 知蚁 分类：Wordpress、搜索引擎 2,336人浏览
这几天刚好在在研究robots.txt，于是就把自己网站中的robots.txt文件下下来看了下，结果如下 User-agent: * Disallow: Sitemap: http://www.letuknowit.com/sitemap.xml.gz 其中除了Sitemap有点用外，其余的就等于是摆设啊，也就是说我网站上的所有网页都可以被那些搜索引擎的机器人抓取，这可不是什么好事，因为这其中有很多wordpre...
-
+4
什么是 robots.txt 文件呢？
2011-03-23 By 知蚁 分类：搜索引擎 2,625人浏览
在《什么是Googlebot？》以及《如何阻止 Googlebot 抓取您网站上的内容》两篇博文中，我们都曾提到这个神秘的 robots.txt ，这到底是个怎样的文件呢，它又有哪些神奇的功能呢？ robots.txt 文件最主要的作用是限制抓取网页的搜索引擎漫游器对您网站的访问，也就是让那些网页抓取机器人不去抓取你的特定网页。 这些搜索引擎漫游器都是...