-
+4
什么是 robots.txt 文件呢？
2011-03-23 By 知蚁 分类：搜索引擎 2,625人浏览
在《什么是Googlebot？》以及《如何阻止 Googlebot 抓取您网站上的内容》两篇博文中，我们都曾提到这个神秘的 robots.txt ，这到底是个怎样的文件呢，它又有哪些神奇的功能呢？ robots.txt 文件最主要的作用是限制抓取网页的搜索引擎漫游器对您网站的访问，也就是让那些网页抓取机器人不去抓取你的特定网页。 这些搜索引擎漫游器都是...
-
+2
如何阻止 Googlebot 抓取您网站上的内容
2011-03-23 By 知蚁 分类：搜索引擎 1,723人浏览
如果您有不希望在 Google 搜索结果中显示的网页或其他内容，也即是所谓的拦截Google，可以通过将内容放入受密码保护的目录、使用robots.txt文件以及noindex元标记的方式实现。 1、将内容放入受密码保护的目录 Googlebot 和其他信息采集软件无法访问这些受密码保护的目录。这是阻止Googlebot 和其他信息采集软件抓取您网站上的内容并...
-
+2
什么是Googlebot？
2011-03-23 By 知蚁 分类：搜索引擎 1,909人浏览
Googlebot 是 Google 的网页抓取机器人（有时称为“信息采集软件”）。所谓抓取就是 Googlebot 发现新网页和更新的网页并将这些网页添加到 Google 索引中的过程。 Google使用许多计算机来提取（或“抓取”）网站上的大量网页。Googlebot 使用算法确定抓取过程：由计算机程序确定要抓取的网站、抓取频率以及从每个网站抓取的网页数量。 ...