三台勤奋的爬虫服务器
刚刚在后台查看了一下，站点刚刚开通三天，目前有三台爬虫服务器对本网检索过：
203.208.60.33：这个搜索了一下，是一个叫做北京飞翔人信息技术有限公司的爬虫服务器，这个公司创建了赶集网，一个地域分类索引信息的网站，呵呵，他们的动作也的确够快。
67.195.37.189： 这个是来自于美国的服务器，我查了一下是雅虎的爬虫服务器。
212.61.21.64： 这个来自于荷兰，其他的信息就不了解了。
呵呵，google什么时候收录一下本站呢，等待中……
存档
‘搜索优化’ 分类的存档
有关robots.txt
刚刚建立网站才三天而已，而且也没有做任何的博客营销之类的宣传，所以猜测应该没有什么访客，但是去后台看一下发现已经有几个访问用户，而且他们提交访问的文件均为robots.txt，于是搜索了一下，发现这个文件是专门提供给网络爬虫/网络机器人使用的。
这个文件主要是提供给像GOOGLE这样的搜索引擎的网络爬虫服务器使用的，他所包含的内容用来告知搜索引擎一个网站是否要或者哪一部分允许被搜索引擎索引。
这个文件通常都放在根目录下面，比如说我的网站是themoney4u.net，这个文件的位置是themoney4u.net/robots.txt。
最近评论