什么是搜索引擎蜘蛛

搜索引擎蜘蛛是指:网络爬虫。网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。每个搜索引擎都有自己的蜘蛛,搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

什么是搜索引擎蜘蛛插图什么是搜索引擎蜘蛛

什么是搜索引擎蜘蛛?

搜索引擎蜘蛛简称网络爬虫(webcrawler),网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

我们可以将互联网理解成一张巨大的“蜘蛛网”,而搜索引擎蜘蛛是类似实质的“机器人”。蜘蛛的主要任务就是在巨大的蜘蛛网(互联网)中浏览信息,然后把这些信息都抓取到搜索引擎的服务器上,然后建立索引库。就好比机器人浏览我们的网站,然后把内容保存到自己的电脑上。

每个搜索引擎都有自己的蜘蛛,搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

国内各大搜索引擎蜘蛛名称:

百度:百度spider

谷歌:googlebot

搜狗:sogou spider

搜搜:Sosospider

360搜索:360Spider

有道:YodaoBot

雅虎:Yahoo Slurp

必应:msnbot

Msn:msnbot

以上就是什么是搜索引擎蜘蛛的详细内容,更多请关注陌客网其它相关文章!

爱生活,爱陌客
网站源码-PHP网站源码-商业源码分享-免费网站模版下载 » 什么是搜索引擎蜘蛛

发表评论