几种常见搜索引擎爬虫程序的整理

发表日期:2016-06-20   资讯来源:佰牛科技   浏览:197

百度的算法一直改变,这让很多站长在做SEO优化的时候有点犹豫,都想弄明白一件事,如何才能把握好网页更新策略,快速的提高网站的知名度。现在佰牛网络(深圳网站建设公司)就谈谈SEO的基础工作-网站页面收录问题,这就需要站长做好robots.txt。

这里就整理一些常见的爬虫程序,不常见的我也不是很了解,毕竟世界上的爬虫程序非常非常多,有好有坏。

一、Google爬虫

算法优秀,反应速度迅速,对内容质量把握优秀,中等强度爬虫程序,对服务器负担不大,推广效果好。

对应user-agent:爬虫名称

常见搜索引擎爬虫程序整理

Googlebot:google网页爬虫

Googlebot-news:google新闻爬虫

Googlebot-image:google图片爬虫

Googlebot-video:google视频爬虫

Googlebot-mobile:google移动爬虫

Mediapartners-google或Mediapartners(googlebot):google广告爬虫

Adsbot-google:google着陆页质量检测爬虫

常见搜索引擎爬虫程序整理

二、百度爬虫

算法良好,反应速度迟钝,对内容质量把握一般,高强度爬虫程序,由于算法优化不良问题,对服务器负担较大,本身小问题也挺多(比如:度娘又抽风了),隐私保护恶劣,在百度面前无隐私可言,推广效果好。(然而谁叫这货是国内搜索引擎老大呢)

对应user-agent:爬虫名称

Baiduspider:百度网页爬虫兼移动爬虫

Baiduspider-image:百度图片爬虫

Baiduspider-video:百度视频爬虫

Baiduspider-news:百度新闻爬虫

Baiduspider-favo:百度搜藏爬虫

Baiduspider-cpro:百度联盟爬虫

Baiduspider-ads:百度商务爬虫

三、好搜(即360)爬虫

类似百度早期算法,反应速度迟钝,对内容质量把握不足,高强度爬虫程序,隐私保护跟百度一个尿性,需要翻墙的小伙伴千万要避开这货。

推广效果好,目前好搜的客服给我的印象最好,然而以后就不知道了,毕竟有流氓历史。

对应user-agent:爬虫名称

360spider或haosouspider:好搜网页爬虫兼移动爬虫

360spider-image:好搜图片爬虫

360spider-video:好搜视频爬虫

三、搜狗爬虫

算法恶劣,反应速度极其迟钝,不能良好的把握内容质量,高强度爬虫程序,由于算法奇差,会对页面进行大量反复而又无实际意义的扫描,对服务器负担很大,个人建议直接遮蔽这货,推广效果差!严重的内部点击,个人最讨厌。搜狗本身流量就很少,并且收录慢,抓取压力大,综合性价比非常低。

对应user-agent:爬虫名称

Sogou spider:搜狗综合爬虫

四、新浪爱问爬虫

基本可以当作搜狗爬虫,各项性能恶劣,建议遮蔽,推广效果差。

对应user-agent:爬虫名称

Iaskspider:新浪爱问爬虫

五、有道爬虫

也基本可以当作搜狗爬虫,各项性能恶劣,对服务器负担较搜狗略低,建议遮蔽,推广效果差。

对应user-agent:爬虫名称

YodaoBot:网易有道爬虫

Alexa爬虫

Alexa爬虫,用于检测网站是否做了Alexa排名作弊,如果不关心Alexa排名的可以遮蔽。一般企业站看这个没意思很难有排名的。

对应user-agent:爬虫名称

ia_archiver:Alexa爬虫

六、雅虎爬虫

算法优良,反应速度还可以,高强度爬虫程序,有时候会从多个ip地址启动捉取,算是比较规范的爬虫,推广效果还可以。不过自从雅虎离开大陆,而且在11年11月左右雅虎关闭了站长服务并把数据转移到必应,一般情况建议遮蔽。

对应user-agent:爬虫名称

Yahoo! Slurp:雅虎爬虫

七、必应爬虫

整体性能还不能判断,不过根据最近世界搜索引擎市场份额占比判断,性能应该接近百度甚至比百度要好,国内本土化不足。九秋网站来自必应的流量不少于好搜。

对应user-agent:爬虫名称

Bingbot:必应爬虫

总结:

好了,大概我们常见的爬虫程序就有这些,别的基本可以直接遮蔽了。

内容标签:
几种常见搜索引擎爬虫程序的整理
SEO优化
网站页面收录
{ solution_title }
相关资讯

【签约】深圳目路教育官网网站建设项目

目路SEEPATHS专注于为学生家庭提供教育升学的定制服务。团队持续运营超过8年,目前已经发展成为一家以升学结果为导向,多元化道路与学生背景条件相结合的高端专业、实现学生个性化升学规划的服务机构。

日期:2020-09-24    浏览:116

【签约】深圳中浩建设官网建设项目

深圳中浩建设实业有限公司成立于2000年,是一家专业从事沥青路面施工,集工程投资管理,沥青路面,彩色沥青路面,路面养护维修为一体的公司。

日期:2018-07-12    浏览:116

【签约】深圳财阜集团APP开发项目

财阜集团的是一家扎根香港,并专注于为所有客户和会员提供一站式海外资产配置及服务的综合集团。

日期:2019-05-03    浏览:111

【签约】大可智能教育信息网平台网站建设项目

大可智能教育信息网面向全国一线教师和学生,提供高考、留学、考级考试以及 各年级相关备课、迎考的专业资源。

日期:2017-09-20    浏览:111

【签约】深圳活石学院教育平台项目

活石学院,源自香港,提供DSE课程学习,留学权威,服务全球,以及服务香港本地中小幼升学,规划香港及海外大学本科留学,是业内首屈一指的香港教育专家。

日期:2018-11-03    浏览:109

网站长尾关键词优化的六大法宝

长尾关键词,按字面理解就是搜索长度长,有2至3个词组成的词语,而用户有可能会用的这些词进行搜索。那么,对于已经存在的长尾词需要怎么优化呢?接下来分享长尾词优化的六大法宝。

日期:2018-07-05    浏览:163

用户粘性提高才能够保证网站良性发展

网站优化都有很多公司来说都是非常重要的,因为如果你的网站上要是有更多的客户的话,那么势必要在网站优化上下一些功夫,如果网站是比较好的话,那么这种网站它的用户粘性相对来说应该是比较高的,因为用户粘性对于我们建站的人来说是非常的重要的,因为只有用户粘性能够提高的话,才能够保证我们的网站运营中能够良性发展。

日期:2018-07-05    浏览:154

这些网站图片优化小技巧十分受用

图片优化是网站要进行优化的一个十分重要的方面,传统意义上的优化仅仅只是图片要加alt标签或是仅仅压缩。但这样太过粗陋,以下带来详细技巧。

日期:2018-07-05    浏览:122