分享好友 资讯首页 资讯分类 切换频道

站长基础交流之蜘蛛如何工作的

2017-11-22 00:34250微发信息网互联网
 搜索引擎理论对于seo的重要性,如果一个seoe再懂得于搜索引擎原理,会让你更好的做好seo,经常一些公司在招聘的时候,经常会提问到原理性的问题。
要想学好网站优化这个技术,还要了解搜索引擎蜘蛛的原理:
1、蜘蛛(百度的是:baiduspider 谷歌的是:googbot)又称为爬虫,只是叫法不一样。可理解为:搜索引擎的一个程序。搜索引擎程序(以下称为“蜘蛛”)它到了你的网站,去到爬行,然后把结果反馈给搜索引擎服务器。蜘蛛在爬行网站的时候,最先检测网站根目录下的robots.txt文件,因为蜘蛛都会遵循这个原则,蜘蛛会检测你robots下的文档里有哪些东西允许抓取,有哪一些不允许抓取。如果你的网站有哪些不让蜘蛛抓取,可以在robots里写出。通常,只要在robots文档里,一个星期左右的时间才会生效。
2、蜘蛛根据网站robots文件允许收录的网站,根据网站的链接开始爬行,蜘蛛会一沿着一个接一个往下爬,为避免程序问题,通常蜘蛛抓取的深度为5层以上。在做网站优化过程中,蜘蛛一直沿着链接抓取。以前强调锚文本的重要性,在这里可以发挥出它的效果,每抓取一次,就给下我们网站的权重
3、蜘蛛为了重复抓取网址,它会生成一个地址库,记录地址库服务中,记录还没抓取的页面,以及过滤敏感关键词页面
4、蜘蛛根据抓取的内容,做分词处理,按照算法对文章进行索引编号,存在自己的服务器上,用户进行搜索的时候,按照一样的规则显示出来 。
吸引蜘蛛,根据我的经验,只要网站的外链资源够多(注:高质量外链),留的入口够多,那么蜘蛛来网站抓取的次数就越多.
收藏 0
打赏 0
站长基础交流之商城网站如何做才能吸引客户
随着互联网时代的到来,很有热爱逛街的人们,已经放弃了到实体店进行购物,开始了他们非同寻常的购物体验,每天在各种购物商城上

0评论2017-12-2086

站长基础交流之网站运营技巧之如何吸引目标客户
很多处于创业初期的企业都会在网站运营时遇到许多问题,最重要的问题之一就是构建企业品牌知名度,而想要出名那就需要在市场中混

0评论2017-12-2099

站长基础交流之 网站关键词排名不上去的原因
1、网站方向定位问题。建设网站之前,首先要了解用户人群以及自己能够提供的服务,同时结合行业特点定制适合自己风格的网站类型; 

0评论2017-12-20105

站长基础交流之研究关键词的意义
研究关键词的意义主要在于以下几个方面:  一、保证关键词是有人搜索的  做SEO优化,其中最重要的就是选择适当的关键词,选

0评论2017-12-2095

站长基础交流之网站无效页面的表现形式
网站中哪些页面被称为无效页面?  一般来说,无效页面对用户来说,就是没有价值的页面,其主要特征为:  1、对搜素引擎来说没

0评论2017-12-2091

站长基础交流之如何识别网站的seo优化效果?
一、主要关键词排名,是否进首页。体现优化的精度。一般做好这个方面,是一个网站的优化的主要标准。  二、多少关键词进排名。

0评论2017-12-2093

站长经验说说之网站优化的时间怎么算的?
百度SEO优化关键词分为冷门关键词、一般关键词、一般偏热门关键词和热门关键词、超级热门。关键词竞争度越大排名到首页的时间越

0评论2017-12-2063

站长基础交流之网站排名助手优化网站结构
网站结构优化注意事项  1、为了减少链接深度,首页和频道页堆砌上千条链接地址,这种情况对于前期网站权重不是很高的前提下基

0评论2017-12-20130

站长基础交流之 三方面告诉你做网站seo有多重要
无论是哪种企业,做网站为的就是希望通过互联网来企业带来更大的利益,seo作为一条比较有效且有价值的营销手段,深受一些企业老

0评论2017-12-2065

站长基础交流之浅谈SEO站内优化的5点技巧
SEO是指通过对网站进行站内优化和站外优化,从而提高网站的关键词排名以及公司产品的曝光度。而今天,我们就一起来学习一下如何

0评论2017-12-2063