不要让我沉默,信息轰炸搜索引擎工作原理

不要让我沉默,信息轰炸搜索引擎工作原理

2019-11-22

    搜索引擎的工作过程大体分为四个步骤:爬行和抓取、建立索引、搜索词处理、展示排名,人们日常使用搜索引擎查找资料的过程只是搜索引擎工作过程中的一个环节。首先,搜索引擎会向万维网派出一个能够发现新网页并抓取网页文件的程序,这个程序通常被称为蜘蛛(Spider)。其在工作的时候从网站的某一个页面开始,读取网页的内容,找到在网页中的其他链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的页面都抓取完为止。如果把整个互联网当做一张大网,那么这个程序就像是蜘蛛一样抓取所有的网页内容。在蜘蛛程序抓取了网页文件之后,通过对网页内容的分析和处理,对网页信息进行提取并组织建立索引库,即建立一定的搜索原则,也就是说当用户查找某一关键词时,搜索引擎能根据关键词在数据库中进行查找和搜索,找到相应的位置。

    当搜索引擎对网络数据建立了数据库之后,接下来就是用户使用阶段了,当用户在搜索栏输入搜索词,单击“搜索”按钮后,搜索引擎即对输入的搜索词进行处理,以提取出相应的关键词,通过关键词在数据库中进行索引和查找,实际的应用中,搜索词的处理是十分快速的。搜索引擎通过几个模块,通过这些模块,得到排名抓取、过滤、收录、排序模块,都是一个功能具体是:抓取、过滤、收录、索引、排序。


一:抓取

1.抓取是怎么样抓取的呢?

通过链接进行抓取的,站内、站外的链接进行抓取。站外:外链、广告,通过从上到下、发现这个位置的链接,首页

 

2.怎么让蜘蛛来抓取我们的网站?

高质量、相关的网站发布外链;可以通过提交,通过百度站长平台提交,百度的自动抓取,没有提交链接,百度纸质会自动来到你的网站。

 

3.怎样知道百度蜘蛛有没有来到你的网站呢?

百度的站长平台:索引量、抓取频次如下图所示:

也可以通过Iis日志,服务器日志:记录一个网站运行的东西,进行查看百度蜘蛛有没有访问你的网站。

 

4.不利于蜘蛛抓取的路径:

中文路径:www.lseo8.com/news/123/我爱你

路径太长:www.lseo8.com/news/123/images/12465

http://pan.baidu.com/disk/home#list/path=%2F%E6%AF%8F%E5%A4%A9%E8%AF%BE%E7%A8%8B%E5%8F%8A%E7%AC%94%E8%AE%B0

拒绝蜘蛛抓取:robots屏蔽;服务器问题:空间的问题,提示503;路径最多不超过5层,最好的网站路径不超过3层,抓取的一些信息放在临时数据库里,


二:过滤

1.为什么要过滤:存在信息太多,需要过滤 垃圾 信息 需要过滤

低质量的页面

2.影响过滤的因素:识别文字、链接能识别,图片、视频不能识别,图片要加ait属性。视频要加文字说明

3.网站速度慢的:ping 测试

测速度的网站:http://www.17ce.com/   http://ping.chinaz.com/ 。如下图所示:

4.国内100毫秒、国外200毫秒

5.速度 网站保证正常访问、网站权重:新站很正常,权重太低  网站页面权重流逝

怎样才算正常?网站能被访问、上线一个月别收录、建立索引,属于正常。

6.页面的质量:

它是跟我们网站收录有关系的,一个网站产品只有一个图片,就需要自己去做。网站的页面是空页面,打开都没有内容或者内容只有一个、两个。

7.页面的相似度

页面相似度查询网址:http://tools.jzp.cc/compare/

打开页面相似度网址,输入两个网站文章链接,如上图所示操作,即可看到页面相似度。超过80%都会被过滤掉,能够控制在30%-40%就可以了。

 

三:收录系统模块

当你上面的进行过滤,会给排名,将网站文章的网址复制到百度搜索框进行查询收录,site+域名,全站查询收录,站长平台看到收录。

1.收录和索引分别指什么?    收录:页面被Baiduspider发现、分析过    索引:Baiduspider经初步分析后认为有意义,做建库处理

2.收录和索引的关系

包含关系,先收录才可以建索引,收录量大于索引量。百度站长平台链接提交工具是通往收录的大门。

3.收录和索引的意义

【收录意义1】收录是索引的前提,站点需要保持服务器稳定(参考抓取诊断工具、抓取异常工具)、robots正确(《robots写法和需求用法对应表》),为Baiduspider抓取铺平道路

【收录意义2】Baiduspider只能处理已分析过的页面,面对新旧页301和移动适配,可为已收录页面完成权值评分以及流量切换。

【索引意义1】只有被建入索引库的网页才有获得流量的机会(网页虽然被建入索引库,但获得流量的机会并不同,无效索引很难获得流量)

【索引意义2】新闻源站点(新闻源目录)内的链接,必须先被网页库建索引,才有机会出现在新闻检索中。

 

4.如何查询收录量和索引量

真实索引量只能通过百度站长平台索引量工具查询。


5.有收录才有排名,收录是保证排名的前提。


6.有收录并不一定有排名。

网站有很多页面,并不能保证每个页面都收录,收录不一定会有排名。


7.新站前面收录很慢,是什么问题?

信用度低、权重地、做好优化、内容更新,最起码每天更新一篇高质量的文章。当你的网站核心词、排名稳定、内容可以选择不做。新站上线,百度蜘蛛很快进行抓取、收录,说明你的网站域名好,信用度低。

 

8.为什么一个页面一个月都没有收录?

因为百度蜘蛛把你的网站当成垃圾网站了,这个时候要去查看自己的网站的内容来源是采集、还是伪原创、怎么查找,把网站内容复制一小段,复制到搜索框,进行查看,如果首页前面十条都出现飘红,说明你的网站内容有问题了。

9.网站,会放在百度数据库,临时数据库

 

四:排序

会经过一系列的算法,进行排序,它把你网站的基础优化进行评分,内容也进行打分,这是打分体系,进行排序要做好基础优化来用户投票。用户占了很大部分,当你的网站跳出率很高,说明用户体验不好。比如你搜索一个词的时候,排名,点击百度在进行计算,不是你点击就立刻进行计算的,是已经计算好了

提示:一二属于抓取、过滤系统,三四属于收录、排序系统哦。