范如乐:搜索引擎的工作原理



你的网页为什么能在搜索引擎展示,对于搜索引擎来说,这不是一个简单的工作,有一套工作流程。

在讲搜索引擎的工作原理之前,我们先了解一下搜索引擎的定义:

搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。

看完这句话,头晕了吧,哈哈,你懂的,为了照顾你,如乐要开始讲人话了,简单理解是这样的:

搜索引擎会搜集你网站发布的所有网页,搜集这些网页以后,要对这些网页进行分析,确定每个网页是讲的什么内容,这样,当大家在搜索引擎搜索某些内容的时候,搜索引擎就把跟这个内容相关的网页展示出来。

那么,这个具体的过程是怎么实现的呢?搜索引擎的工作步骤是这样的:

第一步:爬行

搜索引擎是通过一种特定规律的软件跟踪网页的链接,从一个链接爬到另外一个链接,像蜘蛛在蜘蛛网上爬行一样,所以被称为“蜘蛛”也被称为“机器人”。搜索引擎蜘蛛的爬行是被输入了一定的规则的,它需要遵从一些命令或文件的内容。

第二步:抓取存储

搜索引擎是通过蜘蛛跟踪链接爬行到网页,并将爬行的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。搜索引擎蜘蛛在抓取页面时,也做一定的重复内容检测,一旦遇到权重很低的网站上有大量抄袭、采集或者复制的内容,很可能就不再爬行。

第三步:预处理

搜索引擎将蜘蛛抓取回来的页面,进行各种步骤的预处理。

1、提取文字

2、中文分词

3、去停止词

4、消除噪音(搜索引擎需要识别并消除这些噪声,比如版权声明文字、导航条、广告等……)

5、正向索引

6、倒排索引

7、链接关系计算

8、特殊文件处理

除了HTML 文件外,搜索引擎通常还能抓取和索引以文字为基础的多种文件类型,如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我们在搜索结果中也经常会看到这些文件类型。 但搜索引擎还不能处理图片、视频、Flash 这类非文字内容,也不能执行脚本和程序。

第四步:排名

用户在搜索框输入关键词后,排名程序调用索引库数据,计算排名显示给用户,排名过程与用户直接互动的。但是,由于搜索引擎的数据量庞大,虽然能达到每日都有小的更新,但是一般情况搜索引擎的排名规则都是根据日、周、月阶段性不同幅度的更新。

所以,搜索引擎展示你的网页,是有一个过程的,不是说你今天发布了一篇文章,搜索引擎就必须展示你这篇文章,除非你是一个有着三五年历史的老网站,搜索引擎已经对你有记录,对你的网站认可了,明确知道你的网站是做什么的,那么,你发一篇网站,搜索引擎马上就收录你的网页并展现出来也是有可能的。

但是,如果你是一个新网站,那就不行,搜索引擎爬取了你的网页以后,还要验证、考核后,才敢把你的网页展示出来,不然,每天成万上亿的人在搜索,而搜索引擎都是展示一些没经过考察审核的垃圾网页,这样就再也没人用搜索引擎了,搜索引擎就不存在了。

为什么经常听到说养网站,把网站先养起来就是这个意思,先把网站养大了,网站才能为你赚钱,三天打鱼两天晒网是肯定不行的,任何事情都是这个道理。所以就有了那句被无数网站验证的话:你养网站三五年,网站养你一辈子!

因此,为了帮助你更快实现这一点,如乐还会继续深入分享一些有关搜索引擎的知识,下一节,我们学习:《范如乐:每个网页排名靠前的基础——网页质量》。

本文欢迎转发,转载时请注明来源!首发:如乐建站之家
原文链接:http://www.rulejianzhan.com/wangzhanjianshe/4816.html



鼓励 知识小手

发表评论

电子邮件地址不会被公开。 必填项已用*标注