发布时间:2013-12-13 16:10:30 浏览次数:1069次
众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统,以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满意的结果,否则用户只能流失。怎样才能达到这种要求呢?
如果能知道用户查找的关键词(query切词后)都出现在哪些页面中,那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程,而检索即变成了页面名称之间的比较、求交。这样,在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程:
(1)页面分析的过程实际上是将原始页面的不同部分进行识别并标记,例如:title、keywords、content、link、anchor、评论、其他非重要区域等等;
(2)分词的过程实际上包括了切词分词同义词转换同义词替换等等,以对某页面title分词为例,得到的将是这样的数据:term文本、termid、词类、词性等等;
(3)之前的准备工作完成后,接下来即是建立倒排索引,形成{termàdoc},可以粗略的理解为如下,为什么是【term->doc】,而不是直接应用【doc->term】呢?
上述即是索引系统中的倒排索引过程,是搜索引擎实现毫秒级检索非常重要的一个环节。
过去这一年,感谢您一直以来对微动力网络的信任与支持,这份沉甸甸的信赖,我们一直铭记于心!在新的一年到来之际,我司全体同仁向您及家人表示最衷心的感谢和祝福!...
一元复始万象新,岁月流金盛年来!2025年元旦佳节来临之际,青岛微动力网络服务有限公司向合作伙伴以及一直以来关心支持我们的朋友,致以最诚挚的新年祝福!...
在青岛做一个网站建设多少钱呢?网站建设费用由域名、服务器、SSL证书、网站程序、网站维护五个方面组成。其中网站程序一般是占用成本最多的,尤其是定制网站制作。...
尊敬的客户与合作伙伴:您好!感谢您一如既往的对微动力网络的支持与信赖!2024年国庆佳节将至,在这个举国欢腾,普天同庆的时刻,微动力网络的全体员工向您及您的家人...
又是一年月圆时,秋风习习庆佳节,值此传统佳节中秋节来临之际,微动力网络写全体员工祝您:欢乐团圆,福临门前,财神眷恋,四海来缘!...
鲁ICP备12021464号 | 鲁公网安备 37020302370744号 | 营业执照公示
友情链接 :青岛网站建设