10:百度搜索引擎“倒排索引”的重要过程:入库写库 – 付杰博客

10:百度搜索引擎“倒排索引”的重要过程:入库写库

倒排索引的重要过程——入库写库

索引系统在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这涉及到的过于技术化在此就不多提了。

在此简要给大家介绍一下索引之后的检索系统。

检索系统主要包含了五个部分,如下图所示:

(1)Query串切词分词即将用户的查询词进行分词,对之后的查询做准备,以“10号线地铁故障”为例,可能的分词如下(同义词问题暂时略过):

10?

0x123abc

号?

0x13445d

线?

0x234d

地铁0x145cf

故障0x354df

(2)查出含每个term的文档集合,即找出待选集合,如下:

0x123abc?

1?

23?

4?

7?

9…。

0x13445d?

2?

58?

9?

10?

11……

……

……

(3)求交,上述求交,文档2和文档9可能是我们需要找的,整个求交过程实际上关系着整个系统的性能,这里面包含了使用缓存等等手段进行性能优化;

(4)各种过滤,举例可能包含过滤掉死链、重复数据、色情、垃圾结果以及你懂的;


狗亚官方app