检索模型相关

2020-12-18 21:20:00 编辑 1 阅读量:910

# 一、检索模型的概述
## 1. 布尔模型

苹果 AND 公司：表示搜索既包含“苹果”，又包含“公司”这两个词的文档。
苹果 OR 公司：表示搜索包含“苹果”，或包含“公司”这两个词中任意一个的文档。
特点：简单粗暴
## 2. 向量空间模型

把文档被分词后的每一个词当作向量空间的一个维度，把文档表示为一个线性矩阵，比较某个文档的矩阵和查询词的矩阵之间的余弦距离，距离越近，则相关性越大。最后根据相关性对搜索结果做排序。
注意事项：使用TF-IDF对部分词权重进行调整，对文档长度过大的做惩罚等。
特点：依赖于经验对模型的参数进行调整。

## 3. 概率模型：BIM、BM25、BM25F

这三个算法是逐步完善的关系
- BIM
对于用户的一次搜索，假设拆分为三个词W1、W2、W3，假设索引库中的文档总数为100，有10个文档包含W1，20个文档包含W2，30个文档包含W3，则把W1的权重记为10%，W2的权重记为20%，W3的权重记为30%。假设有一个文档Doc1包含W1、W2两个搜索词，则它的相关性为10%，20%两个权重的汇总。依此对索引库中的100个文档算出相关性得分，把搜索结果按相关性得分排序即可。
- BM25
在BIM的基础上增加了两个新的参考因素：1、搜索词在文档中的权重；2、搜索词自身的权重。
- BM25F
在BM25的基础上增加考虑了文档中不同Field的权重。比如，标题中包含搜索比内容中包含搜索词要有更高的相关性得分。
特点：当前效果最好的模型，在商业搜索引擎中广泛使用。

## 4.统计语言模型

先引入一个概念：抽取概率
把一篇文档进行分词，统计其中每个词的出现频率进行计数，则一个词Word在文档Doc中的抽取概率为“Word词的计数/Doc中所有词的计数之和”。所谓抽取概率，就是在Doc中随机抽取一个词的话，Word被抽取到的概率。
假设用户搜索“野鸟装备 跑步”，野鸟装备在文档Doc1中的抽取概率1%，跑步的抽取概率为2%，则该次搜索中，Doc1的相关性得分为`1%*2%`。依此可以计算出所有文档的相关性得分，并按相关性得分对搜索结果进行排序。
特点：与BM25效果相当，但需使用大量语料库来训练，语料库最好与使用场景比较相似。

# 机器学习模型

机器学习与前面的模型相比，有几个显著的不同：
1、这里一般使用有监督的机器学习，因此需要对训练结果有监督反馈，用户对搜索结果的隐性评价（即点击）可以看作是一种监督反馈。
2、传统搜索计算搜索结果相关性一般也就考虑关键词匹配、词频等少数几个维度的数据，使用前面提到的模型已经足够，只有当考察的数据维度比较多时，机器学习的优势才会体现出来。比如像百度、Google这种大型的商业搜索引擎，考察的数据维度要多很多，比如链入链出链接数、网站类型、网站权威度、用户地理位置、历史搜索习惯、设备类型等等，据说Google考察的数据维度多达几百个。
特点：复杂度高，适合大型商业搜索引擎。

# 二、一些模型的详解
## 1. BM25模型
bm25模型是一种较为效率和准确性都比较高的一种模型
给定一个查询Q和一篇文档d，d对Q的BM25得分公式为
![](http://cblog.xyz/media/2017/09/QQ截图20170910155758_n4jSdJO.png)
![](http://cblog.xyz/media/2017/09/QQ截图20170910155805.png)
公式中变量含义如下：
- qtf：查询中的词频
- tf：文档中的词频
- ld：文档长度
- avg_l：平均文档长度
- N：文档数量
- df：文档频率（包含该词的文档数）
- b,k1,k3b,k1,k3：可调参数

这个公式看起来很复杂，我们把它分解一下，其实很容易理解。第一个公式是外部公式，一个查询Q可能包含多个词项，比如“苹果手机”就包含“苹果”和“手机”两个词项，我们需要分别计算“苹果”和“手机”对某个文档d的贡献分数w(t,d)，然后将他们加起来就是整个文档d相对于查询Q的得分。

第二个公式就是计算某个词项t在文档d中的得分，它包括三个部分。第一个部分是词项t在查询Q中的得分，比如查询“中国人说中国话”中“中国”出现了两次，此时qtf=2，说明这个查询希望找到的文档和“中国”更相关，“中国”的权重应该更大，但是通常情况下，查询Q都很短，而且不太可能包含相同的词项，所以这个因子是一个常数，我们在实现的时候可以忽略。

第二部分类似于TFIDF模型中的TF项。也就是说某个词项t在文档d中出现次数越多，则t越重要，但是文档长度越长，tf也倾向于变大，所以使用文档长度除以平均长度ld/avg_lld/avg_l起到某种归一化的效果，k1k1和bb是可调参数。

第三部分类似于TFIDF模型中的IDF项。也就是说虽然“的”、“地”、“得”等停用词在某文档d中出现的次数很多，但是他们在很多文档中都出现过，所以这些词对d的贡献分并不高，接近于0；反而那些很稀有的词如”糖尿病“能够很好的区分不同文档，这些词对文档的贡献分应该较高。

所以根据BM25公式，我们可以很快计算出不同文档t对查询Q的得分情况，然后按得分高低排序给出结果。

## 2. 在bm25模型的基础上考虑词的位置(CRTER)
参考：
[CRTER: using cross terms to enhance probabilistic information retrieval](http://dl.acm.org/citation.cfm?id=2009941)
[[2016学位论文].基于交叉词项的中文信息检索方法研究_周国亮_[华中师范大学]](http://www.doc88.com/p-5146377841857.html)

## 3. 机器学习排序
机器学习排序系统由4个步骤组成：
- 人工标注训练数据
- 文档特征抽取
- 学习分类函数
- 在实际搜索系统中采用机器学习模型

文档进入机器学习系统前需要转化为特征向量，常用特征包括：
- 查询词在文档中的词频信息
- 查询词的IDF信息
- 文档长度
- 网页的入链数量
- 网页的出链数量
- 网页的PageRank值
- 网页的URL长度

确定特征向量X后，每个文档会人工标注出相关性得分Y，这样每个文档转化为一个<X,Y>的形式。 就形成了一个具体的训练实例。
通过多个训练实例，就可采用机器学习技术对系统进行训练，结果往往是一个分类函数或回归函数。
后续用户搜索中就可以用这个分类函数对文档进行打分，形成搜索结果。

# 三、 检索质量评价标准
精确率和召回率是评价检索系统的常用指标，而对于搜索引擎来说，精确率尤为重要。
精确率：本次搜索结果中相关文档所占比例。
召回率：本次搜索结果中包含的相关文档占整个文档集合中所有相关文档中的比例。

---
参考：
- [1][和我一起构建搜索引擎（四）检索模型](http://bitjoy.net/2016/01/07/introduction-to-building-a-search-engine-4/)
- [2][几种常见的搜索引擎检索模型 ](http://blog.csdn.net/a345017062/article/details/51404527)
- [3][搜索之BM25和BM25F模型](http://blog.csdn.net/wdxin1322/article/details/38093261)
- [4][检索模型与搜索排序](http://lionheartwang.github.io/blog/2016/03/12/jian-suo-mo-xing-yu-sou-suo-pai-xu/)

附件:

Using BM25F for Semantic Search.pdf
BM25算法.pdf