召回率(Recall Rate)、准确率(Precision Rate)和MAP

2020-12-19 09:17:00 编辑 1 阅读量:2428

## 一、召回率和准确率
信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式:
- 召回率(Recall)      =  系统检索到的相关文件 / 系统所有相关的文件总数
- 准确率(Precision) =  系统检索到的相关文件 / 系统所有检索到的文件总数

![](http://cblog.xyz/media/2017/11/0_1308034676G5GQ.gif_thew5IA.png)
A：检索到的，相关的               （搜到的也想要的）
B：检索到的，但是不相关的          （搜到的但没用的）
C：未检索到的，但却是相关的        （没搜到，然而实际上想要的）
D：未检索到的，也不相关的          （没搜到也没用的）

注意：准确率和召回率是互相影响的，理想情况下肯定是做到两者都高，但是一般情况下准确率高、召回率就低，召回率低、准确率高，当然如果两者都低，那是什么地方出问题了。一般情况，用不同的阀值，统计出一组不同阀值下的精确率和召回率，如下图：

![](http://cblog.xyz/media/2017/11/0_1308034738ZLr8.gif.png)

如果做疾病监测、反垃圾，则是保准确率的条件下，提升召回。如果是做搜索，那就是保证召回的情况下提升准确率，IR 的 ground truth 很多时候是一个 Ordered List, 而不是一个 Bool 类型的 Unordered Collection，在都找到的情况下，排在第三名还是第四名损失并不是很大，而排在第一名和第一百名，虽然都是“找到了”，但是意义是不一样的，因此 更多可能适用于 MAP 之类评估指标

## 二、AP和mAP(mean Average Precision)

mAP是为解决P，R，F-measure的单点值局限性的。为了得到 一个能够反映全局性能的指标，可以看考察下图，其中两条曲线(方块点与圆点)分布对应了两个检索系统的准确率-召回率曲线
![](http://cblog.xyz/media/2017/11/0_1309960406Ypy4.gif.png)

可以看出，虽然两个系统的性能曲线有所交叠但是以圆点标示的系统的性能在绝大多数情况下要远好于用方块标示的系统。

从中我们可以 发现一点，如果一个系统的性能较好，其曲线应当尽可能的向上突出。

更加具体的，曲线与坐标轴之间的面积应当越大。

最理想的系统， 其包含的面积应当是1，而所有系统的包含的面积都应当大于0。这就是用以评价信息检索系统的最常用性能指标，平均准确率mAP其规范的定义如下:(其中P，R分别为准确率与召回率)
![](http://cblog.xyz/media/2017/11/0_1309960618bJ5b.gif)

## 三、如何计算map

### 3.1 改变阈值
我们可以通过改变阈值，来选择让系统识别能出多少个图片，当然阈值的变化会导致Precision与Recall值发生变化。

下图为不同阈值条件下，Precision与Recall的变化情况： 
![](http://cblog.xyz/media/2017/11/20170105154105095.png)

### 3.2 Precision-recall 曲线

如果你想评估一个分类器的性能，一个比较好的方法就是：观察当阈值变化时，Precision与Recall值的变化情况。如果一个分类器的性能比较好，那么它应该有如下的表现：让Recall值增长的同时保持Precision的值在一个很高的水平。而性能比较差的分类器可能会损失很多Precision值才能换来Recall值的提高。通常情况下，文章中都会使用Precision-recall曲线，来显示出分类器在Precision与Recall之间的权衡。 
![](http://cblog.xyz/media/2017/11/20170105154145685.png)
上图就是分类器的Precision-recall 曲线，在不损失精度的条件下它能达到40%Recall。而当Recall达到100%时，Precision 降低到50%。

### 3.3 Approximated Average precision

相比较与曲线图，在某些时候还是一个具体的数值能更直观地表现出分类器的性能。通常情况下都是用 Average Precision来作为这一度量标准，它的公式为： 
![](http://cblog.xyz/media/2017/11/20170105154240331.png)
在这一积分中，其中p代表Precision ，r代表Recall，p是一个以r为参数的函数，That is equal to taking the area under the curve.

实际上这一积分极其接近于这一数值：对每一种阈值分别求（Precision值）乘以（Recall值的变化情况），再把所有阈值下求得的乘积值进行累加。公式如下： 
![](http://cblog.xyz/media/2017/11/20170105154301410.png)
在这一公式中，N代表测试集中所有图片的个数，P(k)表示在能识别出k个图片的时候Precision的值，而 Delta r(k) 则表示识别图片个数从k-1变化到k时（通过调整阈值）Recall值的变化情况。

### 3.4 Interpolated average precision

不同于Approximated Average Precision，一些作者选择另一种度量性能的标准：Interpolated Average Precision。这一新的算法不再使用P(k)，也就是说，不再使用当系统识别出k个图片的时候Precision的值与Recall变化值相乘。而是使用： ![](http://cblog.xyz/media/2017/11/20170105154355677.png) 
也就是每次使用在所有阈值的Precision中，最大值的那个Precision值与Recall的变化值相乘。公式如下： 
![](http://cblog.xyz/media/2017/11/20170105175843966.png)

下图的图片是Approximated Average Precision 与 Interpolated Average Precision相比较。 
![](http://cblog.xyz/media/2017/11/20170105154429999.png)
Approximated Average Precision与精度曲线挨的很近，而使用Interpolated Average Precision算出的Average Precision值明显要比Approximated Average Precision的方法算出的要高。

一些很重要的文章都是用Interpolated Average Precision 作为度量方法，并且直接称算出的值为Average Precision 。PASCAL Visual Objects Challenge从2007年开始就是用这一度量制度，他们认为这一方法能有效地减少Precision-recall 曲线中的抖动。所以在比较文章中Average Precision 值的时候，最好先弄清楚它们使用的是那种度量方式。

---
参考：
- [1][
准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure ](http://www.cnblogs.com/sddai/p/5696870.html)
- [2][Recall || Precision || Average_precision(AP) || Intersection-over-Union（IoU）||NMS](http://blog.csdn.net/julialove102123/article/details/73485083)
- [3][信息检索（IR）的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC](http://blog.csdn.net/marising/article/details/6543943)

召回率(Recall Rate)、准确率(Precision Rate)和MAP

附件: