gtp是什么意思tp啥意思()

作者:谭
编译:荣怀阳简介如果你做过PASCAL可视对象类(VOC)和MS通用对象上下文(COCO)挑战，或者参与过信息检索和再识别(ReID)项目，那么你可能非常熟悉一个叫做mAP的度量。如果你做过PASCAL视觉对象类(VOC)和MS上下文中的公共对象(COCO)挑战，或者参与过信息检索和重新识别(ReID)项目，那么你可能非常熟悉一个叫做mAP的度量。

维基百科对地图的定义:

其中q是集合中查询的数量，AveP(q)是给定查询q的平均准确度(AP)

这个公式本质上告诉我们的是，对于给定的查询Q，我们计算其相应的AP，然后所有这些AP分数的平均值将为我们提供一个单独的数字，称为mAP，它量化了我们的模型在查询方面的表现。

这个定义让在这个领域刚刚起步的人(比如我)很困惑。我的问题是这组查询是什么？AP是什么意思？仅仅是准确率的平均值吗？

本文希望通过计算地图来解决这些问题，用于目标检测和信息检索任务。本文还将讨论为什么地图是一个适当的和常用的信息检索和对象检测的度量。

1. 基础

准确率和召回率是判断给定分类模型性能的两个常用指标。要理解mAP，我们首先需要检查查准率和查全率。

给定分类类别的准确性，即阳性预测值，被表示为真阳性(TP)与预测阳性总数的比率。公式如下:

类似地，给定分类类别的召回率，即真实肯定率或敏感度，被定义为TP与地面真实的真实肯定率之和的比率。公式如下:

仅通过查看公式，我们就可以怀疑给定分类模型的精度和召回性能之间存在权衡。如果我们使用神经网络，这种平衡可以通过模型最后一层的softmax阈值来调整。

为了提高准确率，我们需要减少FP的数量，这样会降低召回率。同样，减少FN的数量会增加我们的召回率，降低我们的准确率。通常对于信息检索和物体检测案例，我们希望自己的准确率高(我们预测的正值是TP)。

准确率和召回率通常与其他指标一起使用，如准确率、F1值、特异性，也称为真阴性率(TNR)、ROC等。

然而，当决定一个模型在信息检索或对象检测任务中是否表现良好时，所有这些指标都失败了。这就是地图发挥作用的地方！

请注意，对象检测和信息检索任务的mAP计算略有不同。以下部分将演示如何计算，并讨论为什么要这样做。

2. 信息检索的AP和mAP

计算AP

信息检索中的典型任务是用户向数据库提供查询，并检索与查询非常相似的信息。现在，让我们用一个有三个地面真值(GTP)的例子来计算AP。

附加条款:地面真值是标记为正的数据。

我们将定义以下变量:

Q为用户查询G是数据库中的一组标记数据d(i,j)是一个分数函数，用来表示i和j有多相似G '是根据score函数d(，)得到的G的有序集合。k是G '的指标通过用Q计算每个图像的D(，)，我们可以对G进行排序，得到G’。回想一下精度的定义。现在我们将使用它来计算G '中每个图像的AP

这个查询的总AP是0.7。注意，由于我们知道只有三个GTP，所以AP@5等于整个AP。一般的AP@k公式可以这样写:

GTP是正的地面真值查询的总数，TP是查询k时正的真值的总数。

对于另一个查询Q，如果返回的G '被排序为:

在这种情况下，AP做的就是惩罚那些不能按TPs排G '的机型。它提供了一个数字，可以量化基于评分函数d(，)排序的优缺点。通过将总GTP除以精度和而不是G’的长度，可以更好地表示只有几个GTP的查询。

计算地图

对于每个查询Q，我们可以计算相应的AP。用户可以对这个标记的数据库进行任意数量的查询。MAP只是使用的所有查询的平均值。

3. 物体检测的AP和mAP

计算AP(传统IoU = 0.5)

交叉比

为了计算用于目标检测的AP，我们首先需要知道IoU。IoU由预测边界框和地面真实边界框的交集区域和并集区域的比率给出。

IoU用于确定预测边界框(BB)是TP、FP还是FN。不计算TN，因为在每个图像中都假设有一个对象。让我们考虑下面的图像:

该图像包含一个人和一匹马，以及它们对应的地面真实边界框。让我们把马放在一边。我们在这个图像上运行我们的对象检测模型，并且接收一个人的预测边界框。传统上，如果IoU >:0.5，我们将预测定义为TP。可能的情况如下:

真正值(IoU & gt0.5)

假阳性

在两种可能的情况下，BB将被视为FP:

IoU < 0.5多余的BB假阴性

当预测的BB的iou >: 0.5，但分类错误时，预测的BB为FN。

准确率/召回率曲线(PR曲线)

通过正式定义TP、FP和FN，我们现在可以计算整个测试集中给定类的检测精度和召回率。每个BB都有其置信度，通常由其softmax层给出，用于对输出进行排序。请注意，这与信息检索的情况非常相似，只是我们没有使用相似性函数D(，)来提供排名，而是使用模型预测的BB的置信度。

插值精度

在绘制PR曲线之前，我们首先需要知道插值精度。插值精度p_interp在每个召回级别R处计算，并且取该R测量的最大精度。公式如下:

其中p (r)是召回率r中的测量精度..

他们内插PR曲线的目的是为了减少探测电平的微小变化带来的“摆动”的影响。

有了这些，我们现在可以开始画PR曲线了。考虑一个person类的例子，它有3 TP和4 FP。根据上述公式，我们计算了相应的精度、召回率和插值精度。

以一个3 tp，4 fp的样本为例，画出PR曲线的计算表。该线对应于BB，即按各自softmax置信度排序的人的分类。

从上述排名中获得的准确率-召回率曲线

然后用PR曲线下的面积计算AP。这是通过将召回率平均分为11部分来实现的:{0，0.1，0.2，…，0.9，1}。我们得到以下结果:

计算地图

用于对象检测的mAP是为所有类别计算的AP的平均值。同样重要的是，对于一些论文，AP和mAP可以互换使用。

计算AP的其他方法

COCO提供了六种计算AP的方法。

三种方法是对BB的iou使用不同的阈值:

AP: IoU时的AP = 0.50: 0.05: 0.95(主要挑战指标)AP@IoU=0.5(上面描述的传统计算方法)AP@IoU=0.75 (BBs IoU需要为> 0.75)

对于主AP，0.5:0.05:0.95意味着从IoU = 0.5开始，以0.05为步长增加到IoU = 0.95。这将导致在10个不同的阈值上计算AP。平均值是提供一个单一的数字来奖励在定位中做得更好的检测器。

剩下的三种方法是跨尺度计算AP:

小物体的AP ^small: AP:面积< 32像素

中等物体的AP ^medium: AP:32px <面积

大型物体的ap^large: AP:area >:96px

这将允许模型之间更好的区分，因为一些数据集比其他数据集有更多的小对象。

原英文:https://towards data science . com/breaking-down-mean-average-precision-map-AE 462 f 623 a 52

更多资讯请关注微信微信官方账号:艾公园。