评估指标记录

电子笔记

1.AUC(are under curve)

1.1什么是AUC

用于评估分类器的分类效果，对于真实类别为1的样本，分类器预测为1的概率(即TPrate)要大于真实类别为0而预测类别为1的概率(即FPrate)，即AUC>0.5。

1.2如何计算AUC

在有M个正样本,N个负样本的数据集里。一共有M*N对样本（一对样本即一个正样本与一个负样本）。统计这M*N对样本里，正样本的预测概率大于负样本的预测概率的个数。

1.3接口参数含义

roc_auc_score(test_labels, probs, multi_class='ovr')

1. test_labels: 实际的类别标签，shape是 [N,]
2. probs: 每个样本在各个类别上的概率，shape是[N, C]
3. 指定计算多类别问题的 AUC (One-vs-Rest 策略)

2.AccuracyCalculator使用

在pytorch-metric-learning中，AccuracyCalculator主要用于计算准确率（如 top-k 准确率）。通过嵌入向量之间的相似度来推测每个样本的类别，并与真实标签进行比较，相同则预测正确。这种方法是基于最近邻来判断类别，预测准确率的。

使用方法：

from pytorch_metric_learning import losses
from pytorch_metric_learning.utils.accuracy_calculator import AccuracyCalculator

# 初始化 AccuracyCalculator: 参数k值，指定 top-k 精度
accuracy_calculator = AccuracyCalculator(k=1)

# 计算准确率
accuracy = accuracy_calculator.calculate(
    embeddings=embeddings,  # 模型输出的嵌入向量 [batch_size, embedding_dim]
    labels=labels,          # 标签 [batch_size]
)

3.资料

• AUC如何理解？
• AUC的计算方法