评估方法

当我们从经验数据中通过学习算法获取到模型后，需要对学习到的模型进行评估和度量。一般在test数据集上进行评估，从而区别出哪个模型更加优秀。根据任务的不同，可以将评估度量方法分为以下几类：回归问题的度量，分类问题的度量，概率分布函数的度量，检索问题的度量等。

1.回归问题的度量

  • Mean Absolute Error 平均绝对误差
  • Weighted Mean Absolute Error 加权平均绝对误差
  • Root Mean Squared Error 均方根误差
  • Root Mean Squared Logarithmic Error 均方根对数误差

2.分类问题的度量

  • Log Loss 对数损失
  • Mean Consequential Error 平均间接损失
  • Mean Average Precision 平均精度均值
  • Multi Class Log Loss 多类对数损失
  • Hamming Loss 汉明损失
  • Mean Utility 均值效用
  • Matthews Correlation Coefficient 马修斯相关性系

3.概率分布函数的度量

  • Continuous Ranked Probability Score 连续分级概率评分

4.检索问题的度量

  • Normalized Discounted Cumulative Gain 归一化贴现累积收益
  • Mean Average Precision 平均精度均值
  • Mean F Score 平均F值

5.其他

  • Area Under Curve(AUC) 曲线下面积
  • Gini 基尼
  • Average Among Top P

注意：针对不同的任务（如detection，tracking，segmentation，super-pixel等）都有自己领域内的相关评价指标，需要自己根据实际情况进行选择合适的评价指标和评估方法