当前位置：首页 > 编程日记 > 正文

避坑指南：如何选择适当的预测评价指标？| 程序员评测

编程日记 2024-12-29 02:30:00

640?wx_fmt=jpeg

作者 | Nicolas Vandeput

译者 | Tianyu

责编 | Jane

出品 | AI科技大本营（ID：rgznai100）

【导语】因为不存在一个适用于所有情况的评价指标，所以评估预测精度（或误差）就变成了一件不是那么容易的事情。只有通过试验，才能知道哪个性能评估指标适用于当前情况。在这个过程中，你会发现每个指标都可以避开某些陷阱，但同时也容易掉进其他陷阱。今天，我们就把几大预测评价指标一一为大家分析对比，从而对它们的适用情况更了解。

先了解一下预测的准确率和偏差：

偏差（Bias）指历史平均误差。你的预测结果对于平均值来说，过高还是过低？偏差展示了误差的整体趋势。

准确率（Precision）可以评估你的预测值与实际值之间的误差。预测结果的准确率可以揭示误差的大小幅度，但无法体现其整体趋势。

当然，如下图所示，我们想要的预测结果是既有高准确度，又没有偏差。

640?wx_fmt=png

下面，会讲到五种指标，从它们的定义开始，然后再对比它们的适用与不足。

0、Error(误差）

首先对 error 进行定义，即预测值减去实际值。如果预测值高于实际值，那么误差为正，若低于实际值，则误差为负。

640?wx_fmt=png

预测性能的评估指标有哪些？

1、Bias

Bias 的定义为误差的平均值。此处，n 为历史的时刻数，即预测值与实际值的个数。

640?wx_fmt=png

由于一个正误差可能会抵消掉另一个负的误差，因此预测模型可能会得到很低的 bias，而精度却很低。很明显，只使用 bias 不足以对预测精度进行评估。

2、MAPE

平均绝对百分误差（MAPE，Mean Absolute Percentage Error）是评估预测精度的最常用指标之一。MAPE 为每个绝对误差的和除以实际值。实际上，它是误差百分率的平均值。

640?wx_fmt=png

MAPE 是个很奇特的性能评估指标。由公式可以看出，MAPE 用每个误差值除以实际值，所以会产生倾斜：若某个时刻的实际值很低，而误差很大，就会对 MAPE 的值产生很大影响。因此，对 MAPE 的优化会导致奇怪的预测结果，很可能会使预测值低于实际值。

3、MAE

绝对平均误差（MAE，Mean Absolute Error）是一个很好的预测评估指标。如名字所描述的，它是绝对误差的平均值。

640?wx_fmt=png

MAE 的第一个缺点是，它没有考虑到实际值的平均数。如果有人告诉你某个预测结果的 MAE 为 10，你无法知道这个结果是好是坏。如果实际值的平均数为 1000，当然这个预测精度是很不错的，但如果实际值平均为 1，这个预测的精度实在太低了。为了解决这个问题，可以用 MAE 除以实际值的平均数，得到一个百分率：

640?wx_fmt=png

MAPE/MAE 混淆 —— 很多人会使用 MAE 的公式，却把它当成 MAPE。很多人会对此存在混淆。当我和别人讨论预测误差时，我会要求其明确解释预测误差是如何计算的，以免发生混淆。

4、RMSE

均方根误差（RMSE，Root Mean Squared Error）是一个看似不合理却很实用的指标，稍后我们会进行详细解释。它的定义为误差平方平均值的方根。

640?wx_fmt=png

和 MAE 一样，RMSE 没有考虑到实际值的大小范围。我们同样可以定义一个 RMSE%，如下：

640?wx_fmt=png

实际上，许多算法（特别是机器学习算法）都是基于均方误差的（MSE，Mean Squared Error）：

640?wx_fmt=png

MSE 被许多算法使用，因为它计算速度快，且比 RMSE 更容易操作。但它没有考虑到原误差值（因为误差被做了平方计算），可能导致指标无法关联到原始误差值的大小范围。因此，我们不常用它作为评估预测模型精度的指标。

MAE vs RMSW：误差权重

与 MAE 相比，RMSE 对每个误差值不是平等对待的，它会给大的误差更大的权重。这意味着一个过大的误差值会让 RMSE 值很差。

我们来看一个虚构的时间序列：

640?wx_fmt=png

现在我们对比两个预测结果，这两个结果存在的唯一差别是最后一个预测值：预测 #1 比实际值低 7 个单位，预测 #2 低了 6 个单位。

640?wx_fmt=png

两次预测结果的性能评估指标如下：

640?wx_fmt=png

有趣的是，只把最后一次预测的值改变了 1 个单位，就导致整体的 RMSE 值降低了 6.9%（从 2.86 到 2.66），但 MAE 值只降低了 3.6%（从 2.33 到 2.25）。很明显，RMSE 把更大的注意力放在最大的误差值上，而 MAE 给每个误差值相同的权重。你可以自己尝试降低某个误差值，会发现对 RMSE 几乎不会产生影响。

接下来你会看到关于 RMSE 更有趣的特性。

RMSE 的预测实例

刚刚我们介绍了每个性能评估指标的定义（bias、MAPE、MAE、RMSE），但还不清楚它们使用在模型上的差异。有人可能认为用 RMSE 代替 MAE，或者用 MAE 替代 MAPE，不会有太大差异，但事实上不是这样的。

我们来看个简单的例子。假设某个产品每周的销量始终比较低且平稳，偶尔会有一笔大订单（可能受促销活动等影响）。下面是我们观察到的最近几周的销量情况：

640?wx_fmt=png

对于该产品的销量，我们虚构三个不同的预测结果。第一个预测每天销量为 2，第二个预测每天销量为 4，第三个预测每天销量为 6，如下图所示：

640?wx_fmt=png

我们看看每个预测的 bias、MAPE、MAE 和 RMSE 结果：

640?wx_fmt=png

预测 #1 基于 MAPE 表现最好，预测 #2 基于 MAE 表现最好，预测 #3 基于 RMSE 和 bias 表现最好（但基于 MAE 和 MAPE 表现最差）。下面我们来看每个预测结果的组成：

预测结果 #1 取了一系列较低的值
预测结果 #2 为实际值的中位数
预测结果 #3 为实际值的平均数

中位数 vs 平均数 —— 数学最优化

在进一步讨论不同的预测性能评估指标之前，我们花点时间来了解为什么以中位数作为预测值会得到较好的 MAE，以及用平均数作为预测值会得到较好的 RMSE。

这里会涉及一些数学知识，如果你对这些公式不理解，不要在意。你可以略过这部分，直接跳到 RMSE 和 MAE 的结论部分。

1、RMSE

首先来看 RMSE：

640?wx_fmt=png

实际上，我们可以用它的简化版，即 MSE：

640?wx_fmt=png

如果你的预测模型把 MSE 当作指标，它会将其最小化。我们可以通过使其导数为零，来将数学函数最小化：

640?wx_fmt=png

若要使预测最优化，模型会趋于让整体预测值与实际值相等。

2、MAE

接下来，我们对 MAE 做同样的分析：

640?wx_fmt=png

或者

640?wx_fmt=png

以及

640?wx_fmt=png

这意味着

640?wx_fmt=png

若要使 MAE 最优化（如，使其导数为零），预测模型要让预测值高于实际值的次数等于低于实际值的次数。换句话说，我们希望找到一个值可以把数据集一分为二，这也正是中位数的定义。

3、MAPE

遗憾的是，MAPE 的导数不具备直接明了的特性。我们可以简单认为，MAPE 会优先给出较低的预测值，因为当实际值比较低时，预测误差会被分配较高的权重。

结论

综上所述，在任何模型上，对 RMSE 的最优化是试图找到平均值，而 MAE 的最优化是让预测偏高的次数与偏低的次数相等。不得不承认，MAE 和 RMSE 在数学本质上存在较大的差异。一个瞄准中位数，另一个瞄准平均数。

MAE 还是 RMSE？如何选择？

我们不能说瞄准中位数好或者瞄准平均数好，这不是一个非黑即白的问题。每项技术都存在优点和隐患，下面我们会讨论这个问题。只有经过试验，才能知道哪项技术适用于当前的数据集。你甚至可以同时选择 RMSE 和 MAE。

下面我们花点时间，来讨论选择 RMSE 或 MAE 对偏差值、异常值灵敏度以及无规律序列的影响。

Bias

对于许多实例，你会发现实际值的中位数与平均数不同。可能发生的是，实际值中存在一些峰值，导致整体分布产生偏移。这些偏移的分布在供应链行业常常发生，因为定期的促销活动或客户的批量采购。这会使实际的中位值比平均数低，如下图所示：

640?wx_fmt=png

这说明预测模型在使 MAE 最小化时会产生偏差，然而在使 RMSE 最小化时不会产生偏差（因为它瞄准的是平均数）。这确实是 MAE 的主要缺陷。

异常灵敏度

如我们所讨论的，RMSE 会为大的误差值分配高权重，同时也要付出代价：对异常点过于敏感。我们看下面的例子：

若一个序列的中位值为 8.5，平均值为 9.5。我们已经知道，如果模型使 MAE 最小化，我们会预测出中位数（8.5），这样整体会比平均数低 1 个单位（bias = -1）。之后你可能会选择对 RMSE 做最小化，预测平均值来避免这种情况。

不过，如果我们突然观察到一个值为 100：

640?wx_fmt=png

中位数仍然为 8.5，并没有发生改变，但平均值变成了 18.1，在这种情况下，我们不希望预测结果趋近于平均数，而是重新使用中位数。

一般来说，对于存在异常值的情况，中位数比平均数的鲁棒性更强。在供应链产业中，这一点尤为重要，因为我们要面对很多异常点。

对于异常点来说，鲁棒性总是一个好的特性吗？答案是否定的。

无序序列

糟糕的是，在异常点存在的情况下，中位数的鲁棒性可能会对无规律的序列产生非常不好的影响。

试想我们对一个客户出售产品，该产品的利润很高，客户似乎每三个星期中会有一个星期下订单。遗憾的是，客户的购买行为没有任何规律。我们可以观察到其平均数为 33，但而中位数为 0。

我们不得不对该产品做每个星期的预测。试想，我们让预测模型瞄准平均数（33），经过一段时间，我们得到的总平方误差为 6667（RMSE 为 47），总绝对误差为 133（MAE 为 44）。

640?wx_fmt=png

如果我们让预测模型瞄准中位数（0），我们得到的总绝对误差为 100（MAE 为 33），总平方误差为 10000（RMSE 为 58）。

640?wx_fmt=png

很明显，对于没有规律的序列，MAE 是一个比较差的性能评估指标。

结论

MAE 会忽略异常值，而 RMSE 会注意到异常值并得到没有偏差的预测。那么应该使用哪个指标呢？很遗憾，不存在确定的答案。如果你是一名供应链领域的数据科学家，你应该多做试验：如果使用 MAE 作为性能评估指标会得到很大偏差，你可能需要使用 RMSE。如果数据集包含很多异常值，导致预测结果产生偏移，你可能需要用 MAE。

还需要注意的是，你可以选择一个或多个评估指标（如 MAE&bias）来计算预测的误差，然后用另一个指标（RMSE？）来对模型进行优化。

还有最后一个技巧，面对实际值较低的序列，可以将其聚合到一个更大的时间范围。例如，如果以星期为周期的值很低，你可以试试按照月份来进行预测，甚至按季度预测。你也可以通过简单的除法，把原始时间序列分解到较小的时间范围上。这一方法可以帮助你更好地使用 MAE 作为评估指标，同时对峰值做平滑处理。

原文链接：
https://medium.com/analytics-vidhya/forecast-kpi-rmse-mae-mape-bias-cdc5703d242d

（*本文为 AI科技大本营编译文章，转载请联系 1092722531）

◆

精彩推荐

◆

“只讲技术，拒绝空谈！”2019 AI开发者大会将于9月6日-7日在北京举行，这一届AI开发者大会有哪些亮点？一线公司的大牛们都在关注什么？AI行业的风向是什么？2019 AI开发者大会，倾听大牛分享，聚焦技术实践，和万千开发者共成长。目前，大会早鸟票抢购中~扫码购票，领先一步！

640?wx_fmt=png

推荐阅读

阿里达摩院做AI这两年

性能比GPU高100倍！华人教授研发全球首个可编程忆阻器AI计算

豪投10亿！华为放话：3年培养100万AI人才！网友神回应了

《长安十二时辰》教了哪些算法知识？

非科班出身程序员，如何超越科班程序员？

谷歌停止中国版搜索引擎；李楠宣布离职魅族；微软用 Rust 替代 C/C++ | 极客头条

首批8款5G手机获3C认证：华为占4款；IBM获AT＆T“几十亿美元”云计算合同；马库斯：未来薪酬将以Libra发放

用50年前NASA送阿波罗上天的计算机挖矿什么体验? 出一个块要10^18年……

相关文章：