解释 ARIMA 模型拟合的准确度结果

机器算法验证 r 有马
2022-04-05 04:03:43

我想知道一个 ARIMA 模型在估计第二个时间序列时有多准确。

我已经建立了模型:

mod1 <- auto.arima(x)
refit <- Arima(y, model=mod1)
> accuracy(refit)
               ME     RMSE MAE       MPE     MAPE MASE  ACF1
Training set -0.8 1.549193 1.2 -69.33333 77.33333  0.8 -0.05

现在我不确定如何解释这些结果。合身有多好?有没有准确度或类似的度量?

3个回答

这里有几点。

  1. 您的 ARIMA 模型不是“估计第二个时间序列”,而是对其进行过滤。

  2. 该函数accuracy为您提供模型拟合精度的多种度量:平均误差 ( ME)、均方根误差 ( RMSE)、平均绝对误差 ( MAE)、平均百分比误差 ( MPE)、平均绝对百分比误差 ( MAPE)、平均绝对比例误差 ( MASE)和一阶自相关系数 ( ACF1)。您可以根据准确度度量来决定您是否认为这很合适。例如,一般来说,接近 -70% 的平均百分比误差在我看来并不好,但这可能取决于您的系列是什么以及您实际期望的可预测性。

  3. 绘制原始序列和拟合值以及模型残差通常是一个好主意。有时,您可能会从图中学到比从accuracy函数给出的少数总结措施中学到的更多信息。

其中最容易理解的是 MAPE(平均绝对百分比误差)。它考虑输入模型的实际值和模型的拟合值,并将两者之间的绝对差计算为实际值的百分比,最后计算其平均值。

例如,如果下面是您的实际数据和 ARIMA 模型的结果

ActualData FittedValue AbsolutePercentageError
120        119.5       (abs(120-119)/120)*100 = 0.83%
128        126         (abs(128-126)/128)*100 = 1.56% 

MAPE = (0.83%+1.56%)/2 = 1.195%

同样,您可以进行快速谷歌搜索以了解其他条件的含义。根据我的经验,MAPE 最容易向外行解释,以防您想向不懂统计的商业用户解释模型的准确性。此外,您应该预测未来的保留样本并进行类似的练习,以查看它与未来值 Vs 的拟合程度。实际情况。

编辑:这是一个有趣的讨论,在什么情况下使用哪个准确度指标。为什么要使用某种预测误差度量(例如 MAD)而不是另一个度量(例如 MSE)?

我正在寻找自己如何解释这些指数。请注意,最好的方法仍然是在同一时期的真实数据上绘制预测。

我在各种网站上找到了这些信息,包括 Wikipedia、stackexchange / stackoverflow、statisticshowto 和其他网站: -您可以“Ecosia”其中一些短语来查找它们的来源。

  1. ME:平均误差 - 平均误差是一个非正式术语,通常指的是一组中所有误差的平均值。在这种情况下,“错误”是测量中的不确定性,或测量值与真实/正确值之间的差异

    1. RMSE:均方根误差
      2.1 MAE:平均绝对误差 -- MAE 测量一组预测中误差的平均幅度 -- 不考虑它们的方向。它测量连续变量的准确性。-- RMSE 将始终大于或等于 MAE;-- 它们之间的差异越大,样本中个体误差的差异就越大。如果 RMSE=MAE,那么所有误差的幅度都相同—— MAE 和 RMSE 的范围都可以从 0 到 ∞。-- 它们是负向分数:值越低越好。

    2. MPE:平均百分比误差 - 平均百分比误差 (MPE) 是计算的平均值 - 百分比误差,模型预测与预测数量的实际值不同。

    3. MAPE:平均绝对百分比误差 -- MAPE 以百分比表示,仅对除数和 -- 比率有意义的值有意义。计算温度百分比没有意义——可能会出现大于 100% 的 MAPE。-- 那么这可能会导致负准确度,人们可能很难理解 -- 误差接近 0% => 提高预测准确度 -- 大约 2.2% MAPE 意味着该模型在预测接下来的 15 次观测时的准确率约为 97.8% .

    4. MASE:平均绝对比例误差——比例不变性:平均绝对比例误差与数据的比例无关,——因此可用于比较不同比例的数据集的预测。-- 对于没有有意义的 0 的量表可以, -- 对正预测误差和负预测误差进行同等惩罚 -- 大于 1 的值表明来自朴素方法的样本内一步预测的性能优于所考虑的预测值。-- 在比较预测方法时,具有最低 MASE 的方法是首选方法。

    5. ACF1:滞后 1 处错误的自相关。-- 它衡量当前值受时间序列中先前值影响的程度。-- 具体来说,自相关函数告诉您不同时间滞后分隔的点之间的相关性 -- ACF 告诉您各点之间的相关程度 -- 基于它们分隔的时间步长。这就是自相关的要点,它是过去数据点与未来数据点的相关性,对于不同的时间间隔值。- 通常,您会期望自相关函数 - 随着点变得更加分离(即 n 在上述符号中变大)而趋向于 0 - 因为它通常更难以从给定的数据集预测未来. ——这不是规则,而是典型的。

      MAPE (???)、Correlation 和 Min-Max Error 可用于平均值为 1000 的系列的 RMSE 为 100,优于 10 的系列的 RMSE 为 5。因此,您不能真正使用它们来比较两个不同比例时间序列的预测。

.......... 您的所有指标(ME、RMSE、MAE、MPE、MAPE、MASE、ACF1、...)都是两种错误的聚合:偏差(您的模型错误,但准确拟合)+ 方差(您有正确的模型,但拟合不准确)。并且没有统计方法可以知道您是否具有高偏差和低方差或高方差和低偏差。所以我建议,你制作一个情节并做出一个眼睛估计来选择“最好的”,如果你错了,最好的意义和最小的商业后果。

通常,所有这些值都尽可能小