高度な指標

フォーキャストモデルの質の高さを判断するために各指標で使われる基準について説明します。質が高いほど予測の精度も高くなります。

平均絶対誤差率 (MAPE) は個別の絶対フォーキャスト誤差を合計し、各期間の実際の値で割ったものです。誤差の相対的割合に基づいて精度が測定されます。MAPE の値がゼロに近いほど、予測の精度が高くなります。

誤差が実際の値よりも大きい場合、誤差の割合が 100% を超えることがあります。
たとえば、実際の値が 1 で予想した値が 3 の場合、フォーキャスト誤差は 2 になります。フォーキャスト誤差が実際の値より大きいため、MAPE の結果は 100% を超えます。

MAPE では実際の値ではなく割合として誤差のサイズを指定するため、異なるデータセットサイズとタイムスケールの間でフォーキャスト誤差を比較できます。

フォーキャストモデルによって予測された値と実際の値の差を測定するために二乗平均平方根誤差 (RMSE) がよく用いられます。

RMSE ではフォーキャスト誤差の二乗値を使用します。これは外れ値の影響を特定する際に役立ちます。RMSE は、わずかな予測の誤りを実装するとコストが非常に高くつくユースケースに適した指標です。

フォーキャストモデルで RMSE の値が低いほど、予測の精度が高くなります。

平均絶対誤差 (MAE) では、方向を考慮せずに一連の予測のフォーキャスト誤差の平均量を測定します。

「方向」とは予測が過剰か過小かを意味するものです。

MAE は X と Y の間の平均絶対差です。平均絶対誤差はスケールに依存した指標です。

単位が異なる系列の比較に MAE を使用することはできません。

例:
MAE では、1 か月の販売個数が 100 個の SKU* と 1,000 個の SKU を比較できません。

異なるモデル間の同じ系列でフォーキャストを比較する相対的測定として MAE を使用できます。MAE の値が低いほど、モデルの精度が高くなります。

*SKU は Stock Keeping Unit (最小在庫管理単位) の略です。

平均逆正接絶対誤差率 (MAAPE) は、ゼロ、又はゼロに近い実際の値の品質測定を向上する、フォーキャスト精度の手段です。異なるデータ系列間でフォーキャスト精度を比較する際に MAAPE を使用できます。

断続的な需要のフォーキャストの評価に MAAPE を使用します (需要の異常なレベルのフォーキャストなど)。間違った、又は正しくない観測によって非常に大量の誤差が発生する場合に MAAPE は特に威力を発揮します。MAAPE の値が低いほど、モデルの精度が高くなります。

平均絶対スケール誤差 (MASE) ではフォーキャストの精度を測定します。 MASE はフォーキャスト値の平均絶対誤差をナイーブフォーキャストの平均絶対誤差で割ったものです。この際、ナイーブフォーキャストでは前の値、又は複数の前のポイントの平均が使用されます。

平均絶対スケール誤差の解釈は難しくありません。値が 1 より大きい場合、ナイーブメソッドのサンプル内短期フォーキャストは対象モデルのフォーキャスト値よりも精度が高いということになります。

MASE はスケールに依存しない誤差指標です。一つの系列のフォーキャストメソッドを比較したり、系列間のフォーキャスト精度を比較したりするのに使用できます。需要が断続的な系列に適した指標となっています。

MASE は過去の観測結果がすべて同じではない場合に最適な指標です。観測結果がすべて同じ場合は直線が表示され、MASE の結果は無限大か未定義となります。

調整平均絶対誤差率 (SMAPE) は割合 (又は相対) 誤差に基づいて精度を測定します。

相対誤差とは、厳密値の大きさで割った絶対誤差のことです。

平均絶対誤差率とは対照的に、SMAPE には下限と上限の両方があります。割合に基づくスケール依存の指標であるため、データセット間のフォーキャスト精度を比較するのに使用できます。

実際の値かフォーキャスト値が 0 の場合、誤差の値が 100% に近づくという制限が SMAPE にはあります。フォーキャストの SMAPE の値が低いほど、フォーキャストの精度が高くなります。

全体的なモデル品質指標は、フォーキャストを構成するアイテムが一つなのか複数なのかに左右されます。MASE では、履歴データセットと最近のデータ全体のアイテムに対してモデルの品質が計算されます。MASE は最適なフォーキャスト品質指標です。

MASE には次のような特徴があります。

フォーキャストに複数のアイテムが含まれている場合、60% 以上のアイテムで MASE 結果の品質が高いとモデル品質が高いと見なされます。

アイテムの 50% 以上で MASE 結果の品質が低い場合、モデル全体の品質が低いものとみなされます。

その他の結果ではすべてモデルの品質が中程度とみなされます。

MAPE