バックテストはフォーキャスト モデルのパフォーマンスの確認に使用します。
フォーキャスト モデルを使用して予測を実行する前に、バックテストと高度な指標を使用することで、予測の精度をどこまで上げられるかを把握できます。パフォーマンスの向上が必要な場合は、モデル構成を調整してパフォーマンスを上げることができます。
バックテスト
フォーキャスト モデルを学習させる際には、履歴データ (実績) の一部が差し引かれます。差し引かれるデータの量はフォーキャスト対象期間と等しくなります。
(例:
12 か月分の履歴データがあり、フォーキャスト対象期間が 3 か月だとします。
- モデルの学習プロセスでは履歴データのうち最初の 9 か月分を使用し、過去 3 か月について予測します。 残り 3 カ月分の履歴データについては差し引かれます。
- モデルの学習後、予測した過去 3 か月と実績を比較します。この比較では、モデルのパフォーマンスを評価し、フォーキャスト モデルの品質指標 (高度な指標) を求めます。
予測された値が実績に近いほど、モデルの予測精度が高く、パフォーマンスも良いということになります。
バックテスト ウィンドウ
通常は、フォーキャストと実際の結果を比較することでフォーキャスト精度が向上します。今後のフォーキャストの精度を向上させるには、「バックテスト ウィンドウ」を使用します。 このウィンドウを使用することで、「What-if」シナリオをシミュレーションできます。たとえば、過去のある時点のデータに対して PlanIQ フォーキャストを実行した場合などをシミュレーションできます。