TL;DR
- Forecast Bias는 예측이 누적으로 과대인지 과소인지를 보는 signed metric이다.
- 이 노트에서는 forecast-minus-actual convention을 사용한 normalized forecast bias를 다룬다.
- 오차 크기보다 방향을 보며, MAE/WAPE와 함께 해석해야 한다.
Forecast Bias
Forecast Bias는 예측 오차의 방향성을 보는 signed metric이다. 자료마다 정의가 다르므로, 이 노트에서는 forecast-minus-actual convention을 사용한 normalized forecast bias를 사용한다. 즉, signed error를 실제값 규모로 나누어 정규화한다.
값이 양수이면 누적 과대예측, 음수이면 누적 과소예측이다.
수요 예측처럼 인 경우에는 이므로 다음처럼 쓸 수 있다.
반면 더 일반적인 signed target에서는 를 쓰는 편이 스케일 정규화 의미를 더 명확히 한다.
반대로 actual-minus-forecast convention을 쓰는 자료에서는 부호 해석이 뒤집힌다. 따라서 Forecast Bias를 보고할 때는 오차를 로 정의했는지, 로 정의했는지 먼저 명시해야 한다.
일반 정의
Forecast Bias는 오차의 방향성을 보존한다. MAE나 WAPE는 절대값을 사용하므로 과대예측과 과소예측을 구분하지 못하지만, Forecast Bias는 누적 signed error가 어느 방향으로 치우쳤는지 보여준다. 이 정의는 WAPE의 signed version처럼 해석할 수 있다.
하지만 bias는 오차가 서로 상쇄될 수 있다.
pred = [5, 10, 8]
true = [10, 5, 8]
# under 5 + over 5 = aggregate bias 0이 경우 bias는 0이지만 일별 예측은 틀렸다.
같은 문제가 SKU 집계에서도 생긴다. SKU A의 누적 오차가 +30이고 SKU B의 누적 오차가 -30이면 전체 bias는 0이지만, SKU A는 과대예측되고 SKU B는 과소예측되고 있다.
일반 시계열에서의 사용
- 모델이 체계적으로 낮게 또는 높게 예측하는지 확인할 때 사용한다.
- Pinball Loss로 학습한 quantile forecast에서는 선택한 에 따라 signed bias가 의도적으로 달라질 수 있으므로, 목표 quantile과 함께 해석해야 한다.
- 단독 정확도 지표가 아니라 오차 크기 지표와 함께 해석해야 한다.
수요 예측에서의 사용
- 수요 예측에서 음수 bias는 재고 부족과 결품 위험으로 이어질 수 있다.
- 양수 bias는 폐기·과잉재고 위험으로 이어질 수 있다.
- 재고 운영에서는 MAE, WAPE, Fill Rate와 함께 봐야 한다.
한계
- 양수 오차와 음수 오차가 상쇄되므로 단독 정확도 지표가 아니다.
- bias가 0이어도 일별 패턴 오차가 클 수 있다.
- aggregate level에서 계산하면 하위 SKU, 매장, 기간별 편향을 숨길 수 있다.
- 분모가 작거나 0이면 불안정해진다.
- 자료마다 부호 convention이 다를 수 있으므로 비교 전에 정의를 맞춰야 한다.
Connections
- MAE — signed error를 절대값으로 바꿔 평균 오차 크기를 본다.
- WAPE — 총량 대비 절대 오차를 본다.
- Fill Rate — 과소예측이 운영 지표에 미치는 영향을 보는 연결 지표.
- Pinball Loss — quantile 선택에 따라 signed bias가 의도적으로 달라질 수 있다.
- SKU (Stock Keeping Unit) — 편향을 해석할 상품 단위 granularity.
Discussion
Comments
댓글은 승인 후 공개됩니다.