목차 및 참고자료

• Model drift란?
  • https://towardsdatascience.com/how-to-detect-model-drift-in-mlops-monitoring-7a039c22eaf9
  • https://medium.com/mlearning-ai/concept-drift-52626ec4e013
  • https://datatron.com/what-is-model-drift/

Model drift (= Model decay)

Model drift란?

변화하는 환경에 따라 모델의 성능이 저하되는 현상

drift의 종류

• Concept drift
  • 예측하려고 하는 변수의 의미가 바뀌는 경우 P(Y|X)
  • ex) "금융사기" 예측 모델에서 "금융사기"의 정의가 바뀐 경우
• Data drift (= Feature drift)
  • 설명 변수의 통계적인 속성이 변하는 경우 P(X)
  • 특히 예측하고자 하는 변수에 영향을 주는 인자가 explicit한 설명변수로 표현되지 않는 경우 유의
  • ex) 계절성에 따라 여름에 효과있는 모델이 겨울에는 효력이 없음
  • ex) 개인의 선호도가 변하며 추천 모델의 성능이 떨어짐
  • ex) 새로운 상품의 추가
• Upstream data change
  • 데이터 파이프라인에서 변화가 생기는 경우
  • ex) 더이상 변수가 측정되지 않는 경우 / 측도의 변화 등
• 이 외
  • Prediction Drift : 모델의 예측치의 분포가 변하여 모델 인풋과 모델 예측치 사이의 관계가 변화 P(Y hat Prediction|X)
  • Label Drift: 레이블의 분포 또는 모델의 결과값의 분포가 변경 P(Y Ground Truth)

<aside> 💡 머신러닝 모델을 구축하는 데에 들어간 것들 중 하나라도 변하게 된다면 모델의 성능은 저하 → 머신러닝 모델을 배포한 후에도 이러한 drift signal에 귀를 기울이고 → 필요에 따라 모델을 재학습/재배포함으로써 지속적으로 모델을 유지/보수

</aside>