[ML] 일반화, 과대적합, 과소적합

- 일반화(Generalization)

• 훈련 세트로 학습한 모델이 테스트 세트에 대해 정확히 예측하도록 하는 것

- 과대적합(Overfitting)

• 훈련 세트에 너무 맞추어져 있어 테스트 세트의 성능 저하
• 너무 상세하고 복잡한 모델링을 하여 훈련데이터에만 과도하게 정확히 동작하는 모델

- 과소적합(Underfitting)

• 훈련 세트를 충분히 반영하지 못해 훈련 세트, 테스트 세트에서 모두 성능이 저하
• 모델링을 너무 간단하게 하여 성능이 제대로 나오지 않는 모델

- 해결방법

• 주어진 훈련 데이터의 다양성 보장 → 다양한 데이터포인트를 골고루 나타내야함
• 일반적으로 데이터의 양이 많으면 일반화에 도움
• 편중된 데이터를 많이 모으는 것은 도움이 되지 않음
• 규제(Regularization)을 통해 모델의 복잡도를 적정선으로 설정

- 모델 복잡도 곡선