Regularization

모델의 크기가 커짐에 따라 overfitting, underfitting 발생

overfitting: 너무 잘 맞을 경우에 해당

UNderfitting: 너무 안 맞을 경우에 해당

regularization(최적화)

• 학습 데이터의 양이 많아지면 결과적으로 학습에 걸리는 시간의 증가
• 오버피팅을 억지하기 위해서/ 완만한 그래프를 만들기 위해서
• simpler hypothesis
• $\lambda \sum _j \theta _j ^2$를 붙여줌으로써 Regularization을 진행한다.
  • $J(\theta ) = \frac{1}{2m}[\sum _i (h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda \sum _j \theta _j ^2]$
    • $\lambda$가 너무 크면 y축과 수직인 직선의 방정식으로 매핑되기 때문에 너무 크면 안 된다.
    • overfitting: $\lambda$키우기, underfitting: $\lambda$줄이기
  • 제곱형태이기 때문에 L2-normalization이다.