규제 (Regularization)
- 가중치와 bias를 업데이트 하며 오차를 줄이는 방식인데, 이 때 업데이트의 정도를 조절하는 것이다
- 학습이 과대적합 되는 것을 방지하고자 일종의 penalty를 부여하는 것이다
L2 규제
- 각 가중치 제곱의 합에 규제 강도(Regularization Strength) $\lambda$를 곱한다
- $\lambda$를 크게 할수록 가중치가 감소된다(규제를 중요시 한다)
- $\lambda$를 작게 할수록 가중치가 증가한다(규제를 중요시하지 않는다)
- 릿지(Ridge) L2 규제
$Error=MSE+\alpha w^2$
L1 규제
- 가중치의 합을 더한 값에 규제 강도(Regularization Strength) $\lambda$를 곱하여 오차에 더한다
- 어떤 가중치$w$는 0이 된다 (즉, 모델에서 완전히 제외되는 것이다)
- 라쏘(Lasso) L1 규제
$Error=MSE+\alpha |w|$
$\quad\rightarrow$ L2 규제가 더 안정적이므로 더 자주 사용된다