NLP/AI/Statistics

딥러닝 모델에서 학습 데이터가 모델에 과적합되어 새로운 데이터에 대하여 제대로 예측하지 못하는 문제가 발생한다. 이러한 과적합 (overfitting) 문제를 해결하기 위한 방법으로 regularization (규제화)을 소개하고자 한다. L1 regularization 기존의 Loss function 값이 $L(y_{i}, \hat{y_{i}})$이라고 할 때, L1 regularization은 아래의 식과 같이 loss function에 새로운 "규제항"을 추가하여 계산한다. $$Loss = \frac{1}{n}\sum_{i=1}^{n}{L(y_{i}, \hat{y_{i}}) + \lambda |w|}$$ 여기서 집중해야할 부분은 L1에서는 가중치(w)의 절댓값을 추가하여 loss 값에 규제를 더해준..