NLP/AI/Statistics

신경망 구조의 모델을 설계하는 방법은 모델의 성능의 차이를 가져오는 중요한 요인이다. 그 중 모델 학습의 시작인 가중치 초기화 (weight initialization)에 대하여 소개하고자 한다. 우선적으로 가장 기본적인 방법으로는 0으로 초기화하는 방법과 랜덤한 값으로 초기화하는 방법이 있다. 첫 번째로, 모든 가중치 값을 0으로 초기화 하는 방법이다. (all zero initialization) 모델을 설계하기 이전에 모델이 학습하여 최종적으로 출력하는 가중치 값이 어떤 값인지는 예측하기 힘들다. 하지만 데이터의 정규화를 적절하게 수행하였다고 가정했을 경우, 가중치의 절반은 양의 값이고 나머지 절반은 음의 값일 것이라고 생각할 수 있다. 이 가정에서 가중치 값을 0으로 초기화하는 것은 합리적인 방법..