NLP/AI/Statistics

이전에 딥러닝 모델에서 최적의 성능을 얻기 위한 최적화(Optimization) 방법에 대하여 설명하였다. 이번 글에서는 최적화 방법 중에 하나인 gradient desent 방법에 대하여 소개하고자 한다. 모델을 학습할 때 loss function의 gradient를 계산하여 파라미터를 업데이트하는 방법을 gradient descent라고 하며, 아래의 코드는 가장 기본적인 vanila 버전의 코드이다. $ while True: $weights_grad = evaluate_gradient(loss_function, data, weights) $weights += step_size * weights_grad # parameter update Gradient Descent 방법은 최근 neural netw..