NLP/AI/Statistics

신경망 구조의 모델을 설계하는 방법은 모델의 성능의 차이를 가져오는 중요한 요인이다. 그 중 모델 학습의 시작인 가중치 초기화 (weight initialization)에 대하여 소개하고자 한다. 우선적으로 가장 기본적인 방법으로는 0으로 초기화하는 방법과 랜덤한 값으로 초기화하는 방법이 있다. 첫 번째로, 모든 가중치 값을 0으로 초기화 하는 방법이다. (all zero initialization) 모델을 설계하기 이전에 모델이 학습하여 최종적으로 출력하는 가중치 값이 어떤 값인지는 예측하기 힘들다. 하지만 데이터의 정규화를 적절하게 수행하였다고 가정했을 경우, 가중치의 절반은 양의 값이고 나머지 절반은 음의 값일 것이라고 생각할 수 있다. 이 가정에서 가중치 값을 0으로 초기화하는 것은 합리적인 방법..

Neural network 2 에서는 데이터를 처리하고 모델을 설계하는 방법에 대하여 설명한다. 1. Data Processing 2. Weight Initialization 3. Batch Normalization 4. Regularization 위의 순서대로 정리할 예정이다. Data Processing은 말 그대로 데이터를 전처리하는 과정으로 볼 수 있다. 어떤 task를 수행하기 위한 데이터가 있을 때, 데이터 간의 분포가 다를 수도 있고 데이터 내의 이상치들이 많이 존재할 수 있다. 이럴 경우, 데이터 간의 차이로 인해 학습이 제대로 수행되지 않거나 이상치에 의해 학습에 노이즈가 발생하는 문제가 발생한다. 이를 처리해주기 위해 데이터를 전처리함으로써 모델이 데이터에 대한 학습을 충분히할 수 있도..

신경망 구조를 이해하기 위해 중요한 요소인 activation function에 대하여 소개한다. Activation function (활성화 함수)은 쉽게 말해 모델 학습을 통해 출력되는 값을 활성화시키는 것을 의미하며 모델 최적화를 위해 가중치 (weight)를 업데이트한 후, 최종적으로 어떠한 값을 출력할 것인가를 결정하는 역할을 한다고 할 수 있다. 위와 같이 $w_{i}x_{i}+b$ 연산으로 출력되는 마지막 층의 output에 activation function을 거쳐 출력값을 결정한다. Perceptron에서는 가장 기초적인 activation function으로 step function과 linear function을 사용하였다. Step function의 경우, 계단 형식으로 0 혹은 1..

흔히 git의 repository를 terminal에 원격으로 저장하여 연결하여 사용한다. 잘못 연결한 경우가 발생하여 끊기를 원할 때가 있다. 이 글에서는 잘못 연결된 원격 저장소를 끊고 다시 연결하는 방법으로 설명한다. 1. 원격 저장소 끊기 우선 아래의 코드를 실행하여 현재 연결되어 있는 repository를 확인할 수 있다. $ git remote -v 특정 repository (Repository_Name)에 연결되어 있을 경우, (Name = 내 github 계정) origin https://github.com/Name/Repository_Name.git (fetch) origin https://github.com/Name/Repository_Name.git (origin) 위와 같이 연결된 ..

이전에 딥러닝 모델에서 최적의 성능을 얻기 위한 최적화(Optimization) 방법에 대하여 설명하였다. 이번 글에서는 최적화 방법 중에 하나인 gradient desent 방법에 대하여 소개하고자 한다. 모델을 학습할 때 loss function의 gradient를 계산하여 파라미터를 업데이트하는 방법을 gradient descent라고 하며, 아래의 코드는 가장 기본적인 vanila 버전의 코드이다. $ while True: $weights_grad = evaluate_gradient(loss_function, data, weights) $weights += step_size * weights_grad # parameter update Gradient Descent 방법은 최근 neural netw..

Optimization의 목적은 loss function을 최소화하는 $W$를 찾는 것이다. loss function을 최적화하는 optimization 방법을 소개하고자 하며, svm loss를 예시로 세가지 방법에 대하여 설명한다. 1) Random Search 2) Random Local Search 3) Gradient Random Search 첫 번째로 random search 방법이다. 이 방법은 랜덤한 값의 $W$로 여러번 시행한 후 loss가 가장 작은 최적의 $W$를 선택하는 방법이기 때문에 가장 간단하지만 좋지 않은 방법이다. 여러 번의 시행 중 최적의 $W$를 찾는다고 하더라도 이는 실행 횟수에 국한되어 있는 한계가 있으며 그 중 추출된 최적의 $W$가 모든 경우의 수에 대한 최적의 ..

이전 글에서 이미지 분류 문제를 처리하기 위해 가장 중요한 개념인 score function과 loss function에 대해 설명하였다. loss function을 정의하는 과정에서 $f(x_{i}, W)$의 선형 함수를 사용하였는데, 이 때 사용되는 파라미터인 $W$가 어떻게 설정되고, 어떻게 학습되는지는 모델 학습에 중요한 요인이었다. 이를 위해 최적화 과정이 필요하다. 최적화(optimization)는 loss function을 최소화하는 최적의 파라미터 $W$를 찾는 과정을 의미한다. 최적화 방법에 대하여 이해하게 되면, score function, loss function, optimization 간의 상관관계를 이해할 수 있을 것이며, 이후에 설명하게 될 신경망 구조에 대하여 이해하기 쉬울 ..

Linux 환경에서 터미널에 실행시키기 편한 텍스트 편집기인 vim을 설치하는 방법에 대하여 소개한다. 간단할 수 있지만, 간혹가다가 생각없이 'pip install vim', 혹은 'sudo apt-get install vim'의 명령어로 vim을 설치하려다가 실패하고 당황스러운 경우가 있어 이를 정리해본다. vim을 설치하기 이전에 우선 vim을 다운로드하기 위한 apt-get을 업데이트 해야한다. 프로그램을 설치하기 위한 과정이기 때문에 관리자 권한이 필요하므로 sudo를 이용하여 실행해야한다. $ sudo apt-get update apt-get을 업데이트한 이후, 아래의 코드를 이용하여 vim을 설치할 수 있다. $ sudo apt-get install vim 이대로 vim 설치가 완료된다. #..

이전 글에서 이미지 픽셀 값으로부터 각 라벨 별 score를 나타내는 방법에 대하여 설명하였으며, $f = Wx + b$의 공식에서 $W$와 $b$는 hyperparameter로써 정의가 가능하다고 하였다. 특히 초기화된 $W$는 모델 내에서 업데이트를 통해 최적의 score를 나타내는 $W$를 구하도록 한다. 즉, 예측 값과 실제 값의 차이인 Loss를 최소화하는 $W$를 찾는 것이 목적이 된다. 이러한 loss를 구하는 함수를 loss function (cost function, objective 라고도 한다. - 손실함수, 목적함수)라고 한다. > Multiclass Support Vector Machine loss (SVM loss) Loss function은 여러가지 방식으로 정의되는데, 크게 ..

앞서 Seq2Seq에 대하여 설명했다. Seq2Seq는 encoder, decoder 개념을 사용하여 입력 시퀀스를 압축하고 출력 시퀀스를 생성하는 모델이다. 이는 기계번역 task에서 주로 사용되지만, encoder에서 일정 크기로 모든 시퀀스 정보를 압축하여 표현하려고 하기 때문에 정보손실이 발생하는 문제가 있다. 이러한 문제를 보완하고자 Attention 모델이 제안되었다. Attention 모델은 decoder가 단순히 encoder의 압축된 정보만을 받아 예측 시퀀스를 출력하는 것이 아니라, decoder가 출력되는 시점마다 encoder에서의 전체 입력 문장을 한번더 검토하도록 한다. 이 때 decoder는 encoder의 모든 입력 시퀀스를 동일한 가중치로 받아들이지 않고, 중요한 단어에 대..