NLP/AI/Statistics

Standford 강의 중 CS224n를 간략하게 중요한 부분에 대하여 정리할 예정이다. http://web.stanford.edu/class/cs224n/index.html#schedule Stanford CS 224N | Natural Language Processing with Deep Learning Natural language processing (NLP) is a crucial part of artificial intelligence (AI), modeling how people share information. In recent years, deep learning approaches have obtained very high performance on many NLP tasks. In t..

신경망 구조를 이해하기 위해 중요한 요소인 activation function에 대하여 소개한다. Activation function (활성화 함수)은 쉽게 말해 모델 학습을 통해 출력되는 값을 활성화시키는 것을 의미하며 모델 최적화를 위해 가중치 (weight)를 업데이트한 후, 최종적으로 어떠한 값을 출력할 것인가를 결정하는 역할을 한다고 할 수 있다. 위와 같이 $w_{i}x_{i}+b$ 연산으로 출력되는 마지막 층의 output에 activation function을 거쳐 출력값을 결정한다. Perceptron에서는 가장 기초적인 activation function으로 step function과 linear function을 사용하였다. Step function의 경우, 계단 형식으로 0 혹은 1..

Optimization의 목적은 loss function을 최소화하는 $W$를 찾는 것이다. loss function을 최적화하는 optimization 방법을 소개하고자 하며, svm loss를 예시로 세가지 방법에 대하여 설명한다. 1) Random Search 2) Random Local Search 3) Gradient Random Search 첫 번째로 random search 방법이다. 이 방법은 랜덤한 값의 $W$로 여러번 시행한 후 loss가 가장 작은 최적의 $W$를 선택하는 방법이기 때문에 가장 간단하지만 좋지 않은 방법이다. 여러 번의 시행 중 최적의 $W$를 찾는다고 하더라도 이는 실행 횟수에 국한되어 있는 한계가 있으며 그 중 추출된 최적의 $W$가 모든 경우의 수에 대한 최적의 ..

이전 글에서 이미지 분류 문제를 처리하기 위해 가장 중요한 개념인 score function과 loss function에 대해 설명하였다. loss function을 정의하는 과정에서 $f(x_{i}, W)$의 선형 함수를 사용하였는데, 이 때 사용되는 파라미터인 $W$가 어떻게 설정되고, 어떻게 학습되는지는 모델 학습에 중요한 요인이었다. 이를 위해 최적화 과정이 필요하다. 최적화(optimization)는 loss function을 최소화하는 최적의 파라미터 $W$를 찾는 과정을 의미한다. 최적화 방법에 대하여 이해하게 되면, score function, loss function, optimization 간의 상관관계를 이해할 수 있을 것이며, 이후에 설명하게 될 신경망 구조에 대하여 이해하기 쉬울 ..

이전 글에서 이미지 픽셀 값으로부터 각 라벨 별 score를 나타내는 방법에 대하여 설명하였으며, $f = Wx + b$의 공식에서 $W$와 $b$는 hyperparameter로써 정의가 가능하다고 하였다. 특히 초기화된 $W$는 모델 내에서 업데이트를 통해 최적의 score를 나타내는 $W$를 구하도록 한다. 즉, 예측 값과 실제 값의 차이인 Loss를 최소화하는 $W$를 찾는 것이 목적이 된다. 이러한 loss를 구하는 함수를 loss function (cost function, objective 라고도 한다. - 손실함수, 목적함수)라고 한다. > Multiclass Support Vector Machine loss (SVM loss) Loss function은 여러가지 방식으로 정의되는데, 크게 ..

머신러닝, 딥러닝과 같은 인공지능 연구에서는 두 가지 중요한 요소에 대한 이해가 필요하다. 1. Score function 2. Loss function 학습 데이터로 모델을 학습하고 평가 데이터로 학습된 모델을 평가하는 과정에서 해당 평가 결과에 대한 성능을 측정하는 성능 지표로써의 score function과 예측 결과와 실제 결과의 차이를 의미하는 loss function에 대한 개념이 나타난다. 특히, loss function에서는 모델의 최적점을 찾아 예측 값과 실제 값의 차이인 loss를 최소화하는 것을 목적으로 모델 학습을 진행해야하기 때문에 이에 대한 이해가 중요하다. > Parameterized mapping from images to label scores 우선 이번 글에서는 score..

> Hyperparameter 이전에 image classification을 위한 Nearest Neighbor Classifier에 대하여 설명하였다. NN 분류기의 확장된 아이디어 모델인 KNN 모델에서 사용자들은 K의 값을 설정함으로써 모델의 능력을 다르게 학습할 수 있다. 또한, NN 분류기를 위한 거리 계산 방법으로 L1, L2 distance에 대하여 설명하였는데, 어떤 계산 법을 사용하여 모델을 학습하였는지도 역시 사용자의 설정에 따라 학습 방법, 학습의 능력이 다르게 평가될 수 있다. 이처럼 사용자가 모델의 학습 능력을 선택하는 parameter를 hyperparameter 라고 한다. 즉, 모델을 설계하기 위한 부품들이라고 생각할 수 있다. 이러한 hyperparameter에는 정답이 없..

CS231n의 note1에서는 image classification에 대하여 설명한다. note 1에 대한 내용을 아래와 같이 나누어 정리할 예정이다. 1) introduction 2) nearest neighbor classifier 3) validation sets for hyperparameters tuning 우선, image classification이 어떤 task이고 어떠한 input 형태로부터 처리되어 지는지를 이해하기 위해 introduction을 설명한다. Computer vision 에서는 object detection, segmentation 등의 task가 수행된다. 그 중 Image classification은 computer vision 에서 가장 기본이 되는 task라고 할 ..

Standford 강의 중 CS231n에 대하여 공부하고 정리한다. 강의의 보충 자료인 lecture notes를 토대로 공부하여 이를 정리한다. cs231n.github.io/ CS231n Convolutional Neural Networks for Visual Recognition cs231n.github.io Lecture Notes) 1) Image Classification 2) Linear Classification 3) Backpropagation 4) Neural Networks1: Architecture 5) Neural Networks2: Data and Loss 6) Neural Networks3: Learning and Evaluation 7) Convolutional Neural ..