NLP/AI/Statistics

이전 글에서 이미지 분류 문제를 처리하기 위해 가장 중요한 개념인 score function과 loss function에 대해 설명하였다. loss function을 정의하는 과정에서 $f(x_{i}, W)$의 선형 함수를 사용하였는데, 이 때 사용되는 파라미터인 $W$가 어떻게 설정되고, 어떻게 학습되는지는 모델 학습에 중요한 요인이었다. 이를 위해 최적화 과정이 필요하다. 최적화(optimization)는 loss function을 최소화하는 최적의 파라미터 $W$를 찾는 과정을 의미한다. 최적화 방법에 대하여 이해하게 되면, score function, loss function, optimization 간의 상관관계를 이해할 수 있을 것이며, 이후에 설명하게 될 신경망 구조에 대하여 이해하기 쉬울 ..

이전 글에서 이미지 픽셀 값으로부터 각 라벨 별 score를 나타내는 방법에 대하여 설명하였으며, $f = Wx + b$의 공식에서 $W$와 $b$는 hyperparameter로써 정의가 가능하다고 하였다. 특히 초기화된 $W$는 모델 내에서 업데이트를 통해 최적의 score를 나타내는 $W$를 구하도록 한다. 즉, 예측 값과 실제 값의 차이인 Loss를 최소화하는 $W$를 찾는 것이 목적이 된다. 이러한 loss를 구하는 함수를 loss function (cost function, objective 라고도 한다. - 손실함수, 목적함수)라고 한다. > Multiclass Support Vector Machine loss (SVM loss) Loss function은 여러가지 방식으로 정의되는데, 크게 ..

머신러닝, 딥러닝과 같은 인공지능 연구에서는 두 가지 중요한 요소에 대한 이해가 필요하다. 1. Score function 2. Loss function 학습 데이터로 모델을 학습하고 평가 데이터로 학습된 모델을 평가하는 과정에서 해당 평가 결과에 대한 성능을 측정하는 성능 지표로써의 score function과 예측 결과와 실제 결과의 차이를 의미하는 loss function에 대한 개념이 나타난다. 특히, loss function에서는 모델의 최적점을 찾아 예측 값과 실제 값의 차이인 loss를 최소화하는 것을 목적으로 모델 학습을 진행해야하기 때문에 이에 대한 이해가 중요하다. > Parameterized mapping from images to label scores 우선 이번 글에서는 score..

> Hyperparameter 이전에 image classification을 위한 Nearest Neighbor Classifier에 대하여 설명하였다. NN 분류기의 확장된 아이디어 모델인 KNN 모델에서 사용자들은 K의 값을 설정함으로써 모델의 능력을 다르게 학습할 수 있다. 또한, NN 분류기를 위한 거리 계산 방법으로 L1, L2 distance에 대하여 설명하였는데, 어떤 계산 법을 사용하여 모델을 학습하였는지도 역시 사용자의 설정에 따라 학습 방법, 학습의 능력이 다르게 평가될 수 있다. 이처럼 사용자가 모델의 학습 능력을 선택하는 parameter를 hyperparameter 라고 한다. 즉, 모델을 설계하기 위한 부품들이라고 생각할 수 있다. 이러한 hyperparameter에는 정답이 없..

> Nearest Neighbor Classifier와 데이터셋 Image classification의 접근 방식을 이해하기 위해 우선 Nearest Neighbor classifier(NN)에 대하여 설명한다. NN 분류기는 유사성을 기준으로 분류한다고 생각하면 된다. NN 분류기 이전에 image classification에 초점을 맞춰 데이터셋부터 소개를 해보면, 대표적인 image classification 데이터셋으로 CIFAR-10 (www.cs.toronto.edu/~kriz/cifar.html) 이 있다. CIFAR-10 데이터는 32 픽셀의 너비와 높이를 가지는 60,000개의 이미지로 구성된 데이터셋이다. 즉, 32 x 32 x 3 의 이미지 데이터셋이다. 총 10개의 class로 구성..

CS231n의 note1에서는 image classification에 대하여 설명한다. note 1에 대한 내용을 아래와 같이 나누어 정리할 예정이다. 1) introduction 2) nearest neighbor classifier 3) validation sets for hyperparameters tuning 우선, image classification이 어떤 task이고 어떠한 input 형태로부터 처리되어 지는지를 이해하기 위해 introduction을 설명한다. Computer vision 에서는 object detection, segmentation 등의 task가 수행된다. 그 중 Image classification은 computer vision 에서 가장 기본이 되는 task라고 할 ..

Standford 강의 중 CS231n에 대하여 공부하고 정리한다. 강의의 보충 자료인 lecture notes를 토대로 공부하여 이를 정리한다. cs231n.github.io/ CS231n Convolutional Neural Networks for Visual Recognition cs231n.github.io Lecture Notes) 1) Image Classification 2) Linear Classification 3) Backpropagation 4) Neural Networks1: Architecture 5) Neural Networks2: Data and Loss 6) Neural Networks3: Learning and Evaluation 7) Convolutional Neural ..