NLP/AI/Statistics

이전 글 (확률변수의 분포1, 확률변수의 분포2)에서 확률변수에 따른 분포 특성에 대해 설명하였다. 이번 글에서는 아래의 목차에 대하여 설명할 예정이다. 5.6) 중심극한정리 5.7) 이산형 분포의 근사(이항 분포) 5.8) 체비셰프 부등식과 확률수렴(체비셰프 부등식, 대수의 법칙) 5.6) 중심극한정리 중심극한정리는 통계에서 가장 자주 언급되는 특징이라고 할 수 있다. 우선, 평균 $m$, 분산 $\sigma^{2}$을 갖는 분포(꼭 정규분포가 아니어도 된다.)에서 추출한 크기 $n$인 확률 표본의 평균 $\bar{X}$는 $E(\bar{X}) = m, Var(\bar{X}) = \frac{\sigma^{2}}{n}$이다. 확률표본이 $N(m, \sigma^{2})$에서 추출되었을 때, $\bar{X}..

앞에서 기본적인 순환신경망인 RNN(Recurrent Neural Network)에 대하여 설명하였다. RNN이 가지는 장기의존성 문제를 해결하기 위해 LSTM (Long Short-Term Memory) 모델이 소개되었으며, 이번 글에서는 LSTM의 특징과 내부 구조에 대하여 설명한다. LSTM은 간단히 설명하자면, RNN의 변형 구조로써 게이트 메커니즘을 추가한 모델이라고 할 수 있다. RNN의 내부 구조에 입력 게이트, 망각 게이트, 출력 게이트를 추가하여 장기 의존성 문제를 해결하고자 한다. 이러한 LSTM의 구조는 다음의 그림과 같다. 기본적으로 입력층, 은닉층, 출력층이 연속된 시퀀스의 형태인 것은 RNN과 동일하다. 다만, 은닉층에서의 내부구조가 더 복잡하게 설계되어 있는 것을 알 수 있다...

> Hyperparameter 이전에 image classification을 위한 Nearest Neighbor Classifier에 대하여 설명하였다. NN 분류기의 확장된 아이디어 모델인 KNN 모델에서 사용자들은 K의 값을 설정함으로써 모델의 능력을 다르게 학습할 수 있다. 또한, NN 분류기를 위한 거리 계산 방법으로 L1, L2 distance에 대하여 설명하였는데, 어떤 계산 법을 사용하여 모델을 학습하였는지도 역시 사용자의 설정에 따라 학습 방법, 학습의 능력이 다르게 평가될 수 있다. 이처럼 사용자가 모델의 학습 능력을 선택하는 parameter를 hyperparameter 라고 한다. 즉, 모델을 설계하기 위한 부품들이라고 생각할 수 있다. 이러한 hyperparameter에는 정답이 없..

지난 글에서 확률변수의 개수에 따른 분포와 변환방법에 대하여 설명하였다. 이번 글에서는 아래의 목차에 대하여 설명할 예정이다. 5.4) 적률생성함수기법 5.5) 정규분포와 관련된 확률함수 오늘 설명할 5.4) 적률생성함수기법 은 이전 글 중 이산형 확률분포1 에서도 언급하기 때문에 참고해도 좋을 것 같다. 5.4) 적률생성함수기법 $Y = u(X_{1}, X_{2}, ..., X_{n})$에 대하여 $Y$의 적률생성함수는 $E[e^{tu(X_{1}, X_{2}, ..., X_{n})}]$으로 계산된다. 예제1) "확률변수 $X_{1}, X_{2}$를 서로 독립이고 공간 {1,2,3,4} 위에서 균일분포를 갖는다고 할 때, $Y = X_{1}+X_{2}$에 대한 $Y$의 mgf는?" $$M_{Y}(t) =..

Chap.5에서는 확률변수의 분포에 대하여 설명한다. 5.1) 한 확률변수의 분포(분포함수기법, 변수변환기법 등) 5.2) 두 확률변수의 변환 5.3) 여러확률변수 5.4) 적률생성함수기법 5.5) 정규분포와 관련된 확률함수(스튜던트 t 분포) 5.6) 중심극한정리 5.7) 이산형 분포의 근사(이항 분포, 포아송 분포) 5.8) 체비셰프 부등식과 확률수렴(체비셰프 부등식, 대수의 법칙) 목차는 위와 같으며, Chap.5에서는 많은 내용을 담고 있기 때문에 설명에 따라 나누어 설명할 예정이다. 이미 앞서 언급했던 내용도 포함하기 때문에 전체적으로 내용을 훑어보며 구체적인 분포의 성질을 정리한다. 5.1) 한 확률변수의 분포 연속형 확률변수 $X$에 대하여 $Y = u(X)$도 확률변수이기 때문에 이에 대한..