NLP/AI/Statistics

Sequence to sequence 모델은 seq2seq로도 불리기 때문에 앞으로의 글에서 sequence to sequence 모델을 seq2seq로 칭하기로 한다. seq2seq는 흔히 기계번역, 챗봇, 요약 등과 같이 입력 시퀀스로부터 출력 시퀀스를 내보내는 모델이다. 즉, 연속된 한국어 문장을 모델에 입력하여 학습한 뒤, 연속된 영어 문장을 출력하는 기계번역의 형태이거나 질문을 모델에 입력하여 학습한 뒤, 답변을 출력하는 QA의 형태로 활용된다. 여기에서 입력 문장은 인코더(encoder)에 입력되고 출력 문장은 디코더(decoder)로부터 출력된다. 이를 도식화하면 다음과 같다. #. 인코더(encoder): 연속된 입력 문장을 이용하여 context vector를 구성 #. 디코더(decod..

지난 글에서 점추정에 대하여 기술통계학, 순서통계량에 대하여 설명하였다. 이번에는 그 이후의 목차인 6.3) 최우추정 6.4) 충분통계량 6.5) 베이지안 추정 에 대하여 설명할 예정이다. 6.3) 최우추정 (Maximum likelihood estimation) 표본 평균 $\bar{x}$ = $m$의 추정치, 표본 분산 $s^{2}$ = 분산 $\sigma^{2}$의 추정치로 사용된다. 이 때 이러한 추정치들이 모수에 어느정도 정확한가를 보기 위해 최우추정을 한다. 모수공간(paramete space)란 확률밀도함수가 의존하는 모수의 공간을 의미한다. $$f(x;\theta) = (\frac{1}{\theta})e^{-\frac{x}{\theta}}, \ \ 0 < x < \infty$$ $$\the..

sftp는 ssh 방식을 이용하여 안전하게 암호화된 구간에서 ftp 기능을 이용하는 접근방법이다. ftp와 ssh에 대한 개념은 https://nhj12311.tistory.com/76블로그에서 잘 설명되어 있기 때문에 참고하면 좋을 듯하다. sftp를 이용하여 서버에 접속하는 방법은 다음과 같다. $ sftp -P portnumber hostname@host_ip 위와 같이 접속하고자 하는 계정의 port 번호(portnumber)와 계정 이름(hostname), ip 주소(host_ip)를 이용하여 접근이 가능하며, 접속되면 sftp> 로 시작되어 접속이 가능해진다. sftp를 이용하여 파일을 다운로드하고 업로드하는 방법을 알아보았다. 1) 파일 다운로드 $ sftp> get file_name sft..

Chap.6에서는 점추정에 대하여 설명한다. 점추정이란 추정하고자 하는 모집단에서 임의로 추출된 n개 표본의 확률변수로 하나의 통계량을 만들고 주어진 표본으로부터 그 값을 계산하여 하나의 수치를 제시하기 위한 것이다. 점추정에 대하여 아래와 같은 목차로 설명할 예정이다. 6.1) 기술통계학 6.2) 순서통계량 6.3) 최우추정 6.4) 충분통계량 6.5) 베이지안 추정 이번 글에서는 각 통계량의 특성과 정의에 대하여 정리하면서 추정량과 추정치에 대하여 설명하기 때문에 이전보다 이해하기 쉬울 것으로 보인다. 6.1) 기술통계학 사전적으로 기술통계학은 측정이나 실험에서 수집한 자료의 정리, 표현, 요약, 해석 등을 통해 자료의 특성을 규명하는 통계적 방법을 의미한다. - wikipedia 실제로 확률실험을 ..

머신러닝, 딥러닝과 같은 인공지능 연구에서는 두 가지 중요한 요소에 대한 이해가 필요하다. 1. Score function 2. Loss function 학습 데이터로 모델을 학습하고 평가 데이터로 학습된 모델을 평가하는 과정에서 해당 평가 결과에 대한 성능을 측정하는 성능 지표로써의 score function과 예측 결과와 실제 결과의 차이를 의미하는 loss function에 대한 개념이 나타난다. 특히, loss function에서는 모델의 최적점을 찾아 예측 값과 실제 값의 차이인 loss를 최소화하는 것을 목적으로 모델 학습을 진행해야하기 때문에 이에 대한 이해가 중요하다. > Parameterized mapping from images to label scores 우선 이번 글에서는 score..

이전 글 (확률변수의 분포1, 확률변수의 분포2)에서 확률변수에 따른 분포 특성에 대해 설명하였다. 이번 글에서는 아래의 목차에 대하여 설명할 예정이다. 5.6) 중심극한정리 5.7) 이산형 분포의 근사(이항 분포) 5.8) 체비셰프 부등식과 확률수렴(체비셰프 부등식, 대수의 법칙) 5.6) 중심극한정리 중심극한정리는 통계에서 가장 자주 언급되는 특징이라고 할 수 있다. 우선, 평균 $m$, 분산 $\sigma^{2}$을 갖는 분포(꼭 정규분포가 아니어도 된다.)에서 추출한 크기 $n$인 확률 표본의 평균 $\bar{X}$는 $E(\bar{X}) = m, Var(\bar{X}) = \frac{\sigma^{2}}{n}$이다. 확률표본이 $N(m, \sigma^{2})$에서 추출되었을 때, $\bar{X}..

앞에서 기본적인 순환신경망인 RNN(Recurrent Neural Network)에 대하여 설명하였다. RNN이 가지는 장기의존성 문제를 해결하기 위해 LSTM (Long Short-Term Memory) 모델이 소개되었으며, 이번 글에서는 LSTM의 특징과 내부 구조에 대하여 설명한다. LSTM은 간단히 설명하자면, RNN의 변형 구조로써 게이트 메커니즘을 추가한 모델이라고 할 수 있다. RNN의 내부 구조에 입력 게이트, 망각 게이트, 출력 게이트를 추가하여 장기 의존성 문제를 해결하고자 한다. 이러한 LSTM의 구조는 다음의 그림과 같다. 기본적으로 입력층, 은닉층, 출력층이 연속된 시퀀스의 형태인 것은 RNN과 동일하다. 다만, 은닉층에서의 내부구조가 더 복잡하게 설계되어 있는 것을 알 수 있다...

> Hyperparameter 이전에 image classification을 위한 Nearest Neighbor Classifier에 대하여 설명하였다. NN 분류기의 확장된 아이디어 모델인 KNN 모델에서 사용자들은 K의 값을 설정함으로써 모델의 능력을 다르게 학습할 수 있다. 또한, NN 분류기를 위한 거리 계산 방법으로 L1, L2 distance에 대하여 설명하였는데, 어떤 계산 법을 사용하여 모델을 학습하였는지도 역시 사용자의 설정에 따라 학습 방법, 학습의 능력이 다르게 평가될 수 있다. 이처럼 사용자가 모델의 학습 능력을 선택하는 parameter를 hyperparameter 라고 한다. 즉, 모델을 설계하기 위한 부품들이라고 생각할 수 있다. 이러한 hyperparameter에는 정답이 없..

지난 글에서 확률변수의 개수에 따른 분포와 변환방법에 대하여 설명하였다. 이번 글에서는 아래의 목차에 대하여 설명할 예정이다. 5.4) 적률생성함수기법 5.5) 정규분포와 관련된 확률함수 오늘 설명할 5.4) 적률생성함수기법 은 이전 글 중 이산형 확률분포1 에서도 언급하기 때문에 참고해도 좋을 것 같다. 5.4) 적률생성함수기법 $Y = u(X_{1}, X_{2}, ..., X_{n})$에 대하여 $Y$의 적률생성함수는 $E[e^{tu(X_{1}, X_{2}, ..., X_{n})}]$으로 계산된다. 예제1) "확률변수 $X_{1}, X_{2}$를 서로 독립이고 공간 {1,2,3,4} 위에서 균일분포를 갖는다고 할 때, $Y = X_{1}+X_{2}$에 대한 $Y$의 mgf는?" $$M_{Y}(t) =..

Chap.5에서는 확률변수의 분포에 대하여 설명한다. 5.1) 한 확률변수의 분포(분포함수기법, 변수변환기법 등) 5.2) 두 확률변수의 변환 5.3) 여러확률변수 5.4) 적률생성함수기법 5.5) 정규분포와 관련된 확률함수(스튜던트 t 분포) 5.6) 중심극한정리 5.7) 이산형 분포의 근사(이항 분포, 포아송 분포) 5.8) 체비셰프 부등식과 확률수렴(체비셰프 부등식, 대수의 법칙) 목차는 위와 같으며, Chap.5에서는 많은 내용을 담고 있기 때문에 설명에 따라 나누어 설명할 예정이다. 이미 앞서 언급했던 내용도 포함하기 때문에 전체적으로 내용을 훑어보며 구체적인 분포의 성질을 정리한다. 5.1) 한 확률변수의 분포 연속형 확률변수 $X$에 대하여 $Y = u(X)$도 확률변수이기 때문에 이에 대한..