NLP/AI/Statistics

Sequence to sequence 모델은 seq2seq로도 불리기 때문에 앞으로의 글에서 sequence to sequence 모델을 seq2seq로 칭하기로 한다. seq2seq는 흔히 기계번역, 챗봇, 요약 등과 같이 입력 시퀀스로부터 출력 시퀀스를 내보내는 모델이다. 즉, 연속된 한국어 문장을 모델에 입력하여 학습한 뒤, 연속된 영어 문장을 출력하는 기계번역의 형태이거나 질문을 모델에 입력하여 학습한 뒤, 답변을 출력하는 QA의 형태로 활용된다. 여기에서 입력 문장은 인코더(encoder)에 입력되고 출력 문장은 디코더(decoder)로부터 출력된다. 이를 도식화하면 다음과 같다. #. 인코더(encoder): 연속된 입력 문장을 이용하여 context vector를 구성 #. 디코더(decod..

지난 글에서 점추정에 대하여 기술통계학, 순서통계량에 대하여 설명하였다. 이번에는 그 이후의 목차인 6.3) 최우추정 6.4) 충분통계량 6.5) 베이지안 추정 에 대하여 설명할 예정이다. 6.3) 최우추정 (Maximum likelihood estimation) 표본 평균 $\bar{x}$ = $m$의 추정치, 표본 분산 $s^{2}$ = 분산 $\sigma^{2}$의 추정치로 사용된다. 이 때 이러한 추정치들이 모수에 어느정도 정확한가를 보기 위해 최우추정을 한다. 모수공간(paramete space)란 확률밀도함수가 의존하는 모수의 공간을 의미한다. $$f(x;\theta) = (\frac{1}{\theta})e^{-\frac{x}{\theta}}, \ \ 0 < x < \infty$$ $$\the..

sftp는 ssh 방식을 이용하여 안전하게 암호화된 구간에서 ftp 기능을 이용하는 접근방법이다. ftp와 ssh에 대한 개념은 https://nhj12311.tistory.com/76블로그에서 잘 설명되어 있기 때문에 참고하면 좋을 듯하다. sftp를 이용하여 서버에 접속하는 방법은 다음과 같다. $ sftp -P portnumber hostname@host_ip 위와 같이 접속하고자 하는 계정의 port 번호(portnumber)와 계정 이름(hostname), ip 주소(host_ip)를 이용하여 접근이 가능하며, 접속되면 sftp> 로 시작되어 접속이 가능해진다. sftp를 이용하여 파일을 다운로드하고 업로드하는 방법을 알아보았다. 1) 파일 다운로드 $ sftp> get file_name sft..

Chap.6에서는 점추정에 대하여 설명한다. 점추정이란 추정하고자 하는 모집단에서 임의로 추출된 n개 표본의 확률변수로 하나의 통계량을 만들고 주어진 표본으로부터 그 값을 계산하여 하나의 수치를 제시하기 위한 것이다. 점추정에 대하여 아래와 같은 목차로 설명할 예정이다. 6.1) 기술통계학 6.2) 순서통계량 6.3) 최우추정 6.4) 충분통계량 6.5) 베이지안 추정 이번 글에서는 각 통계량의 특성과 정의에 대하여 정리하면서 추정량과 추정치에 대하여 설명하기 때문에 이전보다 이해하기 쉬울 것으로 보인다. 6.1) 기술통계학 사전적으로 기술통계학은 측정이나 실험에서 수집한 자료의 정리, 표현, 요약, 해석 등을 통해 자료의 특성을 규명하는 통계적 방법을 의미한다. - wikipedia 실제로 확률실험을 ..

머신러닝, 딥러닝과 같은 인공지능 연구에서는 두 가지 중요한 요소에 대한 이해가 필요하다. 1. Score function 2. Loss function 학습 데이터로 모델을 학습하고 평가 데이터로 학습된 모델을 평가하는 과정에서 해당 평가 결과에 대한 성능을 측정하는 성능 지표로써의 score function과 예측 결과와 실제 결과의 차이를 의미하는 loss function에 대한 개념이 나타난다. 특히, loss function에서는 모델의 최적점을 찾아 예측 값과 실제 값의 차이인 loss를 최소화하는 것을 목적으로 모델 학습을 진행해야하기 때문에 이에 대한 이해가 중요하다. > Parameterized mapping from images to label scores 우선 이번 글에서는 score..