NLP/AI/Statistics

지난 글에서 점추정에 대하여 기술통계학, 순서통계량에 대하여 설명하였다. 이번에는 그 이후의 목차인 6.3) 최우추정 6.4) 충분통계량 6.5) 베이지안 추정 에 대하여 설명할 예정이다. 6.3) 최우추정 (Maximum likelihood estimation) 표본 평균 $\bar{x}$ = $m$의 추정치, 표본 분산 $s^{2}$ = 분산 $\sigma^{2}$의 추정치로 사용된다. 이 때 이러한 추정치들이 모수에 어느정도 정확한가를 보기 위해 최우추정을 한다. 모수공간(paramete space)란 확률밀도함수가 의존하는 모수의 공간을 의미한다. $$f(x;\theta) = (\frac{1}{\theta})e^{-\frac{x}{\theta}}, \ \ 0 < x < \infty$$ $$\the..

Chap.6에서는 점추정에 대하여 설명한다. 점추정이란 추정하고자 하는 모집단에서 임의로 추출된 n개 표본의 확률변수로 하나의 통계량을 만들고 주어진 표본으로부터 그 값을 계산하여 하나의 수치를 제시하기 위한 것이다. 점추정에 대하여 아래와 같은 목차로 설명할 예정이다. 6.1) 기술통계학 6.2) 순서통계량 6.3) 최우추정 6.4) 충분통계량 6.5) 베이지안 추정 이번 글에서는 각 통계량의 특성과 정의에 대하여 정리하면서 추정량과 추정치에 대하여 설명하기 때문에 이전보다 이해하기 쉬울 것으로 보인다. 6.1) 기술통계학 사전적으로 기술통계학은 측정이나 실험에서 수집한 자료의 정리, 표현, 요약, 해석 등을 통해 자료의 특성을 규명하는 통계적 방법을 의미한다. - wikipedia 실제로 확률실험을 ..

이전 글 (확률변수의 분포1, 확률변수의 분포2)에서 확률변수에 따른 분포 특성에 대해 설명하였다. 이번 글에서는 아래의 목차에 대하여 설명할 예정이다. 5.6) 중심극한정리 5.7) 이산형 분포의 근사(이항 분포) 5.8) 체비셰프 부등식과 확률수렴(체비셰프 부등식, 대수의 법칙) 5.6) 중심극한정리 중심극한정리는 통계에서 가장 자주 언급되는 특징이라고 할 수 있다. 우선, 평균 $m$, 분산 $\sigma^{2}$을 갖는 분포(꼭 정규분포가 아니어도 된다.)에서 추출한 크기 $n$인 확률 표본의 평균 $\bar{X}$는 $E(\bar{X}) = m, Var(\bar{X}) = \frac{\sigma^{2}}{n}$이다. 확률표본이 $N(m, \sigma^{2})$에서 추출되었을 때, $\bar{X}..

지난 글에서 확률변수의 개수에 따른 분포와 변환방법에 대하여 설명하였다. 이번 글에서는 아래의 목차에 대하여 설명할 예정이다. 5.4) 적률생성함수기법 5.5) 정규분포와 관련된 확률함수 오늘 설명할 5.4) 적률생성함수기법 은 이전 글 중 이산형 확률분포1 에서도 언급하기 때문에 참고해도 좋을 것 같다. 5.4) 적률생성함수기법 $Y = u(X_{1}, X_{2}, ..., X_{n})$에 대하여 $Y$의 적률생성함수는 $E[e^{tu(X_{1}, X_{2}, ..., X_{n})}]$으로 계산된다. 예제1) "확률변수 $X_{1}, X_{2}$를 서로 독립이고 공간 {1,2,3,4} 위에서 균일분포를 갖는다고 할 때, $Y = X_{1}+X_{2}$에 대한 $Y$의 mgf는?" $$M_{Y}(t) =..

Chap.5에서는 확률변수의 분포에 대하여 설명한다. 5.1) 한 확률변수의 분포(분포함수기법, 변수변환기법 등) 5.2) 두 확률변수의 변환 5.3) 여러확률변수 5.4) 적률생성함수기법 5.5) 정규분포와 관련된 확률함수(스튜던트 t 분포) 5.6) 중심극한정리 5.7) 이산형 분포의 근사(이항 분포, 포아송 분포) 5.8) 체비셰프 부등식과 확률수렴(체비셰프 부등식, 대수의 법칙) 목차는 위와 같으며, Chap.5에서는 많은 내용을 담고 있기 때문에 설명에 따라 나누어 설명할 예정이다. 이미 앞서 언급했던 내용도 포함하기 때문에 전체적으로 내용을 훑어보며 구체적인 분포의 성질을 정리한다. 5.1) 한 확률변수의 분포 연속형 확률변수 $X$에 대하여 $Y = u(X)$도 확률변수이기 때문에 이에 대한..

이전 글에 이어서 아래의 목차에 대하여 설명한다. 4.3) 조건부 분포 4.4) 연속형 이변량 분포 4.5) 이변량 정규분포 4.3) 조건부 분포 사상 $A = {X = x}, B = {Y = y}, (x, y) \in S$라 할 때, $A \cap B = {X = x, Y = y}$가 되며, 아래의 확률분포가 성립된다. $$P(A \cap B) = P(X= x, Y = y) = f(x, y)$$ 위의 식을 활용하여 $Y = y$가 주어졌을 때 $X$의 조건부 확률질량함수(conditional probability mass function)은 $g(x|y)$이다. $$g(x|y) = \frac{f(x,y)}{f_{Y}(y)}, f_{Y}(y) > 0$$ 이와 비슷하게 $X = x$가 주어졌을 때 $Y$의..

Chap4에서는 이변량 분포에 대하여 설명한다. 목차는 아래와 같이 구성된다. 4.1) 이산형 이변량 분포(결합확률질량함수, 주변확률질량함수) 4.2) 상관계수(공분산, 상관계수, 최소제곱 회귀직선) 4.3) 조건부 분포 4.4) 연속형 이변량 분포 4.5) 이변량 정규분포 우선, 이변량 분포는 두 확률변수에 대한 결합 확률 분포를 의미하며 빈도 분석, 단순상관 분석, 회귀 분석 등이 이변량 분포의 형태를 나타내는 분석기법이다. 4.1) 이산형 이변량 분포 이산형 확률공간에서 정의된 두 개의 확률 변수 $X$, $Y$에 대하여, $X$와 $Y$에 대응하는 2차원 공간을 $s$라고 할 때, $X = x, Y= y$인 확률을 $f(x, y) = P(X=x, Y=y)$라고 표현한다. 이때 $f(x, y)$는 ..

Chap3에서는 연속형 확률분포에 대하여 설명하고자 한다. 연속형 확률변수에 대하여 아래와 같이 설명할 예정이다. 3.1) 연속형 확률변수 (균일분포, 확률밀도함수, 백분위수) 3.2) 지수, 감마, 카이제곱분포 (지수분포, 감마분포, 카이제곱분포) 3.3) 정규분포 (정규분포, 표준정규분포) 3.1) 연속형 확률변수 정수와 같이 명확한 값을 변수값으로 갖는 이산형 확률변수와 달리, 연속형 확률변수는 명확한 값을 갖지 않는다. 확률 변수 $X$가 구간 $[a,b], -\infty < a < b < \infty$로부터 임의로 선택된 하나의 점의 위치라고 할 때, $[a,x], a \leq x < b$로부터 선택될 확률은 $\frac{x-a}{b-a}$이다. 이 때 $X$의 cdf는 다음과 같다. $$F(x..

이전 글에서 2.3 까지의 이산형 확률변수에 대하여 설명하였다. 이번에는 그 이후의 각 종 분포에 대하여 설명하고자 한다. 2.1) 이산형 확률변수 (확률변수, 이산형 확률변수) 2.2) 수학적 기댓값 (수학적 기댓값, 선형변환과 기댓값) 2.3) 특별한 수학적 기댓값 (평균, 분산, 적률생성함수) 2.4) 이항분포 (이항분포, 베르누이 분포) 2.5) 초기하분포 2.6) 음이항분포 2.7) 포아송분포 2.4) 이항분포(Binomial Distribution) 이항분포를 설명하기 이전에, 베르누이 실험에 대하여 이해할 필요가 있다. 베르누이 실험(Bernoulli experiment)은 상호배타적이고 전체를 포괄하는 두 결과 중 하나로 나타나는 확률실험을 일컫는다. 예시) "하루에 복권에 당첨될 확률이 ..

Chap.2에서는 이산형 확률분포에 대하여 설명하고자 한다. 목차는 아래와 같으며, 해당 글에는 2.3 까지 설명할 예정이다. 2.1) 이산형 확률변수 (확률변수, 이산형 확률변수) 2.2) 수학적 기댓값 (수학적 기댓값, 선형변환과 기댓값) 2.3) 특별한 수학적 기댓값 (평균, 분산, 적률생성함수) 2.4) 이항분포 (이항분포, 베르누이 분포) 2.5) 초기하분포 2.6) 음이항분포 2.7) 포아송분포 2.1) 이산형 확률변수 표본공간 $s$를 갖는 확률실험에서 각 원소 $s \in S$에 대하여 "오직 하나의 실수 $X(s) = x$를 대응시키는 함수 $X$"를 확률변수(random variable)이라고 한다. 이 때 $X$의 공간(space)은 실수의 집합 ${x:X(s) = x, s \in S..