NLP/AI/Statistics

지난 글에서 점추정에 대하여 기술통계학, 순서통계량에 대하여 설명하였다. 이번에는 그 이후의 목차인 6.3) 최우추정 6.4) 충분통계량 6.5) 베이지안 추정 에 대하여 설명할 예정이다. 6.3) 최우추정 (Maximum likelihood estimation) 표본 평균 $\bar{x}$ = $m$의 추정치, 표본 분산 $s^{2}$ = 분산 $\sigma^{2}$의 추정치로 사용된다. 이 때 이러한 추정치들이 모수에 어느정도 정확한가를 보기 위해 최우추정을 한다. 모수공간(paramete space)란 확률밀도함수가 의존하는 모수의 공간을 의미한다. $$f(x;\theta) = (\frac{1}{\theta})e^{-\frac{x}{\theta}}, \ \ 0 < x < \infty$$ $$\the..

Chap.6에서는 점추정에 대하여 설명한다. 점추정이란 추정하고자 하는 모집단에서 임의로 추출된 n개 표본의 확률변수로 하나의 통계량을 만들고 주어진 표본으로부터 그 값을 계산하여 하나의 수치를 제시하기 위한 것이다. 점추정에 대하여 아래와 같은 목차로 설명할 예정이다. 6.1) 기술통계학 6.2) 순서통계량 6.3) 최우추정 6.4) 충분통계량 6.5) 베이지안 추정 이번 글에서는 각 통계량의 특성과 정의에 대하여 정리하면서 추정량과 추정치에 대하여 설명하기 때문에 이전보다 이해하기 쉬울 것으로 보인다. 6.1) 기술통계학 사전적으로 기술통계학은 측정이나 실험에서 수집한 자료의 정리, 표현, 요약, 해석 등을 통해 자료의 특성을 규명하는 통계적 방법을 의미한다. - wikipedia 실제로 확률실험을 ..

이전 글 (확률변수의 분포1, 확률변수의 분포2)에서 확률변수에 따른 분포 특성에 대해 설명하였다. 이번 글에서는 아래의 목차에 대하여 설명할 예정이다. 5.6) 중심극한정리 5.7) 이산형 분포의 근사(이항 분포) 5.8) 체비셰프 부등식과 확률수렴(체비셰프 부등식, 대수의 법칙) 5.6) 중심극한정리 중심극한정리는 통계에서 가장 자주 언급되는 특징이라고 할 수 있다. 우선, 평균 $m$, 분산 $\sigma^{2}$을 갖는 분포(꼭 정규분포가 아니어도 된다.)에서 추출한 크기 $n$인 확률 표본의 평균 $\bar{X}$는 $E(\bar{X}) = m, Var(\bar{X}) = \frac{\sigma^{2}}{n}$이다. 확률표본이 $N(m, \sigma^{2})$에서 추출되었을 때, $\bar{X}..

지난 글에서 확률변수의 개수에 따른 분포와 변환방법에 대하여 설명하였다. 이번 글에서는 아래의 목차에 대하여 설명할 예정이다. 5.4) 적률생성함수기법 5.5) 정규분포와 관련된 확률함수 오늘 설명할 5.4) 적률생성함수기법 은 이전 글 중 이산형 확률분포1 에서도 언급하기 때문에 참고해도 좋을 것 같다. 5.4) 적률생성함수기법 $Y = u(X_{1}, X_{2}, ..., X_{n})$에 대하여 $Y$의 적률생성함수는 $E[e^{tu(X_{1}, X_{2}, ..., X_{n})}]$으로 계산된다. 예제1) "확률변수 $X_{1}, X_{2}$를 서로 독립이고 공간 {1,2,3,4} 위에서 균일분포를 갖는다고 할 때, $Y = X_{1}+X_{2}$에 대한 $Y$의 mgf는?" $$M_{Y}(t) =..

Chap.5에서는 확률변수의 분포에 대하여 설명한다. 5.1) 한 확률변수의 분포(분포함수기법, 변수변환기법 등) 5.2) 두 확률변수의 변환 5.3) 여러확률변수 5.4) 적률생성함수기법 5.5) 정규분포와 관련된 확률함수(스튜던트 t 분포) 5.6) 중심극한정리 5.7) 이산형 분포의 근사(이항 분포, 포아송 분포) 5.8) 체비셰프 부등식과 확률수렴(체비셰프 부등식, 대수의 법칙) 목차는 위와 같으며, Chap.5에서는 많은 내용을 담고 있기 때문에 설명에 따라 나누어 설명할 예정이다. 이미 앞서 언급했던 내용도 포함하기 때문에 전체적으로 내용을 훑어보며 구체적인 분포의 성질을 정리한다. 5.1) 한 확률변수의 분포 연속형 확률변수 $X$에 대하여 $Y = u(X)$도 확률변수이기 때문에 이에 대한..

이전 글에 이어서 아래의 목차에 대하여 설명한다. 4.3) 조건부 분포 4.4) 연속형 이변량 분포 4.5) 이변량 정규분포 4.3) 조건부 분포 사상 $A = {X = x}, B = {Y = y}, (x, y) \in S$라 할 때, $A \cap B = {X = x, Y = y}$가 되며, 아래의 확률분포가 성립된다. $$P(A \cap B) = P(X= x, Y = y) = f(x, y)$$ 위의 식을 활용하여 $Y = y$가 주어졌을 때 $X$의 조건부 확률질량함수(conditional probability mass function)은 $g(x|y)$이다. $$g(x|y) = \frac{f(x,y)}{f_{Y}(y)}, f_{Y}(y) > 0$$ 이와 비슷하게 $X = x$가 주어졌을 때 $Y$의..

Chap3에서는 연속형 확률분포에 대하여 설명하고자 한다. 연속형 확률변수에 대하여 아래와 같이 설명할 예정이다. 3.1) 연속형 확률변수 (균일분포, 확률밀도함수, 백분위수) 3.2) 지수, 감마, 카이제곱분포 (지수분포, 감마분포, 카이제곱분포) 3.3) 정규분포 (정규분포, 표준정규분포) 3.1) 연속형 확률변수 정수와 같이 명확한 값을 변수값으로 갖는 이산형 확률변수와 달리, 연속형 확률변수는 명확한 값을 갖지 않는다. 확률 변수 $X$가 구간 $[a,b], -\infty < a < b < \infty$로부터 임의로 선택된 하나의 점의 위치라고 할 때, $[a,x], a \leq x < b$로부터 선택될 확률은 $\frac{x-a}{b-a}$이다. 이 때 $X$의 cdf는 다음과 같다. $$F(x..

이전 글에서 2.3 까지의 이산형 확률변수에 대하여 설명하였다. 이번에는 그 이후의 각 종 분포에 대하여 설명하고자 한다. 2.1) 이산형 확률변수 (확률변수, 이산형 확률변수) 2.2) 수학적 기댓값 (수학적 기댓값, 선형변환과 기댓값) 2.3) 특별한 수학적 기댓값 (평균, 분산, 적률생성함수) 2.4) 이항분포 (이항분포, 베르누이 분포) 2.5) 초기하분포 2.6) 음이항분포 2.7) 포아송분포 2.4) 이항분포(Binomial Distribution) 이항분포를 설명하기 이전에, 베르누이 실험에 대하여 이해할 필요가 있다. 베르누이 실험(Bernoulli experiment)은 상호배타적이고 전체를 포괄하는 두 결과 중 하나로 나타나는 확률실험을 일컫는다. 예시) "하루에 복권에 당첨될 확률이 ..

Chap.2에서는 이산형 확률분포에 대하여 설명하고자 한다. 목차는 아래와 같으며, 해당 글에는 2.3 까지 설명할 예정이다. 2.1) 이산형 확률변수 (확률변수, 이산형 확률변수) 2.2) 수학적 기댓값 (수학적 기댓값, 선형변환과 기댓값) 2.3) 특별한 수학적 기댓값 (평균, 분산, 적률생성함수) 2.4) 이항분포 (이항분포, 베르누이 분포) 2.5) 초기하분포 2.6) 음이항분포 2.7) 포아송분포 2.1) 이산형 확률변수 표본공간 $s$를 갖는 확률실험에서 각 원소 $s \in S$에 대하여 "오직 하나의 실수 $X(s) = x$를 대응시키는 함수 $X$"를 확률변수(random variable)이라고 한다. 이 때 $X$의 공간(space)은 실수의 집합 ${x:X(s) = x, s \in S..

이전에는 통계 분석 방법론에 대한 개념과 어떠한 상황에서 어떠한 통계 분석 방법론을 사용해야하는지에 대하여 설명했다. 이제는 수리 통계적 접근 방법에 따라 통계를 다시 한번 더 공부해보고자 한다. Chap.1은 다음과 같이 설명할 예정이다. 1.1) 확률의 성질 1.2) 경우의 수 1.3) 조건부 확률 1.4) 독립사상 1.5) 베이즈 정리 1.1) 확률의 성질 확률 실험은 시행 전에 그 결과를 예측할 수 없지만 가능한 결과의 집합을 확정할 수 있다. 표본 공간은 확률 실험에서 가능한 모든 결과의 집합을 의미하며 표본 공간에 속하는 요소들의 부분 집합을 사상이라고 한다. 예를 들어, 두 개의 동전의 앞(F)과 뒤(B)에 대한 모든 표본 공간은 $S = {(F, F), (F, B), (B, F), (B, ..