[수리통계]Chap.2 이산형 확률분포1 (기댓값)

Chap.2에서는 이산형 확률분포에 대하여 설명하고자 한다.

 

목차는 아래와 같으며, 해당 글에는 2.3 까지 설명할 예정이다.

 

2.1) 이산형 확률변수 (확률변수, 이산형 확률변수)

2.2) 수학적 기댓값 (수학적 기댓값, 선형변환과 기댓값)

2.3) 특별한 수학적 기댓값 (평균, 분산, 적률생성함수)

2.4) 이항분포 (이항분포, 베르누이 분포)

2.5) 초기하분포

2.6) 음이항분포

2.7) 포아송분포

 

2.1) 이산형 확률변수

 

표본공간 $s$를 갖는 확률실험에서 각 원소 $s \in S$에 대하여

"오직 하나의 실수 $X(s) = x$를 대응시키는 함수 $X$"를 확률변수(random variable)이라고 한다.

 

이 때 $X$의 공간(space)은 실수의 집합 ${x:X(s) = x, s \in S}$ 이다.

 

예제1)

"주사위를 두 개 던지는 확률실험에서 확률변수 $X$를 두 눈의 합으로 정의하자."

 

1) $S = {(1,1), (1,2), (1,3), ..., (6,5), (6,6)}$

2) $X(s) = X((1,1)) = 2, X((1,2)) = 3, ..., X(6,5)) = 11, X((6,6)) = 12$

3) $P(X=5)) = P((1,4), (2,3), (3,2), (4,1)) = \frac{4}{36}$

 

공간 $S$가 유한이거나 $S$의 원소를 셀 수 있을 때

확률 변수 $X$를 이산형 확률변수(discrete random variable)라고 하며,

 

특정 값일 확률을 나타내는 함수를 확률질량함수(probability mass function; pmf)라고 한다.

 

$$f(x) = P(X=x)$$

 

확률질량함수 $f(x)$를 만족하는 함수는 아래와 같다.

 

a) $f(x) > 0, x \in S$

b) $\sum_{x \in S} f(x)=1$

c) $P(X \in A) = \sum_{x \in A} f(x), A \subset S$

 

특정 값의 확률을 나타내는 확률 질량 함수와 달리,

확률 변수가 특정 값보다 작거나 같은 확률을 나타내는 함수를 누적분포함수(cumulative distribution function; cdf)라고 한다.

$$ F(x) = P(X \leq x), -\infty < x< \infty$$

 

2.2) 수학적 기댓값

 

공간 $S$를 갖는 이산형 확률 변수 $X$의 pmf가 $f(x)$이고 $\sum_{x \in S} u(x)f(x)$가 존재할 때,

 

그 합을 $u(X)$의 수학적 기댓값(mathematical expectation) 혹은 기댓값(expected value) = $E(u(X))$이라고 한다.

 

$$ E(u(X)) = \sum_{x \in S} u(x)f(x)$$

 

예제1)

 

"확률 변수 $X$는 pmf $f(x) = \frac{1}{3}, x \in S_x = {-1, 0, 1}$을 갖는다.

이 때, $u(X) X^2$의 기댓값은?"

 

$$\sum x^2f(x) = (-1)^2\frac{1}{3} + 0^2\frac{1}{3} + 1^2\frac{1}{3} = \frac{2}{3}$$

 

수학적 기댓값 $E$가 존재하는 경우 만족하는 성질들은 다음과 같으며

아래의 성질들에 의해 기댓값 $E$를 선형연산자(linear operator)라고 한다.

 

a) $c$가 상수이면, $E(c) = c$

b) $c$가 상수이고 $u$가 함수이면, $E[cu(X)] = cE[u(X)]$

c) $c_1$과 $c_2$가 상수이고 $u_1$과 $u_2$가 함수이면, 

   $E[c_{1}u_{1}(X) + c_{2}u_{2}(X)] = c_{1}E[u_{1}(X)] + c_{2}E[u_{2}(X)]$

 

예제2)

 

"확률변수 $X$의 pmf가 $f(x) = \frac{x}{10}, x = 1,2,3,4$로 주어진다."

 

1) $m = E(X) = 1\frac{1}{10} + 2\frac{2}{10} + 3\frac{3}{10} + 4\frac{4}{10} = 3$

2) $E(X^2) = 1^2\frac{1}{10} + 2^2\frac{2}{10} + 3^2\frac{3}{10} + 4^2\frac{4}{10} = 10$

3) $E[X(5-X)] = E[5X-X^2] = 5E(X) - E(X^2) = 5*3 - 10 = 5$

 

2.3) 특별한 수학적 기댓값

 

기댓값과 동일한 역할로써 사용되는 통계량으로 평균과 분산이 있다.

 

평균(mean): $m = E(X) = \sum_{x \in S}xf(x)$

분산(variance): $\sigma^2 = E[(X-m)^2] = \sum_{x \in S}(x-m)^2f(x)$

                                   $= E(X^2) - 2mE(X) + m^2$

                                   $= E(X^2) - m^2$

 

예제1)

 

"1에서 m까지의 양의 정수 위에서 균일분포를 갖는 확률변수 $X$의 평균과 분산은?"

 

$$m = E(X) = \sum_{x=1}^{m}x\frac{1}{m} = \frac{m(m+1)}{2}\frac{1}{m} = \frac{m+1}{2}$$

$$E(X^2) = \sum_{x=1}^{m}x^2\frac{1}{m} = \frac{m(m+1)(2m+1)}{6}\frac{1}{m} = \frac{(m+1)(2m+1)}{6}$$

$$E(X^2) -m^2 = \frac{(m+1)(2m+1)}{6} - \frac{(m+1)^2}{2^2} = \frac{(m+1)(m-1)}{12}$$

 

평균: $\frac{m+1}{2}$

분산: $\frac{(m+1)(m-1)}{12}$

 

#. 1부터 m까지의 합: $\sum_{x=1}^{m}x = \frac{2}{m(m+1)}$

   1부터 m까지의 제곱합 = $\sum_{x=1}^{m}x^2 = \frac{6}{m(m+1)(2m+1)}$

 

 

r이 양의 정수이고 $E(X^r) = \sum_{x \in S} x^{r}f(x)$ 가 유한으로 존재하면,

$E(X^r)$을 원점에 관해 분포의 r차 적률(moment)라고 한다.

 

$X$를 이산형 pmf $f(x)$와 공간 $S$를 가지는 확률변수라고 할 때, 

$-h < x < h, h > 0$을 만족하는 $t$에 대하여 기댓값은 다음과 같다.

 

$$E(e^{tX}) = \sum_{x \in S}e^{tX}f(x)$$

 

위의 $E(e^{tX})가 존재하고 유한하다면, 

 

$M(t) = E(e^{tX})$ 를 $X$(혹은 $X$의 분포)의 적률생성함수(moment generating function; mgf)라고 한다.

 

이산형 확률변수의 적률생성함수는 확률변수의 분포를 유일하게 결정하는 특성을 갖는다.

즉, mgf가 존재하면 mgf에 상응하는 오직 하나의 확률분포가 존재한다.

 

$-h < t < h$에 대하여 $M(t)$가 존재하면, $M(t)$에 대한 모든 차수의 도함수가 $t=0$에서 존재한다.

 

$M^{(r)}(t)$를 $M(t)$의 r차 도함수라고 할 때, 아래와 같은 특성을 나타낼 수 있다. 

 

$$M^{(r)}(0) = \sum_{x \in S}x^{r}f(x) = E(X^{r})$$

 

$$m = M'(0) = E(X)$$

$$\sigma^2 = M''(0) - [M'(0)]^2$$

 

위의 $M(t) = E(e^{tX})$의 도함수 값은 아래와 같이 증명된다.

 

$$M(t) = E(e^{tx}) = \sum_{x \in S} e^{tx}f(x)$$

 

$$M'(t) = \frac{\partial}{\partial t}[\sum_{x \in S} e^{tx}f(x)] = \sum_{x \in S}xe^{tx}f(x)$$

$$M'(0) = \sum_{x \in S}xf(x) = E(X)$$

 

$$M''(t) = \frac{\partial}{\partial t}\sum_{x \in S}xe^{tx}f(x) = \sum_{x \in S}x^{2}e^{tx}f(x)$$

$$M'(0) = \sum_{x \in S}x^{2}f(x) = E(X^2)$$

 

# $e^0 = 1$