[수리통계]Chap.5 확률변수의 분포1

Chap.5에서는 확률변수의 분포에 대하여 설명한다.

 

5.1) 한 확률변수의 분포(분포함수기법, 변수변환기법 등)

5.2) 두 확률변수의 변환

5.3) 여러확률변수

5.4) 적률생성함수기법

5.5) 정규분포와 관련된 확률함수(스튜던트 t 분포)

5.6) 중심극한정리

5.7) 이산형 분포의 근사(이항 분포, 포아송 분포)

5.8) 체비셰프 부등식과 확률수렴(체비셰프 부등식, 대수의 법칙)

 

목차는 위와 같으며, Chap.5에서는 많은 내용을 담고 있기 때문에 설명에 따라 나누어 설명할 예정이다.

 

이미 앞서 언급했던 내용도 포함하기 때문에 전체적으로 내용을 훑어보며 구체적인 분포의 성질을 정리한다.

 

5.1) 한 확률변수의 분포

 

연속형 확률변수 $X$에 대하여 $Y = u(X)$도 확률변수이기 때문에 이에 대한 확률분포를 가진다.

 

즉, $Y$에 대한 확률분포는 아래와 같다.

 

$$G(y) = P(Y \leq y) = P[u(X) \leq y]$$

 

이 때 pdf는 $g(y) = G'(y)$이다.

 

하나의 확률변수의 분포를 나타내는 기법으로 분포 함수 기법(distribution function technique)가 있다.

 

$G(y)$를 구한 후 pdf인 $g(y) = G'(y)$를 활용하는 방법을 의미한다.

 

예제)

 

"확률변수 $X$가 $f(x) = 3x^{2}, \ 0 < x < 1$를 가진다고 할 때, 

$Y = X^{2}$의 pdf는?"

 

$Y$가 확률 변수 $X$의 증가함수고 $0 < y < 1$이기 때문에 $Y$의 cdf는 다음과 같다.

 

$$G(y) = P(Y \leq y) = P(X^{2} < y) = P(X < y^{\frac{1}{2}}) = F(y^{\frac{1}{2}})$$

$$= \int^{y^{\frac{1}{2}}}_{0} 3t^{2}dt = y^{\frac{3}{2}}, \ \ 0 < y < 1$$

#. 이 때 $G(y)$는 y의 cdf, $F(x)$는 x의 cdf이다.

 

이에 따라 $Y$의 pdf는 다음과 같다.

 

$$g(y) = \frac{3}{2} y^{\frac{1}{2}}, \ \ 0 < y < 1$$

 

분포 함수 기법 이외에 변수 변환 기법(change of variable technique)을 활용하여 확률 변수의 분포를 표현할 수 있다.

 

$X$를 공간 $c_{1} < x < c_{2}$ 에서 pdf $f(x)$를 갖는 연속형 확률변수라고 할 때, 

 

$X$의 연속인 증가함수 혹은 감소함수인 $Y = u(X)$ 의 역함수를 $X = u(Y)$라고 하면

 

$X$의 공간은 $Y$의 공간 $d_{1} = u(c_{1}) < y < d_{2} = u(c_{2})$로 매핑된다.

 

이 때 $Y$의 pdf는 다음과 같다. 

 

1) $u(x)$가 증가함수 일 때,

 

$$G(y) = P(Y \leq y) = P(u(X) \leq y)$$

$$= P(X \leq u^{-1}(y))$$

$$= \int^{u^{-1}(y)}_{c_{1}} f(x)dx$$

 

이 때, $u^{-1}(y) = v(y)$

 

$$g(y) = f(v(y))*v'(y)$$

 

2) $u(x)$가 감소함수 일 때,

 

$$G(y) = P(Y \leq y) = P(u(X) \leq y)$$

$$= P(X \geq u^{-1}(y))$$

$$= \int^{c_{2}}_{v(y)} f(x)dx$$

 

이 때, $X \leq c = y \geq u(c)$

 

$$g(y) = f(v(y))[-v'(y)]$$

 

예제)

 

$$y = u(x) = x^{2}, x = v(y) = y^{\frac{1}{2}}$$

$$v'(y) = \frac{1}{2}y^{\frac{-1}{2}}$$

$$g(y) = 3y\frac{1}{2}y^{\frac{-1}{2}} = \frac{3}{2}y^{1}{2}$$

 

이산형 확률변수의 변수변환기법은 다음과 같다.

 

이산형 확률변수의 pmf는 $f(x) = P(X = x), x \in S_{X}$이다.

 

공간 $S_{X}$의 원소들이 가산(countable)의 점들인 $c_{1}, c_{2}, ...$로 구성되었을 때,

 

$Y = u(X)$는 역함수 $X = u(Y)$와 1대 1 변환 관계에 있다고 한다. 

 

즉, $$S_{Y} = {d_{1} = u(c_{1}), d_{2} = u(c_{2}), ...}$$

 

$$g(y) = P(Y = y) = P[u(X) = y] = P([X = v(y)] = f(v(y)), y \in S_{Y}$$

 

1대 1 변환 관계를 갖기 때문에 도함수 $|v'(y)|$가 필요하지 않다.

 

예제)

 

"확률변수 $X$가 $\lambda = 4$인 포아송 분포를 나타낼 때, $Y = \sqrt(X)$의 pmf는?"

 

$$f(x) = \frac{\lambda^{x}e^{-\lambda}}{x!},\ \ x = 0, 1, 2, ...$$

$$x = y^{2}$$

$$g(y) = f(y^{2}) = \frac{4^{y^{2}}e^{-4}}{y^{2}!},\ \ y = 0, 1, \sqrt2, \sqrt3, ...$$

 

5.2) 두 확률변수의 변환

 

한 개의 변수에 대하여 변수변환 기법을 통해 하나의 역함수를 표현하였다.

 

두 개의 확률변수의 변환에서는 자코비안(Jacobian)을 이용하여 변수변환 기법을 표현한다.

 

즉, $X_{1}, X_{2}$가 결함 pdf $f(x_{1}, x_{2})$를 갖는 두 개의 연속형 확률변수이고 

 

$Y_{1} = u_{1}(X_{1}, X_{2}), Y_{2} = u_{2}(X_{1}, X_{2})$가 하나의 역함수

 

$X_{1} = v_{1}(Y_{1}, Y_{2}), X_{2} = v_{2}(Y_{1}, Y_{2})$를 가지면

 

$Y_{1}, Y_{2}$의 결합 pdf는 다음과 같다.

 

$$g(y_{1}, y_{2}) = |J|f[v_{1}(y_{1}, y_{2}), v_{2}(y_{1}, y_{2})], \ \ (y_{1}, y_{2}) \in S_{Y}$$

 

이 때, 자코비안(Jacobian)은 다음의 행렬식으로 정의된다.

 

$$J = \left[\begin{array}{rr} \frac{\partial x_{1}}{\partial y_{1}}&\frac{\partial x_{1}}{\partial y_{2}}\\ \frac{\partial x_{2}}{\partial y_{1}}&\frac{\partial x_{2}}{\partial y_{2}} \end{array}\right]$$

 

예제)

 

"확률 변수 $X_{1}, X_{2}$가 결합 pdf일 때,

$$f(x_{1}, x_{2}) = 2, \ \ 0 < x_{1} < x_{2} < 1$$

를 갖는다고 하면,

 

변환 $Y_{1} = \frac{X_{1}}{X_{2}},  Y_{2} = X_{2}$의 결합 pdf g(y_{1}, y_{2})$와 주변 pdf는?"

 

$x_{1} = y_{1}y_{2}, x_{2} = y_{2}$와 같으므로,

 

$$J = \left[\begin{array}{rr} y_{2}&y_{1}\\ 0&1 \end{array}\right]$$

$$= y_{2}$$

 

위의 자코비안에 따라 pdf는

 

$$g(y_{1}, y_{2}) = 2y_{2}$$

이 때, $0 < y_{1}y_{2} < y_{2} < 1$, $0 < y_{1} < 1$, $0 < y_{2} < 1$이다.

 

5.3) 여러 확률변수

 

독립인 확률 변수 $X_{1}, X_{2}$의 pmf가 같고 결합 pmf는 $f(x_{1})f(x_{2})$일 때,

 

두 확률 변수 $X_{1}, X_{2}$의 모임을 $n=2$ 크기의 확률표본이라고 한다.

 

이처럼 $x_{1}, x_{2}, ... x_{n}$이 독립이고 분포가 같은 것을 (independent & identically dist, iid)라고 한다.

 

#. 이 때 $x_{1}, x_{2}, ..., x_{n}$은 공통된 분포로부터 크기가 $n$인 확률표본이다.

 

예제)

 

"$X_{1}, X_{2}$는 균형된 정육면체 주사위를 두 번 던져서 나온 결과를 나타내는 서로 독립인 확률변수이다.

이는 공간 {1, 2, 3, 4, 5, 6}에서 균일 분포를 갖는 $n=2$의 확률 표본이기 때문에 아래의 확률분포와 같다."

 

$$f(x) = \frac{1}{6}, \ \ x = 1, 2, 3, 4, 5, 6$$

 

$$E(X_{1}) = E(X_{2}) = \sum^{6}_{x=1} xf(x)dx = 3.5$$

$$Var(X_{1}) = Var(X_{2}) = \sum^{6}_{x=1} (x-3.5)^{2}f(x) = \frac{35}{12}$$

 

$$E(X_{1}X_{2}) = E(X_{1})E(X_{2}) 12.25$$

$$E[(X_{1} - 3.5)(X_{2} - 3.5)] = 0$$

 

#. $Cov(X_{1}, X_{2}) = E(X_{1}X_{2}) - E(X_{1})E(X_{2})$

 

위의 값에 따라, 만약 $Y = X_{1} + X_{2}$이면

 

$$E(Y) = E(X_{1}+X_{2}) = E(X_{1}) + E(X_{2}) = 7$$

$$Var(Y) = Var(X_{1} + X_{2}) = E((X_{1}+X_{2}-7)^{2})$$

$$= E[[(X_{1}-3.5) + (X_{2}-3.5)]^{2}]$$

$$= E[(X_{1}-3.5)^{2}] + E[(X_{2}-3.5)^{2}] + E[2(X_{1}-3.5)(X_{2}-3.5)]$$

$$= \frac{35}{12} + \frac{35}{12} + 0$$

 

즉, 여러 확률 변수 $X_{1}, X_{2}, ..., X_{n}$가 서로 독립인 확률변수들이고

 

각각 $E(u_{i}(X_{i})), \ i = 1, 2, ..., n$이 존재하고 $Y = u_{1}(X_{1})u_{2}(X_{2}) ... u_{n}(X_{n})$이면 $E(Y)$는 다음과 같다.

 

$$E(Y) = E[u_{1}(X_{1})]E[u_{2}(X_{2})] ...E[u_{n}(X_{n})]$$

 

#. $E(X^{2}) \neq E(X)^{2}$를 의미하는 것은 아니며, 모든 확률변수들끼리 독립이어야한다.

#. $E(XX) \neq E(X)E(X)$

 

$X_{1}, X_{2}, ..., X_{n}$이 각각 평균 $m_{1}, m_{2}, ..., m_{n}$과

 

분산 $\sigma^{2}_{1}, \sigma^{2}_{2}, ..., \sigma^{2}_{n}$을 갖는 $n$개의 서로 독립인 확률변수일 때,

 

$a_{1}, a_{2}, ..., a_{n}$이 실수인 상수들이면, $Y = \sum^{n}_{i=1} a_{i} X_{i}$의 평균과 분산은 다음과 같다.

 

$$m_{Y} = \sum^{n}_{i=1}a_{i}m_{i}$$

$$\sigma^{2}_{Y} = \sum^{n}_{i=1} a^{2}_{i} \sigma^{2}_{i}$$

 

이 때,

 

$X_{i}, X_{j}$가 상관관계가 있는 경우: $\rho_{ij}$

 

$$\sigma^{2}_{Y} = \sum^{n}_{i=1}a^{2}_{i}\sigma^{2}_{i} + 2\sum_{i<j}\sum a_{i}a_{j}\rho_{ij}\sigma_{i}\sigma_{j}$$