[수리통계]Chap.5 확률변수의 분포3

이전 글 (확률변수의 분포1,  확률변수의 분포2)에서 확률변수에 따른 분포 특성에 대해 설명하였다.

 

이번 글에서는 아래의 목차에 대하여 설명할 예정이다.

 

5.6) 중심극한정리

5.7) 이산형 분포의 근사(이항 분포)

5.8) 체비셰프 부등식과 확률수렴(체비셰프 부등식, 대수의 법칙)

 

5.6) 중심극한정리

 

중심극한정리는 통계에서 가장 자주 언급되는 특징이라고 할 수 있다.

 

우선, 평균 $m$, 분산 $\sigma^{2}$을 갖는 분포(꼭 정규분포가 아니어도 된다.)에서 추출한 크기 $n$인 확률 표본의 평균 $\bar{X}$는 $E(\bar{X}) = m, Var(\bar{X}) = \frac{\sigma^{2}}{n}$이다. 

 

확률표본이 $N(m, \sigma^{2})$에서 추출되었을 때, $\bar{X}~N(m, \frac{\sigma^{2}}{n})$이 된다.

 

정규분포가 아닌 평균 $m$, 분산 $\sigma^{2}$를 갖는 임의의 분포에서 뽑은

크기가 $n$인 확률표본의 평균 $\bar{X}$에 대하여 아래와 같이 정의할 수 있다.

 

$$W = \frac{\sqrt{n}}{\sigma}(\bar{X} - m) = \frac{\bar{X} - m}{\frac{\sigma}{\sqrt{n}}}$$

 

이 때 양의 정수 $n$에 대하여 평균과 분산은 아래와 같이 추출된다.

 

$$E(\frac{\bar{X} - m}{\frac{\sigma}{\sqrt{n}}}) = \frac{E(\bar{X}) - m}{\frac{\sigma}{\sqrt{n}}} = 0$$

$$E(W) = 0$$

 

$$Var(\frac{\bar{X} - m}{\frac{\sigma}{\sqrt{n}}}) = \frac{Var(\bar{X})}{\frac{\sigma^{2}}{n}} = 1$$

$$Var(W) = 1$$

 

$\bar{X}$는 유한의 평균 $m$와 유한의 양의 분산 $\sigma^{2}$을 갖는 분포에서 추출한 크기가 $n$인 확률표본 $X_{1}, X_{2}, ..., X_{n}$의 평균이라 하면,

 

$$W = \frac{\bar{X} - m}{\frac{\sigma}{\sqrt{n}}} = \frac{\sum^{n}{i=1} X_{i}-nm}{\sqrt{n}\sigma}$$

 

$W$의 분포는 $n \rightarrow \infty$일 때, 근사적으로 $N(0, 1)$이 된다.

 

이러한 정의를 중심극한정리(central limit theorem; CLT)라고 한다. 

 

5.7) 이산형 분포의 근사

 

아래는 이항분포의 근사에 대하여 설명한다. 

 

$X_{1}, X_{2}, ..., X_{n}$은 평균이 $m=p$, 분산이 $\sigma^{2} = p(1-p), \ 0 < p <1$인 베르누이 분포에서 뽑은 확률표본이라고 할 때, $Y = \sum^{n}_{i=1}X_{i}$는 이항분포 $b(n, p)$가 된다. 

#. $\frac{Y}{n} = \bar{X} = \hat{P}$

 

이 때, 

$$W = \frac{Y - np}{\sqrt{np(1-p)}} = \frac{\bar{X} - p}{\sqrt{\frac{p(1-p)}{n}}}$$

 

$W$의 분포는 $n \rightarrow \infty$에 따라 근사적으로 $N(0, 1)$이다.

 

즉, 

 

$Y$의 분포는 $n$이 충분히 크면 근사적으로 $N(np, np(1-p))$이고

"$n$이 충분히 크가"의 기준은 $np \geq 5, n(1-p) \geq 5$이다.

 

예제1)

 

"$Y~b(10, \frac{1}{2})$일 때, 정규근사를 이용하여 $P(3 \leq Y < 6)$을 구하면?"

 

이항분포에서는 $P(3 \leq Y < 6) = P(3) + P(4) + P(5)$이다. 

 

이를 정규근사로 표현하면, $Y \approx N(5, \frac{5}{2})$이다.

$$P(3 \leq Y < 6) \approx P(\frac{2.5-5}{\sqrt{\frac{5}{2}}} \leq Z < \frac{5.5-5}{\sqrt{\frac{5}{2}}})$$

$$ = \phi(0.316) - \phi(-1.581) = 0.5670$$

 

5.8) 체비셰프 부등식과 확률수렴

 

체비셰프 부등식(Chebyshev's inequality)은 다음을 정의한다.

 

만약 확률변수 $X$의 평균이 $m$이고 분산이 $\sigma^{2}$이라면, 모든 $k \geq 1$에 대하여

$$P(|X - m| \geq k\sigma) \leq \frac{1}{k^{2}}$$

$$P(|X - m| < k\sigma) \geq 1 - \frac{1}{k^{2}}$$

 

이에 따라,

 

$\epsilon = k\sigma$이면

$$P(|X - m| \geq \epsilon) \leq \frac{\sigma^{2}}{\epsilon^{2}}$$

 

이 때 $X$가 평균으로부터 최소한 $k$배 표준편차만큼 떨어져 있을 확률은 $\frac{1}{k^{1}}$이고

$X$가 평균으로부터 $k$배 표준편차 안쪽에 떨어질 확률이 적어도 $1-\frac{1}{k^{2}}$이다.

 

예제1)

 

"$X$의 평균이 25이고 분산이 16이라면, $P(17 < X < 33)$의 하한은?"

#. $m = 25, \sigma = 4$

 

$$P(17 < X < 33) = P(|X - 25| < 8) = P(|X-25| < 2\sigma) \geq 1 - \frac{1}{4} = 0.75$$

 

아래는 대수의 법칙(law of large number; LLN)에 대한 설명이다.

 

성공확률이 $p$인 베르누이 시행을 $n$번 시행했을 때, 

 

성공의 횟수를 $Y$라 하면, $Y~b(n, p)$이다.

 

이 때, $\frac{Y}{n}$은 상대도수이며 $p$의 추정치는 $\hat{p}$ 의미한다.

 

즉, $\frac{Y}{n}$의 평균은 $p$, 표준편차는 $\sqrt{\frac{pq}{n}}$

 

$\frac{Y}{n}$이 $p$에 얼마나 가까운지는 체비셰프 부등식에 의해

 

$$p(|\frac{Y}{n} - p| < \epsilon) \geq 1 - \frac{pq}{n\epsilon^{2}} \geq 1 - \frac{1}{4n\epsilon^{2}}$$

 

고정된 $\epsilon > 0$과 $0 < p < 1$에 대하여

 

$$lim_{n \rightarrow \infty} P(|\bar{X} - m| < \epsilon) = 1$$

 

이 때, 

 

$n$이 충분히 클 때, 상대도수 $\frac{Y}{n}$가 $p$로부터 $\epsilon$이내에 있을 확률이 1에 매우 가까우며

 

$\frac{Y}{n}$가 $p$에 확률수렴(convergence in probability)함을 나타낸다.

 

이러한 성질을 대수의 법칙(law of large number)이라고 한다.