[수리통계]Chap.4 이변량 분포 2(조건부 분포)

이전 글에 이어서 아래의 목차에 대하여 설명한다.

 

4.3) 조건부 분포

4.4) 연속형 이변량 분포

4.5) 이변량 정규분포

 

4.3) 조건부 분포

 

사상 $A = {X = x}, B = {Y = y}, (x, y) \in S$라 할 때,

$A \cap B = {X = x, Y = y}$가 되며, 아래의 확률분포가 성립된다.

 

$$P(A \cap B) = P(X= x, Y = y) = f(x, y)$$

 

위의 식을 활용하여 $Y = y$가 주어졌을 때 $X$의 조건부 확률질량함수(conditional probability mass function)은 $g(x|y)$이다.

 

$$g(x|y) = \frac{f(x,y)}{f_{Y}(y)}, f_{Y}(y) > 0$$

 

이와 비슷하게 $X = x$가 주어졌을 때 $Y$의 조건부 확률질량함수는 $h(y|x)$와 같다.

 

$$h(y|x) = \frac{f(x,y)}{f_{X}(x)}, f_{X}(x) > 0$$

 

조건부 분포에 따른 조건부 기댓값은 다음과 같다.

 

$$\sum_{y}h(y|x) = \sum_{y}\frac{f(x,y)}{f_{X}(x)} = \frac{f_{X}(x)}{f_{X}(x)} = 1$$

 

여기에서 고정된 $x$에서 $h(y|x)$는 pmf의 조건을 만족한다.

 

- 조건부 확률

$$P(a < Y < b|X = x) = \sum_{{y:a<y<b}} h(y|x)$$

 

- $u(Y)$의 조건부 기댓값

$$E[u(Y)|X = x] = \sum_{y}u(y)h(y|x)$$

 

- Y의 조건부 평균(conditional mean)

$$m_{Y|x} = E(Y|x) = \sum_{y}yh(y|x)$$

 

- Y의 조건부 분산(conditional variance)

$$sigma^{2}_{Y|x} = E{[Y - E(Y|x)]^{2}|x} = \sum_{y}[Y - E(Y|x)]^{2}h(y|x)$$

$$ = E(Y^{2}|x) - [E(Y|x)]^2$$

 

예제1)

 

"$X, Y$는 결합 pmf를 가진다.

$$f(x,y) = \frac{x+y}{21}, x = 1,2,3, y = 1,2$$

$x=3$일 때 $Y$의 조건부 평균 $m_{Y|x}$과 조건부 분산 $\sigma^{2}_{Y|x}$를 구하라."

 

$$f_{X}(x) = \frac{x+1}{21} + \frac{x+2}{21} = \frac{2x+3}{21}$$

$$h(y|x) = \frac{f(x,y)}{f_{X}(x)} = \frac{\frac{(x+y)}{21}}{\frac{(2x+3)}{21}} = \frac{x+y}{2x+3}$$

$$h(y|3) = frac{y+3}{9}, y = 1,2$$

 

$$E(Y|3) = 1\frac{1+3}{9} + 2\frac{2+3}{9} = \frac{14}{9}$$

$$E(Y^{2}|3) = 1^{2}\frac{1+3}{9} + 2^{2}\frac{2+3}{9} = \frac{24}{9}$$

 

$$m_{Y|x} = \frac{14}{9}$$

$$\sigma^{2}_{Y|x} = \frac{24}{9} - (\frac{14}{9})^{2}$$

 

 

조건부 평균과 회귀직선의 관계에 대하여 보면,

 

$X = x$가 주어졌을 때 $Y$의 조건부 평균 $E(Y|x)$는 $x$만의 함수인데,

이 때 $E(Y|x)$를 $x$의 선형함수라고 가정하면, 아래의 회귀직선이 성립된다.

$$E(Y|x) = a+bx$$

 

$$E(Y|x) = \sum_{y}yh(y|x) = \sum_{y}y \frac{f(x,y)}{f_{X}(x)} = a+bx$$

$$\sum_{y} yf(x,y) = (a+bx)f_{X}(x)$$

 

위의 식을 $x \in S$로 총합하면,

 

$$m_Y = a + bm_{X}$$

$$m_{X}m_{Y} + \rho\sigma_{X}\sigma_{Y} = am_{X} + b(m^{2}_{X} + \sigma^{2}_{X})$$

 

$a, b$에 대한 해는 다음과 같이 구해진다.

 

$$a = m_{Y} - \rho\frac{\sigma_{Y}}{\sigma_{X}}m_{X}$$

$$b = \rho\frac{\sigma_{X}}{\sigma_{Y}}$$

 

결론적으로, $E(Y|x)$가 선형이면, $X = x$에 대해 $Y$의 조건부 평균은 최소제곱 회귀직선과 동일한 값을 갖는다.

 

4.4) 연속형 이변량 분포

 

연속형 확률변수 $X, Y$의 결합확률밀도함수(joint probability density function)인 $f(x,y)$는 아래의 성질을 만족한다.

 

a) $f(x,y) \geq 0, 이 때 $(x,y)$가 $(X, Y)$의 공간 상에 있지 않은 경우는 $f(x,y) = 0$이다.

b) $\int^{\infty}_{-\infty}\int^{\infty}_{-\infty} f(x,y)dxdy = 1$

c) $P[(X,Y) \in A] = \int\int_{A} f(x,y)dxdy$ 이며, 이 때 ${(X, Y) \in A}는 평면상에서 정의된 하나의 사상이다.

 

연속형 확률변수 $X, Y$ 각각의 주변 pdf(marginal pdf)는 아래와 같다.

 

$$f_{X}(x) = \int^{\infty}_{-\infty} f(x,y)dy,  x \in S_{X}$$

$$f_{Y}(y) = \int^{\infty}_{-\infty} f(x,y)dx,  y \in S_{Y}$$

 

연속형 이변량 분포에 대한 조건부 분포, 조건부 평균, 조건부 분산은 다음과 같다.

($X = x$일 때,)

 

$$h(y|x) \frac{f(x,y)}{f_{X}(x)},  f_{X}(x) > 0$$

$$E(Y|x) = \int^{\infty}_{-\infty} yh(y|x)dy$$

$$Var(Y|x) = E{[Y - E(Y|x)]^{2}|x}$$

$$ = \int^{\infty}_{-\infty} [y - E(Y|x)]^{2}h(y|x)dy$$

$$ = E[Y^{2}|x] - [E(Y|x)]^{2}$$

 

4.5) 이변량 정규분포(Bivariate normal distribution)

 

확률변수 $X, Y$가 아래의 결합확률분포 joint pdf를 가질 때 이변량 정규분포를 따른다고 한다.

 

$$f(x,y) = \frac{1}{2\pi \sigma_{X}\sigma_{Y} \sqrt(1-\rho^{2})}exp[-\frac{1}{2(1-\rho^{2})} * \{(\frac{x-mx}{\sigma_{X}})^{2} -2\rho(\frac{x-m_{X}}{\sigma_{X}})(\frac{y-m_{Y}}{\sigma_{Y}}) + (\frac{y-m_{Y}}{\sigma_{Y}})^{2}\}]$$

 

이 때, 

$-\infty < x < \infty,  -\infty < y < \infty, \sigma_{X} > 0, \sigma_{Y} > 0$

$-\infty < m_{X} < \infty, -\infty < m_{Y} < \infty, -1 < \rho < 1 $는 상수이다.

 

위의 pdf 식을 정리하여 나타낸 적률생성함수 mgf는 다음과 같다.

 

$$M(t_{1}, t_{2}) = E[e^{t_{1}X + t_{2}X}]$$

$$ = exp[t_{1}m_{X} + t_{2}m_{Y} + \frac{1}{2}(t^{2}_{1}\sigma^{2}_{X} + 2\rho t_{1}t_{2}\sigma_{X}\sigma_{Y} + t^{2}_{2}\sigma^{2}_{Y})]$$

 

확률 변수 $X,Y$가 이변량 정규분포를 따를 때, 평균과 분산은 적률생성함수를 통해 아래와 같이 계산된다.

 

$$E(X) = m_{X} , E(Y) = m_{Y}$$

$$Var(X) = \sigma^{2}_{X}, Var(Y) = \sigma^{2}_{Y}, Cov(X, Y) = \rho\sigma_{X}\sigma_{Y}$$