[통계학] 4.4-(1) Example: 계층적 확률 모델링

다음과 같은 질문을 생각해보자.

한 꿀벌 집단에서 하나 밖에 없는 여왕벌은 한번 산란할 때 약 100~5000개의 알을 낳는다. 정상적으로 부화하는 경우에는 산란된지 약 21일 쯤에 벌이 성장하여 알을 뚫고 나오게 된다. 그러나 어떤 알들은 부화되지 못하고 그냥 썩게된다. 그렇다면 여왕벌이 한번 산란할 때 평균적으로 얼마나 많은 알들이 부화할까?

 

이 질문을 확률론적으로 생각해보면, 여왕벌이 산란한 알의 개수도 100~5000개 사이에 있는 랜덤 변수가 되고, 부화한 알의 개수도 랜덤 변수가 된다. 따라서 이 질문을 다음과 같이 확률 모델로 바꿀 수 있다.

랜덤 변수 $X$를 부화한 알의 개수, $Y$를 산란한 알의 개수라고 하자. $Y$가 $f_Y(y)$ 분포를 따르고, 주어진 $Y$에 대하여 $X$가 $f(x|y)$ 분포를 따를 때, $E[X]$ 의 값은 얼마인가?

 

이렇게, 위와 같은 복합적인 문제에 대하여 조건부 확률을 이용하여 확률 모델을 계층적으로 구성하여 접근할 수 있다.

 

#Hierarchical Probability Models

좀 더 구체적으로 살펴보기 위하여, $X$와 $Y$가 다음과 같은 분포를 가정하자.

 

1. 여왕벌이 산란한 알의 개수 $Y$는 푸아송 분포를 따른다.

$$Y\sim \text{Pois}(\lambda )$$

2. 고정된 $Y$에 대하여, 부화한 알의 개수 $X$는 이항 분포를 따른다.

$$X|Y\sim \text{B}(Y,p)$$

 

즉, 다음과 같은 pmf로 표현할 수 있다.

$$f_Y(y)=\frac{{\lambda }^y}{y!}{e}^{-\lambda },f(x|y)=\left(\begin{array}{c}y\\ x\end{array}\right)p^x(1-p{)}^{y-x}$$

$E[X]$ 를 계산하기 위해서는 marginal pmf $f_X(x)$ 가 필요하므로, 먼저 조건부 pmf $f(x|y)$ 를 이용하여 joint pmf $f(x,y)$ 를 먼저 구하면

$$f(x,y)=f(x|y)f_Y(y)=\frac{1}{x!(y-x)!}{p}^x(1-p{)}^{y-x}{\lambda }^y{e}^{-\lambda }$$

그리고 marginal pmf를 구하면

$$\begin{array}{rl}{f}_X(x)& =\sum _{y}f(x,y)\\ \\ & =\sum _{y=x}^{\mathrm{\infty }}\frac{1}{x!(y-x)!}{p}^x(1-p{)}^{y-x}{\lambda }^y{e}^{-\lambda }\\ \\ & =\frac{(\lambda p{)}^x}{x!}{e}^{-\lambda }\sum _{y=x}^{\mathrm{\infty }}\frac{1}{(y-x)!}{\lambda }^{y-x}(1-p{)}^{y-x}\\ \\ & =\frac{(\lambda p{)}^x}{x!}{e}^{-\lambda p}\end{array}$$

$f_X(x)$ 는 $\text{Pois}(\lambda p)$ 분포를 따른다. 따라서, $E[X]=\lambda p$ 이다. 즉, 여왕벌이 한번 산란할 때 평균 $\lambda p$의 알들이 부화한다.

 

#Relation between the Expected Values of X and X|Y

$E[X]$를 구하기 위해 다음의 정리를 이용할 수도 있다.

 

THEOREM

랜덤 변수 $X$와 $Y$에 대하여,
$$E[X]=E\left[E\left[X|Y\right]\right]$$

 

증명에 앞서 식 $(\text{???})$에서 기대값 계산을 어떻게 계산하는 것인지 정리해보자.

$$\underset{\text{A}}{\underbrace{E[X]}}=\underset{\text{C}}{\underbrace{E[\underset{\text{B}}{\underbrace{E\left[X|Y\right]}}]}}$$

먼저 A 파트는 $X$ 의 marginal distribution에 대하여 기대값을 계산하는 것이다. B 파트는 $X|Y$, 즉 joint distribution에서 $Y$가 고정되어 있다고 했을 때 $X$의 기대값을 계산하는 것이고, 마지막으로 C 파트는 $Y$ 의 marginal distribution에 대해서 B 파트 결과의 기대값을 계산하는 것이다.

 

(증명)

랜덤 변수가 연속인 경우에는,

$$\begin{array}{rl}E[X]& =\iint xf(x,y)dxdy\\ \\ & =\int [\int xf(x|y)dx]f_Y(y)dy\\ \\ & =\int E[X|y]f_Y(y)dy\\ \\ & =E[E[X|Y]]\end{array}$$

랜덤 변수가 불연속인 경우에는 위 식의 적분을 $\sum$으로 바꾸면 똑같이 성립한다.

(증명 끝)

 

이를 위 예제에 적용해보면,

 

1. $Y=y$ 가 주어진 경우, $E[X|y]$ 계산

$$E[X|y]=yp$$

2. 1에서 구한 식의 Y에 대한 기대값 계산

$$E[X]=E[E[X|Y]]=pE[Y]=\lambda p$$

 

#Relation between the variance of X and X|Y

위와 같은 상황에서 $\text{Var}(X)$ 도 계산할 수 있다.

 

THEOREM

랜덤 변수 $X$ 와 $Y$ 에 대하여,
$$\text{Var}(X)=E[\text{Var}(X|Y)]+\text{Var}(E[X|Y])$$

 

식 $(\text{???})$와 마찬가지로 기대값과 분산에서 어떤 랜덤 변수에 대하여 계산하는 것인지 주의를 기울여야 한다.

 

(증명)

위 식을 구하기 위하여, 분산의 정의에서 시작하자.

$$\begin{array}{rl}\text{Var}(X)& =E\left[{(X-E[X])}^2\right]\\ \\ & =E\left[{(X-E[X|Y]+E[X|Y]-E[X])}^2\right]\\ \\ & =E\left[{(X-E[X|Y])}^2\right]+E\left[{(E[X|Y]-E[X])}^2\right]+2E\left[(X-E[X|Y])(E[X|Y]-E[X])\right]\end{array}$$

이 때, 마지막 항은 식 $(\text{???})$를 이용하면

$$E\left[(X-E[X|Y])(E[X|Y]-E[X])\right]=E\left[E\left[\{X-E[X|Y]\}\{E[X|Y]-E[X]\}|Y\right]\right]$$

조건부 랜덤 변수 $X|Y$ 에서는 $E[X|Y]$ 와 $E[X]$ 가 상수이므로

$$\begin{array}{rl}E\left[(X-E[X|Y])(E[X|Y]-E[X])\right]& =(E[X|Y]-E[X])(E[X|Y]-E[X|Y])\\ \\ & =0\end{array}$$

그리고 첫번째 항도 식 $(\text{???})$를 이용하여

$$\begin{array}{rl}E\left[{(X-E[X|Y])}^2\right]& =E\left[E\left[{(X-E[X|Y])}^2\right]|Y\right]\\ \\ & =E[\text{Var}(X|Y)]\end{array}$$

마찬가지로 두번째 항도 식 $(\text{???})$를 이용하여

$$\begin{array}{rl}E\left[{(E[X|Y]-E[X])}^2\right]& =E\left[{(E[X|Y]-E[E[X]|Y])}^2\right]\\ \\ & =\text{Var}(E[X|Y])\end{array}$$

(증명 끝)