[통계학] 4.4-(1) Example: 계층적 확률 모델링

다음과 같은 질문을 생각해보자.

한 꿀벌 집단에서 하나 밖에 없는 여왕벌은 한번 산란할 때 약 100~5000개의 알을 낳는다. 정상적으로 부화하는 경우에는 산란된지 약 21일 쯤에 벌이 성장하여 알을 뚫고 나오게 된다. 그러나 어떤 알들은 부화되지 못하고 그냥 썩게된다. 그렇다면 여왕벌이 한번 산란할 때 평균적으로 얼마나 많은 알들이 부화할까?

 

이 질문을 확률론적으로 생각해보면, 여왕벌이 산란한 알의 개수도 100~5000개 사이에 있는 랜덤 변수가 되고, 부화한 알의 개수도 랜덤 변수가 된다. 따라서 이 질문을 다음과 같이 확률 모델로 바꿀 수 있다.

랜덤 변수 \(X\)를 부화한 알의 개수, \(Y\)를 산란한 알의 개수라고 하자. \(Y\)가 \(f_Y(y)\) 분포를 따르고, 주어진 \(Y\)에 대하여 \(X\)가 \(f(x|y)\) 분포를 따를 때, \(E[X]\) 의 값은 얼마인가?

 

이렇게, 위와 같은 복합적인 문제에 대하여 조건부 확률을 이용하여 확률 모델을 계층적으로 구성하여 접근할 수 있다.

 

#Hierarchical Probability Models

좀 더 구체적으로 살펴보기 위하여, \(X\)와 \(Y\)가 다음과 같은 분포를 가정하자.

 

1. 여왕벌이 산란한 알의 개수 \(Y\)는 푸아송 분포를 따른다.

\[ Y \sim \text{Pois}(\lambda) \]

2. 고정된 \(Y\)에 대하여, 부화한 알의 개수 \(X\)는 이항 분포를 따른다.

\[ X|Y \sim \text{B}(Y,p) \]

 

즉, 다음과 같은 pmf로 표현할 수 있다.

\[ f_Y(y) = \frac{\lambda^y}{y!}e^{-\lambda} ~~~,~~~ f(x|y) = \begin{pmatrix} y \\ x \end{pmatrix} p^x (1-p)^{y-x} \]

\(E[X]\) 를 계산하기 위해서는 marginal pmf \(f_X(x)\) 가 필요하므로, 먼저 조건부 pmf \(f(x|y)\) 를 이용하여 joint pmf \(f(x,y)\) 를 먼저 구하면

\[ f(x,y) = f(x|y)f_Y(y) = \frac{1}{x!(y-x)!}p^x (1-p)^{y-x} \lambda^y e^{-\lambda} \]

그리고 marginal pmf를 구하면

\[ \begin{align*} f_X(x) &= \sum_{y} f(x,y) \\ \\ &= \sum_{y=x} ^\infty \frac{1}{x!(y-x)!}p^x (1-p)^{y-x} \lambda^y e^{-\lambda} \\ \\ &= \frac{(\lambda p)^x}{x!} e^{-\lambda} \sum_{y=x} ^\infty \frac{1}{(y-x)!} \lambda^{y-x} (1-p)^{y-x} \\ \\ &= \frac{(\lambda p)^x}{x!}e^{-\lambda p} \end{align*} \]

\(f_X(x)\) 는 \(\text{Pois}(\lambda p)\) 분포를 따른다. 따라서, \(E[X]=\lambda p\) 이다. 즉, 여왕벌이 한번 산란할 때 평균 \(\lambda p\)의 알들이 부화한다.

 

#Relation between the Expected Values of X and X|Y

\(E[X]\)를 구하기 위해 다음의 정리를 이용할 수도 있다.

 

THEOREM

랜덤 변수 \(X\)와 \(Y\)에 대하여,
\[ \begin{equation} E[X] = E\left[ E\left[ X|Y \right]\right] \label{eee} \end{equation} \]

 

증명에 앞서 식 \((\ref{eee})\)에서 기대값 계산을 어떻게 계산하는 것인지 정리해보자.

\[ \underbrace{E[X]}_{\text{A}} = \underbrace{E[ \underbrace{E \left[ X|Y \right]}_{\text{B}} ]}_{\text{C}} \]

먼저 A 파트는 \(X\) 의 marginal distribution에 대하여 기대값을 계산하는 것이다. B 파트는 \(X|Y\), 즉 joint distribution에서 \(Y\)가 고정되어 있다고 했을 때 \(X\)의 기대값을 계산하는 것이고, 마지막으로 C 파트는 \(Y\) 의 marginal distribution에 대해서 B 파트 결과의 기대값을 계산하는 것이다.

 

(증명)

랜덤 변수가 연속인 경우에는,

\[ \begin{align*} E[X] &= \iint xf(x,y)~dxdy \\ \\ &= \int \left[ \int xf(x|y)~dx \right] f_Y(y)~dy \\ \\ &= \int E[X|y]f_Y(y)~dy \\ \\ &= E[E[X|Y]] \end{align*} \]

랜덤 변수가 불연속인 경우에는 위 식의 적분을 \(\sum\)으로 바꾸면 똑같이 성립한다.

(증명 끝)

 

이를 위 예제에 적용해보면,

 

1. \(Y=y\) 가 주어진 경우, \(E[X|y]\) 계산

\[ E[X|y] = yp \]

2. 1에서 구한 식의 Y에 대한 기대값 계산

\[ E[X] = E[E[X|Y]] = pE[Y] = \lambda p \]

 

#Relation between the variance of X and X|Y

위와 같은 상황에서 \(\text{Var}(X)\) 도 계산할 수 있다.

 

THEOREM

랜덤 변수 \(X\) 와 \(Y\) 에 대하여,
\[ \text{Var}(X) = E\left[ \text{Var}(X|Y) \right] + \text{Var}\left( E[X|Y] \right) \]

 

식 \((\ref{eee})\)와 마찬가지로 기대값과 분산에서 어떤 랜덤 변수에 대하여 계산하는 것인지 주의를 기울여야 한다.

 

(증명)

위 식을 구하기 위하여, 분산의 정의에서 시작하자.

\[ \begin{align*} \text{Var}(X) &= E \left[ \left( X-E[X] \right)^2\right] \\ \\ &= E \left[ \left( X - E[X|Y] + E[X|Y] - E[X] \right)^2 \right] \\ \\ &= E \left[ \left( X - E[X|Y] \right)^2 \right] + E \left[ \left( E[X|Y] - E[X] \right)^2 \right] + 2E\left[ \left( X-E[X|Y] \right) \left( E[X|Y] - E[X] \right) \right] \end{align*} \]

이 때, 마지막 항은 식 \((\ref{eee})\)를 이용하면

\[ E\left[ \left( X-E[X|Y] \right) \left( E[X|Y] - E[X] \right) \right] = E\left[ E \left[ \left\{ X-E[X|Y] \right\} \left\{ E[X|Y]-E[X] \right\} | Y \right] \right] \]

조건부 랜덤 변수 \(X|Y\) 에서는 \(E[X|Y]\) 와 \(E[X]\) 가 상수이므로

\[ \begin{align*} E\left[ \left( X-E[X|Y] \right) \left( E[X|Y] - E[X] \right) \right] &= \left( E[X|Y] - E[X] \right) \left( E[X|Y] - E[X|Y] \right) \\ \\ &= 0 \end{align*}\]

그리고 첫번째 항도 식 \((\ref{eee})\)를 이용하여

\[ \begin{align*} E \left[ \left( X - E[X|Y] \right)^2 \right] &= E\left[ \left. E\left[ \left(X-E[X|Y]\right)^2 \right] \right| Y \right] \\ \\ &= E\left[ \text{Var}(X|Y) \right] \end{align*} \]

마찬가지로 두번째 항도 식 \((\ref{eee})\)를 이용하여

\[ \begin{align*} E \left[ \left( E[X|Y] - E[X] \right)^2 \right] &= E\left[ \left( E[X|Y]-E\left[E[X]|Y \right] \right)^2 \right] \\ \\ &= \text{Var}\left( E[X|Y] \right) \end{align*} \]

(증명 끝)