[통계학] 4.5-(2) Example: 이변량 정규 분포 Bivariate Normal Distribution

Random variable \(X\) 와 \(Y\) 가 각각 정규 분포를 따를 때, 지금까지는 \(X\) 와 \(Y\) 가 독립인 경우만 살펴보았다. 그러나 \(X\), \(Y\) 가 각각 정규 분포라고 하더라도 반드시 두 random variable이 독립일 필요는 없다. 이번 페이지에서는 2-변량 정규 분포에 대하여 정의하고 기본 특징에 대하여 살펴보자.

 

#Bivariate Normal Distribution

DEFINITION

상수 \(-\infty < \mu_X < \infty\), \(-\infty < \mu_Y < \infty\), \(0 < \sigma_X\), \(0 < \sigma_Y\), \(-1 < \rho < 1\) 에 대하여, 다음과 같은 joint pdf를 가지는 분포를 bivariate normal distribution(2-변량 정규 분포)라고 부른다.
\[ \begin{align*} f_{X,Y}(x,y) = & \frac{1}{2\pi \sigma_X \sigma_Y\sqrt{1-\rho^2}} \\ \\ &\times \exp{\left[ \frac{1}{2(1-\rho^2)} \left\{ \left( \frac{x-\mu_X}{\sigma_X} \right)^2 \right. \right.} \\ \\ & \left. \left. - 2\rho \left( \frac{x-\mu_X}{\sigma_X} \right) \left( \frac{y-\mu_Y}{\sigma_Y} \right) + \left( \frac{y-\mu_Y}{\sigma_Y} \right)^2 \right\} \right] \end{align*} \]

 

분포를 좌표평면에 나타내보면, 독립인 경우에는 \(\sigma_X\) 와 \(\sigma_Y\) 의 값에 따라 x축 또는 y축으로 길쭉한 타원(값이 같은 경우에는 원) 형태로 분포하지만, bivariate normal distribution의 경우 \(\rho\) 값에 따라 기울어진 타원이 된다. 그 이유는 \(\rho\) 값이 correlation 역할을 하기 때문에, \(X\) 와 \(Y\) 가 각각의 평균에서 벗어나는 정도가 \(\rho\) 에 따라 결정된다. \(\rho\) 값이 양수인 경우 \(X\) 가 \(\mu_X\) 보다 크면 \(Y\) 도 \(\mu_Y\) 보다 클 확률이 높아지므로 타원이 시계 방향으로 기울게 되고, \(\rho\) 값이 음수인 경우 \(X\) 가 \(\mu_X\) 보다 크면 \(Y\) 는 \(\mu_Y\) 보다 작을 확률이 높아지므로 타원이 반시계 방향으로 기울게 된다.

\(\mu_X=\mu_Y=0\), \(\sigma_X=1\), \(\sigma_Y=2\) 일 때, 왼쪽부터 순서대로 \(\rho=0\) (독립), \(\rho=0.5\), \(\rho=-0.5\) 일때의 분포

 

#Basic Properties of Bivariate Normal Distribution

THEOREM

Bivariate normal distribution에 대하여 다음이 성립한다.

1. \(X\) 의 marginal pdf는 \(\mathcal{N}(\mu_X, \sigma_X ^2)\) 이다.

2. \(Y\) 의 marginal pdf는 \(\mathcal{N}(\mu_Y, \sigma_Y ^2)\) 이다.

3. \(X\) 와 \(Y\) 의 correlation은 \(\rho\) 이다.

4. \(X=x\) 일 때, \(Y\) 의 조건부 pdf는 \(\mathcal{N}\left(\mu_Y + \rho\frac{\sigma_Y}{\sigma_X} (x-\mu_X), \sigma_Y ^2 (1-\rho^2)\right)\) 이다.

5. 상수 \(a\), \(b\) 에 대하여, \(aX+bY\) 의 pdf는 \(\mathcal{N}(a\mu_X + b\mu_Y, a^2 \sigma_X^2 + b^2 \sigma_Y ^2) \)

 

이 정리의 의미는

ⓐ \(X\) 만 생각했을 때는 normal distribution이다

ⓑ \(Y\) 만 생각했을 때는 normal distribution이다

ⓒ \(X\) 와 \(Y\) 는 독립이 아니다

ⓓ \(X\) 가 고정되어 있을 때 조건부 \(Y\) 는 normal distribution이다

ⓔ \(aX+bY\) 는 normal distribution이다

로 정리할 수 있다.

 

(증명)

1. Exp 안에 있는 식을 다음과 같이 정리하자.

\[ \begin{align*} \left( \frac{x-\mu_X}{\sigma_X} \right)^2 - 2\rho &\left( \frac{x-\mu_X}{\sigma_X} \right) \left( \frac{y-\mu_Y}{\sigma_Y} \right) + \left( \frac{y-\mu_Y}{\sigma_Y} \right)^2 \\ \\  &= (1-\rho^2) \left( \frac{x-\mu_X}{\sigma_X} \right) ^2 + \left( \frac{y-\mu_Y}{\sigma_Y} - \frac{x-\mu_X}{\sigma_X} \rho \right)^2 \end{align*} \]

따라서, 

\[ f_{X,Y} (x,y) = \frac{1}{2\pi\sigma_X \sigma_Y \sqrt{1-\rho^2}} \exp{\left[ -\frac{(x-\mu_X)^2}{2\sigma_X^2}\right]} \exp{\left[ -\frac{1}{2(1-\rho^2)} \left( \frac{y-\mu_Y}{\sigma_Y} - \frac{x-\mu_X}{\sigma_X}\rho \right)^2 \right]} \]

이제 marginal pdf를 계산하면,^[각주:1]

\[ \begin{align*} f_X(x) &= \frac{1}{2\pi\sigma_X \sigma_Y \sqrt{1-\rho^2}} \exp{\left[ -\frac{(x-\mu_X)^2}{2\sigma_X^2}\right]} \\ \\ & ~~~~~~~~\times \int _\infty ^\infty \exp{\left[ -\frac{1}{2(1-\rho^2)} \left( \frac{y-\mu_Y}{\sigma_Y} - \frac{x-\mu_X}{\sigma_X}\rho \right)^2 \right]} ~dy \\ \\ &= \frac{1}{\sqrt{2\pi}\sigma_X} \exp{\left[ -\frac{(x-\mu_X)^2}{2\sigma_X ^2} \right]} \end{align*} \]

즉, \(\mathcal{N}(\mu_X,\sigma_X ^2)\) 의 pdf를 얻는다.

 

2. \(X\) 와 \(Y\) 역할을 바꾸면 같은 결과를 얻는다.

 

3. 1번, 2번 성질로 부터, \(X\) 의 평균은 \(\mu_X\), 분산은 \(\sigma_X^2\), \(Y\) 의 평균은 \(\mu_Y\), 분산은 \(\sigma_Y ^2\) 이므로, \(X\) 와 \(Y\) 의 correlation은

\[ \begin{align*} \rho_{XY} &= \frac{E[X-\mu_X][Y-\mu_Y]}{\sigma_X \sigma_Y} \\ \\ &= E\left[ \left( \frac{X-\mu_X}{\sigma_X} \right) \left( \frac{Y-\mu_Y}{\sigma_Y} \right) \right] \\ \\ &= \int _{-\infty} ^\infty \int _{-\infty} ^\infty \left( \frac{x-\mu_X}{\sigma_X} \right) \left( \frac{y-\mu_Y}{\sigma_Y} \right) f_{X,Y}(x,y) ~dxdy \end{align*} \]

이제 다음의 변수로 치환해보자.

\[ s= \left( \frac{X-\mu_X}{\sigma_X} \right) \left( \frac{Y-\mu_Y}{\sigma_Y} \right) ~~,~~ t=\frac{x-\mu_X}{\sigma_X} \]

그러면 \(dxdy = \left| \frac{\sigma_X \sigma_Y}{t} \right| ~dsdt \) 이므로, 위 적분은

\[ \begin{align*} \rho_{XY} &= \int _{-\infty} ^\infty \int _{-\infty} ^\infty s\left( 2\pi \sigma_X \sigma_Y \sqrt{1-\rho^2} \right)^{-1} \\ \\ &~~~~~ \times \exp{\left[ -\frac{1}{2(1-\rho)^2} \left( t^2 - 2\rho s + \frac{s^2}{t^2} \right) \right]} \frac{\sigma_X \sigma_Y}{|t|} ~dsdt \\ \\ &= \int _{-\infty} ^\infty \frac{1}{\sqrt{2\pi}} \exp{\left(-\frac{t^2}{2} \right)} \left[ \int _{-\infty} ^\infty \frac{s}{\sqrt{2\pi}\sqrt{(1-\rho^2)t^2}} \exp{\left[ -\frac{(s-\rho t^2)^2}{2(1-\rho^2)t^2} \right]} ~ds \right] ~dt \end{align*} \]

대괄호 안쪽의 적분은 normal distribution \(\mathcal{N}(\rho t^2, (1-\rho^2)t^2)\) 의 expected value이므로 값이 \(\rho t^2\) 이 된다. 따라서

\[ \rho_{XY} = \int _{-\infty} ^\infty \frac{\rho t^2}{\sqrt{2\pi}} \exp{\left( -\frac{t^2}{2} \right)} ~dt \]

가 되고 이는 standard normal distribution의 variance에 \(\rho\) 를 곱한 값이므로 \(\rho_{XY} = \rho\) 를 얻는다.

 

4. 1번의 결과를 이용하여,

\[ f_{Y|X=x}(y) = \frac{f_{X,Y}(x,y)}{f_{X}(x)} \]

를 정리하면,

\[ f_{Y|X=x}(y) = \frac{1}{\sqrt{2\pi}\sigma_Y \sqrt{1-\rho^2}} \exp{\left[ -\frac{1}{2\sigma^2 \sqrt{1-\rho^2}}\left\{ (y-\mu_Y) - \left( \rho \frac{\sigma_Y}{\sigma_X}(x-\mu_X)\right) \right\}^2 \right]} \]

을 얻는다.

 

5. 이를 증명하기 위하여, 일단 다음을 체크하자.

\[ \begin{align*} E[aX+bY] &= a\mu_X + b\mu_Y \\ \\ \text{Var}(aX+bY) &= a^2 \text{Var}(X) + b^2 \text{Var}(Y) + 2ab \text{Cov}(X,Y) \\ \\ &= a^2 \sigma_X ^2 + b^2 \sigma_Y ^2 + 2ab \rho \sigma_X \sigma_Y \end{align*} \]

이제 남은 것은 \(aX+bY\) 가 normal distribution을 따르는지만 확인하면 5번은 증명된다. 이를 확인하기 위하여, \(U=aX+bY\), \(V=Y\) 로 transform하면^[각주:2], inverse jacobian determinant는 \(\frac{1}{a}\) 이므로

\[ f_{U,V}(u,v) = \frac{1}{\pi a \sqrt{1-\rho^2}} \exp{\left[ -\frac{1}{2(1-\rho^2)} \left\{ \left(\frac{1}{a}(u-bv) \right)^2 - 2 \frac{\rho}{a}(u-bv)+v^2 \right\} \right]} \]

이제 exp 안쪽을 전개하여 정리하면,

\[ \frac{1}{2(1-\rho^2)} \left[ \frac{b^2 + 2 \rho ab + a^2}{a^2} \right] \left[ \frac{u^2}{b^2 + 2\rho ab + a^2} - 2 \frac{b+a\rho}{b^2 + 2 \rho ab + a^2} vu + v^2 \right] \]

이므로 \(f_{U,V}\) 는 다시 bivariate normal distribution이 된다. 이 때,

\[ \begin{align*} \mu_U &= \mu_V = 0 \\ \\ \sigma_U ^2 &= a^2 + b^2 + 2ab \rho \\ \\ \sigma_V ^2 &= 1 \\ \\ \rho' &= \frac{a\rho + b}{\sqrt{a^2 + b^2 + ab\rho}} \end{align*} \]

를 각각 평균, 분산, correlation으로 가진다. 또한, 1번 성질에 의하면, \(aX+bY\) 는 normal distribution이므로 5번 성질은 성립한다.

(증명 끝)

 

#Marginal Normality Does Not Imply Bivariate Normality

위의 성질에서 주의해야 할 것은 1번과 2번의 역은 성립하지 않는다. 즉, 어떤 두 random variable이 각각 normal distribution이라고 하더라도, 이 둘의 joint pdf는 bivariate normal distribution이 되는 것은 아니다. 이러한 사실을 다음 예제를 통해 살펴보자.

 

Example

1. 먼저 서로 독립인 random variable \(X\) 와 \(Y\) 가 각각 \(\mathcal{N}(0,1)\) 분포를 따른다고 하자. 여기에 다음과 같이 새로운 random variable \(Z\) 를 다음과 같이 정의하자.

\[ Z = \left\{ \begin{array}{cl} X & \text{if } XY>0 \\ -X & \text{otherwise} \end{array} \right. \]

이제,^[각주:3]

\[ \begin{align*} A_0 &= \{ (x,y)~:~ x=0 \text{ or } y=0 \} \\ \\ A_1 &= \{ (x,y) ~:~ xy>0 \} \\ \\ A_2 &= \{ (x,y) ~:~ xy<0 \} \end{align*} \]

를 정의하면, \(A_0\) 는 measure-zero이고, \(A_1\), \(A_2\) 각각에 대하여, transform \(Z\), \(S=Y\) 는 1대1 대응이 된다. 특히 \(A_1\) 에서는 \(X=Z\), \(Y=S\), 그리고 \(A_2\) 에서는 \(X=-Z\), \(Y=S\) 이므로^[각주:4]

\[ \begin{align*} f_{Z,S}(z,s) &= \sum_{i=1} ^2 f_{X,Y}(x_i,y_i) \left|J_i \right| \\ \\ &= f_{X,Y}(z,s) + f_{X,Y}(-z,s) \\ \\ &= \frac{1}{2\pi}e^{-\frac{z^2}{2}}e^{-\frac{s^2}{2}} + \frac{1}{2\pi}e^{-\frac{(-z)^2}{2}}e^{-\frac{s^2}{2}} \\ \\ &= \frac{1}{\pi} e^{-\frac{z^2}{2}}e^{-\frac{s^2}{2}} ~~~~\text{where } zs>0 \end{align*} \]

따라서 \(Z\) 의 marginal pdf는 

\[ f_Z(z) = \left\{ \begin{array}{ll} \int _0 ^\infty \frac{1}{\pi}e^{-\frac{z^2}{2}}e^{-\frac{s^2}{2}}~ds = \frac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}} & \text{if }z>0 \\ \\ \int _{-\infty} ^0 \frac{1}{\pi}e^{-\frac{z^2}{2}}e^{-\frac{s^2}{2}}~ds = \frac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}} & \text{if }z\le 0 \end{array} \right. \]

따라서 \(Z\) 는 \(\mathcal{N}(0,1)\) 의 분포를 따른다. 그러나 위의 과정에서 \(Z\) 와 \(Y\) 의 joint pdf를 살펴보자.

\[ f_{Z,S} (z,s) = \left\{ \begin{array}{cl} \frac{1}{\pi} e^{-\frac{z^2}{2}}e^{-\frac{s^2}{2}} & \text{if }zs>0 \\ \\ 0 & \text{otherwise} \end{array} \right. \]

이 분포는 bivariate normal distribution이 아니다. 따라서, marginal distribution이 각각 normal distribution이라고 하더라도 그 두 random variable의 joint distribution이 반드시 bivariate normal distribution이 되는 것은 아니다.

 

 

1. 아래 식에서 적분 계산은 3.7 정규 분포 Normal Distribution 참고 [본문으로]
2. 이에 대한 자세한 내용은 4.4 랜덤 변수의 변환 (2) Transformations of Random Variables (2) 참고 [본문으로]
3. 변환에 대한 자세한 내용은 4.4 랜덤 변수의 변환 (2) Transformations of Random Variables (2) 참고 [본문으로]
4. \\(J_1\\), \\(J_2\\) 는 각각 \\(A_1\\), \\(A_2\\) 에서 inverse Jacobian determinant [본문으로]