[통계학] 4.3 서로 독립인 두 개의 랜덤 변수 Bivariate Independent Random Variables

지난 페이지에서 랜덤 변수가 \(X\), \(Y\), 이렇게 2개일 때, \(X\) 의 값에 따라 \(Y\) 가 어떻게 분포하는지는 conditional pdf

\[ f(y|x) = \frac{f(x,y)}{f_X(x)} \]

로 정의된다는 것을 살펴보았다. 경우에 따라서는 conditional pdf \(f(y|x)\) 가 \(x\) 가 무엇인지에 상관없이 항상 똑같은 경우가 있을 수 있다. 즉, 랜덤 변수 \(Y\) 의 확률 분포는 다른 랜덤 변수 \(X\) 가 무엇이와 상관없이 '독립적'이라고 할 수 있다. 이번 페이지에서는 2개의 랜덤 변수가 어떤 경우에 서로 독립이라고 하는지 살펴보고, 서로 독립일 때 분포에는 어떤 특징들이 나타나는지 살펴보도록 한다.

 

#Independent Random Variables (Bivariate Case)

DEFINITION                    Independent Random Variables (Bivariate Case)

랜덤 변수 \(X\) 와 \(Y\) 에 대하여 joint pdf (discrete한 경우에는 joint pmf)를 \(f(x,y)\), \(X\) 와 \(Y\) 의 marginal pdf를 각각 \(f_X(x)\), \(f_Y(y)\) 라고 하자. 만약, 모든 \(x\), \(y\) 에 대하여,
\[ f(x,y) = f_X(x) f_Y(y) \]를 만족하는 경우 \(X\) 와 \(Y\) 는 서로 independent하다고 부른다. 

 

위의 정의대로 \(X\) 와 \(Y\) 가 independent한 경우, \(X=x\) 일 때 \(Y\) 의 conditional pdf는 정의로부터

\[ f(y|x) = \frac{f(x,y)}{f_X(x)} = \frac{f_X(x)f_Y(y)}{f_X(x)} = f_Y(y) \]

가 된다. 즉, \(x\) 가 어떤 값을 가지더라도 \(Y\) 의 분포는 변함없이 똑같기 때문에, 서로 독립인 경우에는 \(X=x\) 라는 사실이 \(Y\) 의 분포를 결정하는데 아무런 정보도 제공하지 않는다고 말하기도 한다.

 

위의 정의를 그대로 적용하려면, joint pdf가 marginal pdf \(f_X(x)\) 와 \(f_Y(y)\) 의 곱으로 되어 있어야한다. 즉, independent임을 확인하기 위해서는 marginal pdf \(f_X(x)\) 와 \(f_Y(y)\) 를 알고 있어야 한다. 하지만, 다음의 보조 정리를 이용하면, joint pdf의 함수 형태만 보고도 바로 independent임을 판단할 수 있다.

 

LEMMA

랜덤 변수 \(X\) 와 \(Y\) 에 대하여 joint pdf (discrete한 경우에는 joint pmf)를 \(f(x,y)\) 라고 하자. 만약, 모든 \(x\), \(y\) 에 대하여, joint pdf가
\[ f(x,y) = g(x)h(y) \]즉, 어떤 x만의 함수와 y만의 함수의 곱 형태로 표현되면, \(X\) 와 \(Y\) 는 서로 independent하다.

 

즉, x만의 함수와 y만의 함수의 곱 형태로 joint pdf가 표현되는 경우에는 각 함수가 marginal pdf인지 확인할 필요 없이 바로 independent라고 할 수 있다는 뜻이다. 아래의 증명에서 확인할 수 있들이, 예상하는 것처럼 각 marginal pdf는 x만의 함수, y만의 함수에 상수배 한것과 같다.

 

(증명)

\(f(x,y)=g(x)h(y)\) 에서 각 함수의 적분 결과를 다음과 같이 정의하자.

\[ \int _\infty ^\infty g(x)~dx = \alpha \]

\[ \int _\infty ^\infty h(y)~dy = \beta \]

이 때, \(f(x,y)\) 를 적분하면, 총 확률의 합이 1이 되어야 하므로 \(\alpha \beta = 1\) 을 만족해야 한다. 이제 각 marginal pdf를 구해보면,

\[ f_X(x) = \int _\infty ^\infty f(x,y) ~dy = g(x) \int _\infty ^\infty h(y) ~dy = \beta g(x) \]

\[ f_Y(y) = \int _\infty ^\infty f(x,y) ~dx = h(y) \int _\infty ^\infty g(x) ~dx = \alpha h(y) \]

따라서

\[ f_X(x)f_Y(y) = \alpha\beta g(x) h(y) = g(x)h(y) = f(x,y) \]

즉, \(X\) 와 \(Y\) 는 서로 independent하다.

(End of proof)

 

Example 1

랜덤 변수 \(X\) 와 \(Y\) 의 joint pdf가

\[ f(x,y) = \frac{1}{48} xy^4e^{-(x+y)} ~~~~~ \text{where } x, y> 0\]

인 경우 \(f(x,y) = \left[ \frac{1}{48}xe^{-x} \right] \left[ y^4 e^{-y} \right] \) 로 쓸 수 있으므로 보조 정리에 의하여 \(X\) 와 \(Y\) 는 independent하다.

 

Example 2

4.2 두 개의 랜덤 변수에서 조건부 확률 Conditional Probability Distributions of Two Random Variables에서 살펴본 예제를 다시 살펴보자.

\[ f(x,y) = \left\{ \begin{array}{cl} e^{-y} & \text{if } 0<x<y<\infty \\ 0 & \text{otherwise} \end{array} \right. \]

이 경우에는 얼핏 보면 joint pdf가 \(x\) 만의 함수와 \(y\) 만의 함수의 곱 형태로 쓰여진 것처럼 보이지만, 그렇지 않다. 이 joint pdf의 경우 아무리 구간을 나누어서 \(g\) 와 \(h\) 를 정의하더라도, 모든 \(x\), \(y\) 에 대하여, \(f(x,y) = g(x)h(y)\) 로 나타낼 수 있는 방법이 없다. 고정된 하나의 \(x\) 또는 고정된 하나의 \(y\) 에 대해서는 \(x\) 만의 함수와 \(y\) 만의 함수의 곱 형태로 표현할 수 있지만, 전체에 대해서는 정의할 수 있는 방법이 없다.

 

즉, joint pdf가 정의되는 정의역이 복잡한 경우에는 independent를 판단하는데 있어 주의를 기울여야 한다. 실제로 4.2 두 개의 랜덤 변수에서 조건부 확률 Conditional Probability Distributions of Two Random Variables에서 구한 \(f(y|x)\) 를 살펴보면, \(x\) 값에 따라서 함수값이 바뀌는 것을 확인할 수 있다.

 

#Expectation of Independent Random Variables

두 개의 랜덤 변수가 independent이면, 랜덤 변수 \(XY\) 의 expectation도 더 쉽게 계산할 수 있다.

 

THEOREM

두 랜덤 변수 \(X\) 와 \(Y\) 가 independent라고 하자. \(x\) 에 대한 함수 \(g(x)\), \(y\) 에 대한 함수 \(h(x)\) 에 대하여,
\[ E[~g(X)h(Y)~] = E[g(X)]E[h(X)] \]

 

(증명)

\(X\) 와 \(Y\) 의 joint pdf를 \(f(x,y)\), marginal pdf를 각각 \(f_X(x)\), \(f_Y(y)\) 라고 하면,

\[ \begin{align*} E[~g(X)h(Y)~] &= \int _{-\infty} ^\infty \int _{-\infty} ^{\infty} g(x)h(y)f(x,y) ~dxdy \\ &= \int _{-\infty} ^\infty \int _{-\infty} ^{\infty} g(x)h(y)f_X(x)f_Y(y) ~dxdy \\ &= \left( \int _{-\infty} ^{\infty} g(x)f_X(x) ~dx \right) \left( \int _{-\infty} ^{\infty} h(y)f_Y(y) ~fy \right) \\ &= E[g(X)] E[h(X)] \end{align*} \]

랜덤 변수가 discrete한 경우에는 적분 대신 \(\sum\) 으로 표현하면 같은 결과를 얻는다.

(End of proof)

 

위 정리에 indicator function을 이용하면, 다음의 결과를 얻을 수 있다.

 

COLLORARY

두 랜덤 변수 \(X\) 와 \(Y\) 가 independent한 경우, 임의의 집합 \(A \subset \mathbb{R}\), \(B \subset \mathbb{R}\) 에 대하여,
\[ P(X\in A, Y\in B) = P(X\in A) P(Y\in B) \]

 

(증명)

다음과 같은 함수를 정의하자.

\[ g(x) = \left\{ \begin{array}{cl} 1 & \text{if }x \in A \\ 0 & \text{if }x \notin A \end{array} \right. \]

이러한 함수를 집합 \(A\) 의 indicator 함수 (또는 characteristic 함수) 라고 부른다. 마찬가지로 \(B\) 의 indicator 함수를 \(h(y)\) 라고 정의하자. 이제 집합 \(C\) 를 다음과 같이 정의하면,

\[ C= \{ (x,y)~:~ x\in A ~,~ y\in B~\} \]

\(g(x)h(y)\) 가 집합 \(C\) 의 indicator 함수가 됨을 쉽게 확인할 수 있다. 따라서 (아래식은 직접 확인해 볼 것)

\[ P(X\in A, Y\in B) = P((X,Y)\in C) = E[g(X)h(Y)] \]

이고 \(X\) 와 \(Y\) 가 independent이므로

\[ P(X\in A, Y\in B) = E[g(X)]E[h(Y)] = P(X\in A)P(Y\in B) \]

(End of proof)

 

Example

랜덤 변수 \(X \sim \text{exponential}(1) \), \(Y \sim \text{exponential}(2) \) 가 서로 independent하다고 하자. 이 때, 랜덤 변수 \(X Y^2\) 의 expectation은 independent 성질로부터

\[ E[XY^2] = E[X]E[Y^2] \]

이고, \(E[Y^2] = \text{Var}(Y) + E[Y] \), exponential distribution의 평균은 \(\frac{1}{\lambda}\), 분산은 \(\frac{1}{\lambda^2}\) 이라는 것을 이용하면,

\[ E[XY^2] = E[X]\{\text{Var}(Y) - (E[Y])^2\} = \frac{1}{2} \]

를 쉽게 계산할 수 있다. 이 결과는 joint pdf
\[ f(x,y) = 2e^{-x}e^{-2y} ~~~~~~\text{where} x \le 0 ~,~ y\le 0 \]

를 이용하여 직접 expectation을 계산한 값과 같다. (직접 확인해 볼것)