[통계학] 4.2 두 개의 랜덤 변수에서 조건부 확률 Conditional Probability Distributions of Two Random Variables

여러 측정값을 가지는 통계 실험에서, 특정한 측정값이 고정된 상태에서 어떤 변수가 어떻게 분포하는지 관심을 가지는 경우가 많다. 예를 들어, 경기 지역에서 부동산 가격이 4억으로 고정된 상태에서 부동산 크기의 분포가 어떻게 되는지 관심을 가질 수 있다. 이러한 내용은 1.3 조건부 확률, 독립 사건 Conditional Probability, Independent Events에서 정의한 조건부 확률의 개념을 이용하여 표현할 수 있다. 이번 페이지에서는 다중 랜덤 변수(즉, random vector)에서 조건부 확률을 살펴본다. 이하에서는 먼저 개념 정의 복잡함을 피하기 위하여 $n$-차원 random vector 대신 2차원 random vector $(X,Y)$ 를 사용한다. 2차원 random vector에 대하여 먼저 정리한 후에 다시 더 많은 random variable을 다루도록 한다.

 

#Conditional pmfs

만약 random vector가 discrete한 경우, $X$ 와 $Y$ 가 각각 특정한 값을 가질 확률은 joint pmf로 직접 표현이 된다. 따라서 1.3 조건부 확률, 독립 사건 Conditional Probability, Independent Events에서 살펴본 조건부 확률의 정의

$$P(Y=y|X=x)=\frac{P(Y=y\text{and }X=x)}{P(X=x)}$$

가 그대로 사용될 수 있다. 분자의 $P(Y=y\text{and }X=x)$ 는 joint pmf $f(x,y)$ 이고, 분모의 $P(X=x)$ 는 marginal pmf $f_X(x)$ 이다. 따라서 discrete random vector의 경우, 다음과 같이 조건부 확률의 분포를 정의할 수 있다.

 

DEFINITION                    Conditional pmfs

$(X,Y)$ 를 discrete 2차원 random vector라고 하고, joint pmf를 $f(x,y)$, $X$ 와 $Y$ 의 marginal pmf를 각각 $f_X(x)$, $f_Y(y)$ 라고 하자. 확률이 0이 아닌 랜덤 변수 $X$ 의 값 $x$ 에 대하여, 다음과 같이 정의되는 함수를 $X=x$ 일 때 $Y$ 의 conditional pmf라고 부른다.
$$f(y|x)=P(Y=y|X=x)=\frac{f(x,y)}{f_X(x)}$$
반대로, 확률이 0이 아닌 랜덤 변수 $Y$ 의 값 $y$ 에 대하여, $Y=y$ 일 때 $X$ 의 conditional pmf를 다음과 같이 정의한다.
$$f(x|y)=P(X=x|Y=y)=\frac{f(x,y)}{f_Y(y)}$$

 

이름에서 알 수 있듯이 conditional pmf도 pmf이다. $f(x,y)\ge 0$ 와 $f_X(x)\ge 0$ 이므로 당연히 $f(y|x)\ge 0$ 이다. 따라서 확률의 총합이 1인 것만 확인하면 된다.

$$\sum _{y}f(y|x)=\frac{\sum _{y}f(x,y)}{f_X(x)}=\frac{f_X(x)}{f_X(x)}=1$$

 

Example

Random vector $(X,Y)$ 에 대하여 다음과 같이 정의된 joint pmf $f(x,y)$를 생각해보자.

$$\begin{array}{c}f(0,10)=f(0,20)=\frac{2}{18}\\ f(1,10)=f(1,30)=\frac{3}{18}\\ f(1,20)=\frac{4}{18}\\ f(2,30)=\frac{4}{18}\end{array}$$

이 pmf에 대하여 $X$ 의 marginal pmf는 쉽게 계산할 수 있다.

$$\begin{array}{rl}{f}_X(0)& =f(0,10)+f(0,20)=\frac{4}{18}\\ f_X(1)& =f(1,10)+f(1,20)+f(1,30)=\frac{10}{18}\\ f_X(2)& =f(2,30)=\frac{4}{18}\end{array}$$

이를 이용하여 $X=0$ 일 때 $Y$ 의 conditional pmf를 구할 수 있다. $X=0$ 일 때, $Y=10$ 일 conditional probability는

$$f(10|0)=\frac{f(0,10)}{f_X(0)}=\frac{1}{2}$$

$X=1$ 일 때, $Y=20$ 일 conditional probability는

$$f(20|0)=\frac{f(0,20)}{f_X(0)}=\frac{1}{2}$$

를 구할 수 있다. 같은 방식으로 $X=1$ 일 때, $Y$ 의 conditional pmf를 다음과 같이 구할 수 있다.

$$\begin{array}{c}f(10|1)=f(30|1)=\frac{3}{10}\\ f(20|1)=\frac{4}{10}\end{array}$$

 

#Conditional pdfs

만약 random vector가 continuous한 경우에는 약간 상황이 다르다. continuous의 경우에는 조건부 확률의 정의에서 분모에 해당하는 $P(X=x)$ 가 항상 0이기 때문에 조건부 확률의 정의를 직접 사용할 수 없다. 대신 식 $\text{(???)}$ 에서 pmf를 pdf로 바꿔서 정의하여 conditional pdf를 정의할 수 있다.

 

DEFINITION                    Conditional pdfs

$(X,Y)$ 를 continuous 2차원 random vector라고 하고, joint pdf를 $f(x,y)$, $X$ 와 $Y$ 의 marginal pdf를 각각 $f_X(x)$, $f_Y(y)$ 라고 하자. $f_X(x)>0$ 인 $x$ 에 대하여, 다음과 같이 정의되는 함수를 $X=x$ 일 때 $Y$ 의 conditional pdf라고 부른다.
$$f(y|x)=\frac{f(x,y)}{f_X(x)}$$
반대로, $f_Y(y)>0$ 인 $y$ 에 대하여, $Y=y$ 일 때 $X$ 의 conditional pdf를 다음과 같이 정의한다.
$$f(x|y)=\frac{f(x,y)}{f_Y(y)}$$

 

conditional pmf가 pmf였던 것처럼, conditional pdf도 pdf이다. 이를 확인하기 위해서, 먼저 $f(x,y)\ge 0$, $f_X(x)\ge 0$ 이므로, 당연히 $f(y|x)\ge 0$ 이다. 그리고,

$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(y|x)dy=\frac{1}{f_X(x)}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x,y)dy=\frac{f_X(x)}{f_X(x)}=1$$

즉, 확률의 총합은 1이다. 따라서 conditional pdf는 pdf이다.

 

Example

Random vector $(X,Y)$ 에 대하여, 다음과 같이 정의되는 joint pdf를 생각해보자.

$$f(x,y)=\{\begin{array}{cl}{e}^{-y}& \text{if }0<x<y<\mathrm{\infty }\\ 0& \text{otherwise}\end{array}$$

이 joint pdf에서 $X=x$ 일 때 $Y$ 의 conditional pdf를 구해보자. 이를 위해서는 $X$ 의 marginal pdf가 필요하다. 여기에서 주의해야 할 것은 support가 단순한 직사각형이 아니기 때문에 적분 구간에 대해서 신경써야 한다. $X=x$ 일 때 marginal pdf는

$$f_X(x)={\int }_x^{\mathrm{\infty }}{e}^{-y}dy=e^{-x}$$

따라서 $X=x$ 일 때 $Y$ 의 conditional pdf는

$$f(y|x)=\frac{f(x,y)}{f_X(x)}=\{\begin{array}{cl}{e}^{-(y-x)}& \text{if }0<x<y<\mathrm{\infty }\\ 0& \text{otherwise}\end{array}$$

예를 들어, $X=1$ 일 때 $Y$ 의 conditional pdf는

$$f(y|X=1)=e^{-(y-1)}\text{, where }y>1$$

$X=2$ 일 때 $Y$ 의 conditional pdf는

$$f(y|X=2)=e^{-(y-2)}\text{, where }y>2$$

$X$ 의 값이 다를 경우 $Y$ 의 conditional pdf의 구체적인 함수가 다르다는 것을 알 수 있다. (이 경우에는 $Y$ 의 support도 달라진다.)

 

#Conditional Expected Values

conditional pdf(discrete한 경우에는 conditional pmf) $f(y|x)$ 는 $X$ 가 $x$ 로 고정된 상태이므로, 사실상 $y$ 만의 pdf가 된다. 따라서 $X=x$ 일 때 $Y$ 의 expected value는 다음과 같이 계산할 수 있다. (discrete한 경우에는 ${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}dy$ 대신 $\sum _y$)

$$E[Y|x]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}yf(y|x)dy$$

더 일반적으로 $X=x$ 일 때 $Y$ 의 함수 $g(Y)$ 의 expected value는 다음과 같이 계산된다.

$$E[g(Y)|x]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(y)f(y|x)dy$$

 

Example

위의 예제에서 살펴본 joint pdf에 대하여 conditional expected value $E[Y|x]$ 를 구해보자. $X=x$ 일 때 $Y$ 의 conditional pdf는

$$f(y|x)=e^{-(y-x)}\text{, where}y>x>0$$

이므로 $X=x$ 일 때 conditional expected value는

$$E[Y|x]={\int }_x^{\mathrm{\infty }}y{e}^{-y-x}dy=1+x$$

이러한 방식으로 $X=x$ 일 때 $Y$ 의 variance 역시 구할 수 있다.

$$\begin{array}{rl}\text{Var}(Y|x)& =E[Y^2|x]-{(E[Y|x])}^2\\ \\ & ={\int }_x^{\mathrm{\infty }}{y}^2{e}^{-(y-x)}dy-(1+x{)}^2=1\end{array}$$