[통계학] 4.4 랜덤 변수의 변환 (2) Transformations of Random Variables (2)

2.1 랜덤 변수의 변환 (1) Transformations of Random Variables (1)에서 랜덤 변수 1개에 대한 확률 분포의 변환에 대하여 살펴보았다. 이번 페이지에서는 랜덤 변수 2개에 대한 확률 분포의 변환에 대하여 살펴보자.

 

#Basic Idea

2차원 랜덤 벡터 $(X,Y)$ 에 대하여, 다음과 같이 정의되는 새로운 2차원 랜덤 벡터 $(U,V)$ 를 생각해보자.

$$\begin{array}{rl}U& =g_1(X,Y)\\ \\ V& =g_2(X,Y)\end{array}$$

우리가 원하는 것은 관심이 있는 $(U,V)$ 의 사건 $B$ 의 확률을 기존에 알고 있는 랜덤 벡터 $(X,Y)$ 의 확률로 표현하는 것이다. $(U,V)$ 가 사건 $B$ 에 속해 있다는 것은, $(X,Y)$ 를 변환한 후에는 $B$ 에 들어가 있다는 것과 같으므로,

$$P((U,V)\in B)=P((X,Y)\in A)\text{where }A=\{(x,y):(g_1(x,y),g_2(x,y))\in B\}$$

가 되어야 한다.

 

#Discrete Case

2차원 랜덤 벡터 $(X,Y)$ 가 discrete한 경우, 확률은 joint pmf로 직접 표현이 된다. 특히 우리가 관심이 있는 것은, $U=u$, $V=v$ 일 확률이므로,

$$A_{u,v}=\{(x,y):g_1(x,y)=u\text{and }{g}_2(x,y)=v\}$$

로 정의하면, $(U,V)$ 의 joint pdf는

$$f_{U,V}(u,v)=P(U=u,V=v)=P((X,Y)\in A_{u,v})=\sum _{(x,y)\in A_{u,v}}{f}_{X,Y}(x,y)$$

가 된다.

 

Example

$X\sim \text{Pois}(\lambda )$, $Y\sim \text{Pois}(\eta )$ 가 서로 independent하다고 하면, $X$ 와 $Y$ 의 joint pmf는

$$f_{X,Y}(x,y)=\frac{{\lambda }^x}{x!}{e}^{-\lambda }\frac{{\eta }^y}{y!}{e}^{-\eta }\text{where }x=0,1,2,\cdots ,y=0,1,2,\cdots$$

가 된다. 이제 새로운 랜덤 변수 $U=X+Y$ 와 $V=Y$ 를 정의해보자. 위의 논의에서 사용한 표현대로 하면,

$$\begin{array}{rl}{g}_1(x,y)& =x+y\\ \\ g_2(x,y)& =y\end{array}$$

가 된다. 주어진 $u$, $v$ 에 대하여 $A_{u,v}$ 를 구하면,

$$A_{u,v}=\{(u-v,v)\}$$

즉, 하나의 점 밖에 없다. 따라서,

$$\begin{array}{rl}{f}_{U,V}(u,v)& =\sum _{(x,y)\in A_{u,v}}{f}_{X,Y}(x,y)=f_{X,Y}(u-v,v)\\ & =\frac{{\lambda }^{u-v}}{(u-v)!}{e}^{-\lambda }\frac{{\eta }^v}{v!}{e}^{-\eta }\text{where }v=0,1,2,...,u=v,v+1,v+2,\cdots \end{array}$$

 

이 joint pmf에서 $V$ 는 정의 상 $Y$ 와 같으니 $U$ 의 marginal pmf를 구해보자. 주어진 $u$ 에 대하여 가능한 $v$ 는 0부터 $u$ 까지만 가능하므로, $U$ 의 marginal pmf는

$$\begin{array}{rl}{f}_U(u)& =\sum _{v=0}^u{f}_{U,V}(u,v)\\ & =e^{-(\lambda +\eta )}\sum _{v=0}^u\frac{1}{(u-v)!v!}{\lambda }^{u-v}{\eta }^v\\ & =\frac{1}{u!}{e}^{-(\lambda +\eta )}\sum _{v=0}^u\frac{u!}{(u-v)!v!}{\lambda }^{u-v}{\eta }^v\\ & =\frac{1}{u!}{e}^{-(\lambda +\eta )}\sum _{v=0}^u\left(\begin{array}{c}u\\ v\end{array}\right){\lambda }^{u-v}{\eta }^v\end{array}$$

맨 마지막 항은 3.2 베르누이 분포, 이항 분포 Bernoulli Distribution, Binomial Distribution에서 살펴본 이항 정리의 우변과 같으므로

$$f_U(u)=\frac{(\lambda +\eta {)}^u}{u!}{e}^{-(\lambda +\eta )}$$

를 얻을 수 있다. 이 pmf는 parameter가 $\lambda +\eta$ 인 Poisson distribution이다. 따라서 다음과 같은 결론을 얻을 수 있다.

 

서로 independent인 랜덤 변수 $X\sim \text{Pois}(\lambda )$, $Y\sim \text{Pois}(\eta )$ 의 합은 Poisson distribution을 따른다. 즉,
$$X+Y\sim \text{Pois}(\lambda +\eta )$$

 

#Continuous Case

One-to-One Transformation Case

2.1 랜덤 변수의 변환 (1) Transformations of Random Variables (1)에서 1개의 continuous 랜덤 변수 변환이 one-to-one 인 경우 pdf의 변환은 다음과 같은 식으로 주어졌었다.

$$f_Y(y)=f_X(g^{-1}(y))|\frac{d}{dy}{g}^{-1}(y)|$$

다차원 랜덤 벡터의 경우에는 식 $\text{(???)}$을 다변수 함수로 바꾸면 된다. 다만 마지막의 미분항은, cdf를 미분하는 과정에서 생기는 항이므로, 적분에서 다변수 함수의 change of variable을 할 때 도입이 되는 Jacobian을 사용해야 한다. 따라서, one-to-one 변환의 경우에는 joint pdf는 다음과 같은 식으로 변환이 된다.

 

THEOREM
$$f_{U,V}(u,v)=f_{X,Y}(g_1^{-1}(u,v),g_2^{-1}(u,v))\left|\begin{array}{cc}\frac{\partial x}{\partial u}& \frac{\partial x}{\partial v}\\ \frac{\partial y}{\partial u}& \frac{\partial y}{\partial v}\end{array}\right|$$

 

Example

$X\sim \text{Beta}(\alpha ,\beta )$, $Y\sim \text{Beta}(\alpha +\beta ,\gamma )$ 가 서로 independent하다고 하자. 그러면 joint pdf는

$$f_{X,Y}(x,y)=\frac{1}{B(\alpha ,\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}\frac{1}{B(\alpha +\beta ,\gamma )}{y}^{\alpha +\beta -1}(1-y{)}^{\gamma -1}\text{where }0<x<1,0<y<1$$

가 된다. 이제 새로운 랜덤 변수 $U=XY$ 와 $V=X$ 를 정의해보자. 즉,

$$\begin{array}{rl}{g}_1(x,y)& =xy\\ \\ g_2(x,y)& =x\end{array}$$

이 변환은 1-1 함수라는 것을 쉽게 알 수 있다. 즉, 주어진 $(u,v)$ 에 대하여, $g_1(x,y)=u$, $g_2(x,y)=v$ 가 되는 $x$, $y$는 

$$\begin{array}{l}x=g_1^{-1}(u,v)=v\\ y=g_2^{-1}(u,v)=\frac{u}{v}\end{array}\text{where }\begin{array}{l}0<v<1\\ 0<u<v\end{array}$$

라는 것을 쉽게 알 수 있다. 이 변환에 대한 Jacobian은

$$J=det\left(\begin{array}{cc}\frac{\partial }{\partial u}{g}_1^{-1}(u,v)& \frac{\partial }{\partial v}{g}_1^{-1}(u,v)\\ \frac{\partial }{\partial u}{g}_2^{-1}(u,v)& \frac{\partial }{\partial v}{g}_2^{-1}(u,v)\end{array}\right)=det\left(\begin{array}{cc}0& 1\\ \frac{1}{v}& -\frac{u}{v^2}\end{array}\right)=-\frac{1}{v}$$

이므로 식 $\text{(???)}$에 대입하면,

$$f_{U,V}(u,v)=\frac{1}{B(\alpha ,\beta )}{v}^{\alpha -1}(1-v{)}^{\beta -1}\frac{1}{B(\alpha +\beta ,\gamma )}{\left(\frac{u}{v}\right)}^{\alpha +\beta -1}{(1-\frac{u}{v})}^{\gamma -1}|-\frac{1}{v}|\text{where }0<u<v<1$$

당연히 $V$ 의 marginal pdf는 $X$ 와 같다. $U$ 의 marginal pdf는 위 식을 $v$ 에 대하여 적분하여 얻어진다. 먼저, Beta function의 정의로부터

$$\frac{1}{B(\alpha ,\beta )}\frac{1}{B(\alpha +\beta ,\gamma )}=\frac{\mathrm{\Gamma }(\alpha +\beta )}{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )}\frac{\mathrm{\Gamma }(\alpha +\beta +\gamma )}{\mathrm{\Gamma }(\alpha +\beta )\mathrm{\Gamma }(\gamma )}=\frac{\mathrm{\Gamma }(\alpha +\beta +\gamma )}{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )\mathrm{\Gamma }(\gamma )}$$

그리고 나머지 부분도,

$$v^{\alpha -1}(1-v{)}^{\beta -1}{\left(\frac{u}{v}\right)}^{\alpha +\beta -1}{(1-\frac{u}{v})}^{\gamma -1}|-\frac{1}{v}|=u^{\alpha -1}{(\frac{u}{v}-u)}^{\beta -1}{(1-\frac{u}{v})}^{\gamma -1}\frac{u}{v^2}$$

따라서,

$$f_U(u)={\int }_u^1{f}_{U,V}(u,v)dv=\frac{\mathrm{\Gamma }(\alpha +\beta +\gamma )}{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )\mathrm{\Gamma }(\gamma )}{u}^{\alpha -1}{\int }_u^1{(\frac{u}{v}-u)}^{\beta -1}{(1-\frac{u}{v})}^{\gamma -1}\frac{u}{v^2}dv$$

변수를 $t=\frac{u}{v-u}\frac{1}{1-u}$ 로 치환하면, $dt=-\frac{u}{v^2(1-u)}dv$ 이므로,

$$f_U(u)=\frac{\mathrm{\Gamma }(\alpha +\beta +\gamma )}{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )\mathrm{\Gamma }(\gamma )}{u}^{\alpha -1}(1-u{)}^{\beta +\gamma -1}{\int }_0^1{t}^{\beta -1}(1-t{)}^{\gamma -1}dt$$

이 때 마지막 적분은 $B(\beta ,\gamma )$ 의 적분 형태 정의이므로,

$$f_U(u)=\frac{\mathrm{\Gamma }(\alpha +\beta +\gamma )}{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )\mathrm{\Gamma }(\gamma )}{u}^{\alpha -1}(1-u{)}^{\beta +\gamma -1}\frac{\mathrm{\Gamma }(\beta )\mathrm{\Gamma }(\gamma )}{\mathrm{\Gamma }(\beta +\gamma )}=\frac{1}{B(\alpha ,\beta +\gamma )}{u}^{\alpha -1}(1-u{)}^{\beta +\gamma -1}$$

즉, $\text{Beta}(\alpha ,\beta +\gamma )$ 분포를 얻는다.

 

서로 independent인 랜덤 변수 $X\sim \text{Beta}(\alpha ,\beta )$, $Y\sim \text{Beta}(\alpha +\beta ,\gamma )$ 의 곱은 Beta distribution을 따른다. 즉,
$$XY\sim \text{Beta}(\alpha ,\beta +\gamma )$$

 

General Case

2.1 랜덤 변수의 변환 (1) Transformations of Random Variables (1)에서 일반적인 변환의 경우에는 pdf의 support를 분할하여, 각 영역에서 1대1 대응이 되도록 만들어 one-to-one case의 결과를 적용하였다. 다차원 random vector의 경우에도 마찬가지이다. 정리를 위해 다시 한번 조건을 살펴본다.

 

THEOREM

Random variable $X$ 와 $Y$ 의 joint pdf $f_{X,Y}(x,y)$ 에 대하여 새로운 random variable $U=g_1(X,Y)$, $V=g_2(X,Y)$ 라고 하자. $f_{X,Y}(x,y)$ 의 support를 $P((X,Y)\in A_0)=0$, $f_{X,Y}$ 가 각 $A_i$ 에 대하여 continuous 하도록 partition $A_0$, $A_1$, $A_2$, ..., $A_n$ 으로 나누었을 때, 각 $A_i$ 에 다음을 만족하는 함수 $g_{1i}$, $g_{2i}$를 정의할 수 있다고 하자.

1. $(x,y)\in A_i$ 에 대하여, $g_1(x,y)=g_{1i}(x,y)$, $g_2(x,y)=g_{2i}(x,y)$

2. $A_i$ 에서 $(u,v)=(g_{1i}(x,y),g_{2i}(x,y)$ 는 one-to-one

3. ${\mathcal{Y}}_i=\{(u,v):(u,v)=(g_{1i}(x,y),g_{2i}(x,y))\text{for }(x,y)\in A_i\}$ 에 대하여, ${\mathcal{Y}}_1={\mathcal{Y}}_2=\cdots ={\mathcal{Y}}_n=\mathcal{Y}$

4. $(x,y)=(g_{1i}^{-1}(u,v),g_{2i}^{-1}(u,v))$ 의 Jacobian $J_i$ 가 존재

그러면 $(U,V)$ 의 joint pdf는 다음과 같다.
$$f_{U,V}(u,v)=\{\begin{array}{cl}\sum _{i=1}^n{f}_{X,Y}(g_{1i}^{-1}(u,v),g_{2i}^{-1}(u,v))|J_i|& \text{if }(u,v)\in \mathcal{Y}\\ 0& \text{otherwise}\end{array}$$