[통계학] 2.1 랜덤 변수의 변환 (1) Transformations of Random Variables (1)

많은 실험이나 조사에서 어떤 현상의 random variable을 직접 다루기 보다는 random variable을 변형하여 사용하기도 한다. 인구 통계나 GDP 통계와 같이 절대적 변화량보다 상대적 변화량이 중요한 통계의 경우 random variable에 로그를 이용하여 변형 후 다루기도 한다. 이렇게 변형된 random variable의 cdf^[각주:1], pdf^[각주:2]는 당연히 변형되기 이전 random variable의 cdf, pdf와 연관된 다른 형태로 변형될 것이다. 이번 페이지에서는 이와 같은 random variable이 transformation되면 cdf, pdf가 어떻게 변환되는지 살펴본다.

 

Examples 1

Random variable \(X\) 에 대하여 cdf를 \(F_X(x)\) 라고 하자. 이제 새로운 random variable \(Y\) 를 \(Y=X^3\)이라고 했을 때, \(F_Y(y)\)를 \(F_X(x)\)를 이용하여 표현해보자. 먼저 cdf의 정의로부터

\[ F_Y(y) = P (Y \le y) = P ( X^3 \le y) \]

그런데 \(X^3\) 은 증가함수이므로 \( X^3 \le y ~\Leftrightarrow X \le \sqrt[3]{y}\), 따라서

\[ F_Y(y) = P(X\le \sqrt[3]{y}) = F_X(\sqrt[3]{y}) \]

임을 알 수 있다. 그리고 \(X\)의 pdf를 \(f_X(x)\) 라고 하면, \(Y\)의 pdf는

\[ f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{d}{dy} F_X(\sqrt[3]{y}) = \frac{d}{dx} F_X(x)\frac{d}{dx}\sqrt[3]{y} = \frac{f_X(\sqrt[3]{y})}{3\sqrt[3]{y^2}} \]

를 구할 수 있다.

 

Example 2

만약 새로운 random variable \(Z = -X^3\) 에 대해서 cdf와 pdf는 어떻게 될까? 먼저 cdf는

\[ F_Z(z) = P (Z \le z) = P (-X^3 \le z) \]

위의 경우와는 다르게, \( -X^3 \le z ~\Leftrightarrow X \ge \sqrt[3]{-z}\) 이므로

\[ F_Y(y) = P(X \ge \sqrt[3]{-z}) = 1 - P(X \le \sqrt[3]{-z}) = 1 - F_X(\sqrt[3]{z}) \]

또한 pdf는

\[ f_Z(z) = \frac{d}{dz} F_Z(z) = \frac{(\sqrt[3]{-z})}{3\sqrt[3]{z^2}} \]

을 구할 수 있다.

 

Example 3

더 복잡한 경우로 새로운 random variable \(T = X^2\)에 대해서 cdf는

\[ F_T(t) = P(T \le t) = P(X^2 \le t) \]

이 때, \(X^2 \le t ~ \Leftrightarrow -\sqrt{t} \le X \le \sqrt{t}\) 이므로 \(T\)의 cdf는 \(t>0\) 에서^[각주:3]

\[ F_T(t) = P(-\sqrt{t} \le X \le \sqrt{t}) = P(X \le \sqrt{t}) - P(X \le -\sqrt{t}) = F_X(\sqrt{t}) - F_X(-\sqrt{t}) \]

그리고 pdf는 \(t>0\) 에서

\[ F_T(t) = \frac{d}{dt} F_Z(z) = \frac{1}{2\sqrt{t}} \left[ f_X(\sqrt{t}) + f_X(-\sqrt{t}) \right] \]

가 된다.

 

#Monotone Case

위에서 보는 바와 같이 cdf의 정의상, transformation에 따라 pdf를 구하는 것이 복잡해진다. 예제에서 보는 바와 같이 계속 증가하는 함수나 감소하는 함수의 경우는 상대적으로 쉽게 구할 수 있다. 내용에 필요한 개념부터 정의하자.

 

DEFINITION            Support of Function

 

함수 \(f:X \to \mathbb{R}\) 에 대하여, 함수값이 0이 아닌 \(X\)의 원소들의 집합을 \(\mathrm{supp}(f)\) 로 쓰고 \(f\)의 support라고 부른다.

\[ \mathrm{supp}(f) = \{ x \in X ~|~ f(x) \ne 0 \} \]

 

예를 들어, \(f(x)=x^2\) 의 support는 \(x\ne 0\) 인 모든 실수가 된다.

 

DEFINITION            Monotone Function

 

함수 \(f:X \subset \mathbb{R} \to \mathbb{R}\) 이

 

     ① \(a<b\) 이면, \(f(a) < f(b)\) 를 항상 만족하면 \(f\)를 strictly increasing function이라고 한다.

 

     ② \(a<b\) 이면, \(f(a) \le f(b)\) 를 항상 만족하면 \(f\)를 non-decreasing function이라고 한다.

 

     ③ \(a<b\) 이면, \(f(a) > f(b)\) 를 항상 만족하면 \(f\)를 strictly decreasing function이라고 한다.

 

     ④ \(a<b\) 이면, \(f(a) \ge f(b)\) 를 항상 만족하면 \(f\)를 non-increasing function이라고 한다.

 

위 케이스 중 하나 이상에 해당할 경우 \(f\) 가 monotone이라고 부른다.

 

처음에 살펴본 예제와 같이 transform이 monotone function의 경우 cdf를 간단한 식으로 구할 수 있다.

 

THEOREM            

 

Random variable \(X\), pdf \(f_X(x)\) 에 대하여 새로운 random variable \(Y=g(X)\) 라고 하고, 집합 \(\mathcal{Y}\) 를 다음과 같이 정의하자.

\[ \mathcal{Y} = \left\{ y ~|~ y=g(x) ~ \text{for }~ x \in \mathrm{supp}(f_X) \right\} \]

     ① \(g\) 가 increasing function인 경우,

\[ F_Y(y) = F_X(g^{-1}(y)) ~ \text{for } ~ y \in \mathcal{Y} \]

     ② \(g\) 가 decreasing function이고 \(X\)가 continuous random variable인 경우

\[ F_Y(y) = 1 - F_X(g^{-1}(y)) ~ \text{for } ~ y \in \mathcal{Y} \]

 

(증명)

① \(g\)가 increasing function인 경우, \(g\)는 invertible하고, 역함수 \(g^{-1}\) 역시 increasing function이 된다. 따라서

\[ \begin{align*} \{ x \in \mathrm{supp}(f_X) ~|~ g(x) \le y\} &= \{ x \in \mathrm{supp}(f_X) ~|~ g^{-1}(g(x)) \le g^{-1}(y)\} \\ \\ &= \{ x \in \mathrm{supp}(f_X) ~|~ x \le g^{-1}(t)\} \end{align*} \]

이므로

\[ F_Y(y) = \int _{\{ x \in \mathrm{supp}(f_X) ~|~ x \le g^{-1}(t)\}} f_X(x) ~dx = \int _{-\infty} ^{g^{-1}(y)} f_X(x)~dx = F_X(g^{-1}(y)) \]

② \(g\)가 decreasing function인 경우, \(g\)는 invertible하고, 역함수 \(g^{-1}\) 역시 decreasing function이 된다. 따라서 

\[ \begin{align*} \{ x \in \mathrm{supp}(f_X) ~|~ g(x) \le y\} &= \{ x \in \mathrm{supp}(f_X) ~|~ g^{-1}(g(x)) \ge g^{-1}(y)\} \\ \\ &= \{ x \in \mathrm{supp}(f_X) ~|~ x \ge g^{-1}(t)\} \end{align*} \]

이므로 

\[ F_Y(y) = \int _{\{ x \in \mathrm{supp}(f_X) ~|~ x \ge g^{-1}(t)\}} f_X(x) ~dx = \int _{g^{-1}(y)} ^{\infty} f_X(x)~dx = 1 - F_X(g^{-1}(y)) \]

(증명끝)

 

위 결과를 직접 미분함으로써 monotone transform에 대한 pdf를 얻을 수 있다.

 

THEOREM            

 

Random variable \(X\), continuous pdf \(f_X(x)\) 에 대하여 새로운 random variable \(Y=g(X)\) 가 \(X\)에 대한 increasing 또는 decreasing function이고, \(g^{-1}\)의 continuous derivative가 존재한다고 하자. 또한 집합 \(\mathcal{Y}\) 를 다음과 같이 정의하자.

\[ \mathcal{Y} = \left\{ y ~|~ y=g(x) ~ \text{for } ~ x \in \mathrm{supp}(f_X) \right\} \]

그러면 transformed random variable \(Y\)에 대한 pdf \(f_Y(y)\)는 다음과 같이 주어진다.

\[ f_Y(f) = \left\{ \begin{array}{cl} f_X(g^{-1}(y)) \left| \frac{d}{dy} g^{-1}(y) \right| & \text{if }y \in \mathcal{Y} \\ 0 & \text{otherwise} \end{array} \right. \]

 

#General Case

일반적으로는 transform이 항상 increasing 또는 decreasing라고 할 수는 없을 것이다. 그럼에도 어떤 영역에서는 increasing이고 다른 영역에서는 decreasing이고 다시 increasing, decreasing 이런 식으로 나눌 수 있는 경우가 많다. 예를 들어, sine 함수의 경우 0~\(\frac{\pi}{2}\) 까지는 increasing이다가 \(\frac{\pi}{2}\)~\(\frac{3}{2}\pi\) 까지는 decreasing, 다시 increasing 이런식으로 영역을 나눌 수 있다. 이러한 경우에는 영역별로 나누어서 cdf에 누적해서 구할 수 있을 것이다. 위의 예제 \(T=X^2\) 가 이러한 방법을 이용한 것이다. 이를 일반화하면 다음과 같은 정리가 된다.

 

 

THEOREM

 

Random variable \(X\), pdf \(f_X(x)\) 에 대하여 새로운 random variable \(Y=g(X)\) 라고 하자. 또한 \(\mathrm{supp}(f_X)\)를 \(P(X \in A_0) =0\) , \(f_X\)가 각 \(A_i\) 에 대하여 continuous하도록 partition \(A_0\), \(A_1\), \(A_2\), ..., \(A_n\) 으로 나눌 수 있다고 하자. 그리고 각 \(A_i\)에 다음을 만족하는 함수 \(g_i\)를 정의할 수 있다고 하자.

 

     ① \(x\in A_i\) 에 대하여, \(g(x) = g_i(x)\)

 

     ② \(A_i\) 에서 \(g_i(x)\)는 increasing 또는 decreasing

 

     ③ \(\mathcal{Y}_i = \{ y ~|~ y = g_1(x) ~~ \text{for } ~ x\in A_i \}\)에 대하여, \(\mathcal{Y}_1 = \mathcal{Y}_2 = \cdots = \mathcal{Y}_n = \mathcal{Y} \)

 

     ④ \(g_i ^{-1}\)의 continuous derivative가 존재

 

그러면 \(Y\)의 pdf는 다음과 같다.

\[ f_Y(y) = \left\{ \begin{array}{cl} \sum_{i=1} ^n f_X (g_i ^{-1}(y))\left| \frac{d}{dy} g_i ^{-1}(y) \right| & \text{if } y \in \mathcal{Y} \\ 0 & \text{otherwise} \end{array} \right. \]

 

\(Y=X^2\), \(\mathrm{supp}(f_X) = \mathbb{R}\) 의 경우

\[ \begin{align*} A_0 &= \{ 0 \} \\ A_1 &= (-\infty,0) & g_1(x) &= x^2 & g_1^{-1}(y) &= -\sqrt{y} \\ A_2 &= (0,\infty) & g_2(x) &= x^2 & g_2 ^{-1}(y) &= \sqrt{y} \end{align*} \]

으로 설정하면,

 

   ① \(x\in A_i\) 에 대하여, \(g(x)= g_i(x)\)를 만족하고,

 

   ② \(A_1\) 에서 \(g_1\) 은 decreasing, \(A_2\) 에서 \(g_2\) 는 increasing

 

   ③ \(\mathcal{Y}_1 = \mathcal{Y}_2 = (0,\infty)\)

 

   ④ \(g_1 ^{-1}\), \(g_2 ^{-1}\) 의 continuous derivative가 존재함

 

따라서 위의 조건들을 모두 만족함을 알 수 있다. 위의 정리에 의해

\[ f_Y(y) = \sum _{i=1} ^2 f_X(g_i ^{-1} (y)) \left| \frac{d}{dy} g_i ^{-1} (y) \right| = \frac{1}{2\sqrt{y}} \left[ f_X(\sqrt{y}) + f_X(-\sqrt{y}) \right] \]

 

Examples

1. Chi Squared Distributions

 

\(X\)의 pdf가

\[ f_X (x) = \frac{1}{2\sqrt{\pi}} e^{-\frac{x^2}{2}} ~~~~~\text{for } ~ -\infty < x \infty \]

일 때^[각주:4], \(Y=X^2\)이라고 하면, \(\mathrm(f_X) = \mathbb{R}\) 이므로 \(Y\)의 pdf는 다음과 같다.^[각주:5]

\[ f_Y (y) = \frac{1}{2\sqrt{y}} \left[ f_X(\sqrt{y}) + f_X(-\sqrt{y}) \right] = \frac{1}{\sqrt{2\pi y}} e^{-\frac{y}{2}} ~~~~~ \text{for } ~ 0< y< \infty \]

 

2. General Support

 

\(X\)의 pdf가

\[ f_X (x) = \frac{2}{9}(x+1) ~~~~~ \text{for } ~ -1 \le x \le 2 \]

일 때, \(Y= X^2\)이라고 하면, \(\mathrm{supp}(f_X) = [-1,2]\)이므로 ①, ②, ④ 조건을 만족하기 위해서

\[ \begin{align*} A_0 &= \{ 0 \} \\ A_1 &= [-1,2) & g_1(x) &= x^2 & g_1^{-1}(y) &= -\sqrt{y} \\ A_2 &= (0,2] & g_2(x) &= x^2 & g_2 ^{-1}(y) &= \sqrt{y} \end{align*} \]

로 설정할 수 있다. 그러나 문제는

 

③ \(\begin{align*} \mathcal{Y}_1 = (0,1) & \mathcal{Y}_2 = (0,4) \end{align*} \) 이므로 \(\mathcal{Y}_1 \ne \mathcal{Y}_2\)

 

따라서 위의 정리를 그대로 활용할 수는 없다. 대신 \(A_1\) 을 \((-2,0)\) 으로 확장하여, \((-2,-1)\) 영역에서는 \(f_X(x) = 0\) 이라고 할 수 있으므로 ③ 조건을 만족시킬 수 있다. 

\[ \begin{align*} A_0 &= \{ 0 \} \\ A_1 ' &= [-4,2) & g_1(x) &= x^2 & g_1^{-1}(y) &= -\sqrt{y} \\ A_2 &= (0,2] & g_2(x) &= x^2 & g_2 ^{-1}(y) &= \sqrt{y} \end{align*} \]

다만, 이러한 경우

\[ \begin{align*} g_1 (A_1 ' - (A_1 ' - \mathrm{supp}(f_X))) &= (0,1] \\ \\ g_2 (A_2 - (A_2 - \mathrm{supp}(f_X))) &= (0,4] \end{align*} \]

이므로, \(1 < y \le 4\) 에서 \(f_X(-\sqrt{y}) = 0 \) 으로 하여,

\[ f_Y(y) = \left\{ \begin{array}{cl} \frac{1}{2\sqrt{y}} \left[ f_X(\sqrt{y}) + f_X(-\sqrt{y}) \right] & \text{where } ~ 0 < y \le 1 \\ \frac{1}{2\sqrt{y}} f_X(\sqrt{y}) & \text{where } ~ 1 < y \le 4 \end{array} \right. \]

이 내용을 일반화하면 다음과 같다.

 

 

THEOREM            

 

Random variable \(X\), pdf \(f_X(x)\) 에 대하여 새로운 random variable \(Y=g(X)\) 라고 하자. 또한 \(P(X \in A_0) =0\) , \(f_X\)가 각 \(A_i\) 에 대하여 continuous하도록 \(\mathrm{supp}(f_X)\) 를 포함하는 partition \(A_0\), \(A_1\), \(A_2\), ..., \(A_n\) 으로 나눌 수 있다고 하자. 그리고 각 \(A_i\)에 다음을 만족하는 함수 \(g_i\)를 정의할 수 있다고 하자.

 

     ① \(x\in A_i\) 에 대하여, \(g(x) = g_i(x)\)

 

     ② \(A_i\) 에서 \(g_i(x)\)는 increasing 또는 decreasing

 

     ③ \(\mathcal{Y}_i = \{ y ~|~ y = g_1(x) ~~ \text{for } ~ x\in A_i \}\)에 대하여, \(\mathcal{Y}_1 = \mathcal{Y}_2 = \cdots = \mathcal{Y}_n = \mathcal{Y} \)

 

     ④ \(g_i ^{-1}\)의 continuous derivative가 존재

 

각 \(A_i\) 에서 \(x \notin \mathrm{supp}(f_X)\) 에 대하여 \(f_X(x) = 0 \) 으로 확장하면, \(Y\)의 pdf는 다음과 같다.

\[ f_Y(y) = \left\{ \begin{array}{cl} \sum_{i=1} ^n f_X (g_i ^{-1}(y))\left| \frac{d}{dy} g_i ^{-1}(y) \right| & \text{if } y\in \mathcal{Y} \\ 0 & \text{otherwise} \end{array} \right. \]

 

 

1. cumulative distribution function(누적분포함수), 자세한 내용은 1.5 누적 분포 함수 Cumulative Distribution Functions 참고. [본문으로]
2. probability density function(확률 밀도 함수), 1.6 확률 질량 함수, 확률 밀도 함수 Probability Mass Function, Probability Density Function 참고 [본문으로]
3. \( t \le 0 \) 의 경우 \(F_T(t)=0\) 이다. [본문으로]
4. 이 pdf를 standard normal distribution이라고 한다. 3.7-① 표준 정규 분포 Standard Normal Distribution 참고. [본문으로]
5. 이러한 pdf를 chi squared distribution with 1 degree of freedom이라고 한다. --chi square-- 참고. [본문으로]