[통계학] 1.5 누적 분포 함수 Cumulative Distribution Functions

랜덤 변수 $X$에 대한 확률이 정의되면, cumulative distribution function(누적 분포 함수)을 구할 수 있게 된다. 누적 분포 함수는 랜덤 변수가 특정 값보다 작거나 같을 확률을 나타내는 함수이다. '누적'이라는 이름은 특정 값보다 작은 값들의 확률을 모두 누적해서 구한다는 의미에서 붙여진 이름이다.

DEFINITION            Cumulative Distribution Functions

랜덤 변수 $X$에 대하여 정의된 확률을 $P_X$라고 할 때, 다음과 같이 정의되는 함수 $F_X(x)$를 $X$의 cumulative distribution function이라고 부른다. (간단히 cdf라고 표현하기도 한다.)

$$F_X(x)=P_X(X\le x)$$

예제를 살펴보자.

1. 동전 던지기 실험

동전을 던져서 앞면이 나올 때까지 몇 번이나 걸리는지 확인하는 실험을 생각해보자. 앞면이 나올 확률을 $p$, 뒷면이 나올 확률을 $(1-p)$라고 하고, 랜덤 변수 $X$를 앞면이 나올 때까지 걸린 횟수라고 정의하면, $x$번 던져 앞면이 나올 확률은

$$P_X(X=x)=(1-p{)}^{x-1}p$$

이다. 이제, 이 실험에 대하여 cumulative distribution function을 구하면

$$F_X(x)=P_X(X\le x)=\sum _{t=1}^x(1-p{)}^{t-1}p$$

등비수열의 합 공식을 이용하면,

$$F_X(x)=\frac{1-(1-p{)}^x}{1-(1-p)}p=1-(1-p{)}^{x}x=1,2,3,\cdots$$

예를 들어, 앞면이 나올 확률과 뒷면이 나올 확률이 1/2로 같다면 $F_X(x)=1-\frac{1}{2^x}$로 이름처럼, $x$가 커질수록 $F_X$가 증가함을 알 수 있다.

이 문제에서 $F_X(3.5)$와 같은 값은 어떻게 정의되는 것일까? 정의로부터

$$F_X(3.5)=P_X(X\le 3.5)=P_X(X=1)+P_X(X=2)+P_X(X=3)=P_X(X\le 3)=F_X(3)$$

임을 알 수 있다. 이를 floor function으로 표현하면 $F_X(3.5)=F_X(\lfloor 3.5\rfloor )$로 나타낼 수 있다. 이런 식으로, cumulative distribution function은 discrete random variable에 대해서도 모든 값에 함수 값을 가진다.

$$F_X(x)=\{\begin{array}{cl}0& \text{if }x<1\\ 1-(1-p{)}^{\lfloor x\rfloor }& \text{if }x\ge 1\end{array}$$

image by Wolfram Mathematica ($p=1/2$)

그래프에서 볼 수 있듯이 cdf는 항상 continuous한 것은 아니다. 그러나 discrete random variable에서도 floor function을 이용해 모든 실수 값에 함수를 정의할 수 있으므로, floor function의 특성상 right-continuous하다는 것을 알 수 있다. 이를 종합하면 다음과 같이 정리할 수 있다.

THEOREM            

함수 $F$가 cumulative distribution function이면 다음을 만족한다.

   ① $\underset{x\to -\mathrm{\infty }}{lim}F(x)=0$

   ② $\underset{x\to \mathrm{\infty }}{lim}F(x)=1$

   ③ $F(x)$는 nondecreasing

   ④ $F(x)$는 right-continuous, 즉 $\underset{x\to a^{-}}{lim}F(x)=F(a)$

반대로 어떤 함수 $F$가 위의 조건을 모두 만족하면 $F$는 어떤 랜덤 변수의 cdf가 된다.

2. Logistic Function

Logistic regression에서 사용되는 logistic function

$$F(x)=\frac{1}{1+e^{-x}}$$

역시 cumulative distribution function이다. Deep learning 분야에서는 sigmoid function으로 알려져 있으며, 데이터를 학습하여 2 종류의 카테고리로 분류하는 알고리즘의 activation function으로 사용된다. (자세한 내용은 --logistic regression-- 참고) Logistic function이 위의 조건을 모두 만족하는지 살펴보자. 

   ① $x\to -\mathrm{\infty }$인 경우 $e^{-x}\to \mathrm{\infty }$이므로 분모가 매우 커지므로 $F(x)\to 0$

   ② $x\to \mathrm{\infty }$인 경우 $e^{-x}\to 0$이므로 분모가 1에 수렴하므로 $F(x)\to 1$

   ③ 지수함수 $e^{-x}$는 decreasing function이므로 분모는 $x$가 커질 수록 작아진다. 따라서 $F(x)$는 increasing function

   ④ 지수함수 $e^{-x}$는 모든 실수에 대하여 continuous하고 -1이 될 수 없으므로 $F(x)$는 모든 실수에 대하여 continuous

따라서 위의 조건을 모두 만족함을 알 수 있다.

3. 동전 던지기 실험 2

앞면이 나올 확률과 뒷면이 나올 확률이 똑같이 1/2인 동전을 3번 던졌을 때 앞면이 나온 횟수를 랜덤 변수 $X$, 뒷면이 나온 횟수를 랜덤 변수 $Y$라고 하자. 모든 경우의 수에 대하여 $X$와 $Y$는 다음과 같은 값을 가진다.

case	X	Y
(뒤,뒤,뒤)	0	3
(앞,뒤,뒤)  (뒤,앞,뒤)  (뒤,뒤,앞)	1	2
(뒤,앞,앞)  (앞,뒤,앞)  (앞,앞,뒤)	2	1
(앞,앞,앞)	3	0

위의 표에서 보는 바와 같이 한 사건에 대하여 $X$와 $Y$는 다른 값을 가진다. 그러나

$$\begin{array}{r}P(X=0)=P(Y=0)=\frac{1}{8}\\ P(X=1)=P(Y=1)=\frac{3}{8}\\ P(X=2)=P(Y=2)=\frac{3}{8}\\ P(X=3)=P(Y=3)=\frac{1}{8}\end{array}$$

이렇게 같은 랜덤 변수의 값에 대하여 확률이 같은 두 랜덤 변수를 서로 identically distributed 되었다고 부른다.

DEFINITION            Identically Distributed Random Variables

두 랜덤 변수 $X$와 $Y$가 임의의 event에 대하여 $P(X\in A)=P(Y\in A)$이면 identically distributed 되었다고 한다.

다시 한번 언급하지만, identically distributed 되었다는 것이 $X=Y$를 의미하는 것은 아니다. identically distributed는 어떤 값을 가질 확률이 같다는 뜻이지, 한 사건에 대하여 똑같은 값을 가진다는 뜻이 아니다. 방금 예제의 경우 한 사건에 대하여 $X$와 $Y$가 같은 값을 가지는 경우는 한 번도 없었다.

THEOREM            

두 랜덤 변수 $X$와 $Y$가 identically distributed 되면 cdf는 $F_X(x)=F_Y(y)$이다. 반대로 cdf가 $F_X(x)=F_Y(x)$이면 두 랜덤 변수는 identically distributed 되어있다.