[통계학] 2.2 기대값 Expected Values

어떤 통계값을 대표하고자 할 때 사용하는 개념으로 평균을 가장 많이 사용한다. 평균의 개념은 분포에서 극단적인 끝 값이 아닌 중간의 값, 가장 많이 나올 것으로 예상되는 값의 의미를 가진다. 이러한 평균의 개념을 일반화한 개념이 expected value(기대값)이다. 이번 페이지에서는 expected value에 대하여 살표본다.

 

#Expected Values

확률론에서 expected value는 다음과 같이 정의된다.

 

 

DEFINITION            Expected Values of Random Variables

 

Random variable \(X\) 가 \(f_X(x)\) 를 pmf 또는 pdf로 가질 때, 다음 값 \(E[X]\) 를 \(X\)의 expected value라고 한다.

\[ \begin{equation*} E[X] = \left\{ \begin{array}{cc} \int _{-\infty} ^\infty x f_X(x) ~dx & \text{if } X ~\text{is continuous} \\ \sum _{f_X>0} x f_X(x) & \text{if } X ~\text{is discrete} \end{array} \right. \end{equation*} \]

만약 적분이나 무한급수가 발산하는 경우 expected value는 존재하지 않는다.

 

Expected Value를 계산하기 위해서 다음과 같은 성질을 이용하여 더 쉽게 계산할 수 있다. 이 성질들의 주요 내용은 적분과 급수의 성질로부터 쉽게 유도할 수 있다. 증명은 생락한다.

 

 

THEOREM            Properties of Expected Values

 

\(X\), \(Y\) 를 random variable, \(a\) 를 상수라고 하자. 

 

     ① Linearity

\[ \begin{align*} E[X+Y] &= E[X] + E[Y] \\ E[aX] &= a E[X] \end{align*} \]

     ② Non-negativity: 만약 \(X\ge 0\) 이면^[각주:1], \( E[X] \ge 0 \)

 

     ③ Monotonicity: 만약 \(X \le Y\) 이면^[각주:2], \(E[X] \le E[Y]\)

 

     ④ Law of the unconscious statistician: 함수 \(g\)에 대하여, 새로운 random variable \(g(X)\)의 expected value는

\[ E[g(X)] = \int _{-\infty} ^{\infty} g(x)f(x) ~dx \]

     ⑤ Non-degeneracy: 만약 \(E[|X|]=0\) 이면, \(X=0\) ^[각주:3]

 

 

Examples

1. Finite Sample Space Case

 

Finite sample space의 random variable\(X\)의 값으로 \(x_1\), \(x_2\), ..., \(x_n\)이 가능한 경우

\[ f_X(x_i) = P(X=x_i) = \frac{\text{the number of } X=x_i ~\text{cases}}{\text{the number of all cases}} \]

이므로^[각주:4]

\[ E[X] = \sum _{1} ^{n} x_i \times \frac{\text{the number of } X=x_i ~\text{cases}}{\text{the number of all cases}} = \text{the mean of }X \]

즉, \(X\)의 평균이 됨을 알 수 있다.

 

 

2. Exponential Distributions

 

Random variable의 pdf가 다음과 같은 경우 exponential \((\lambda)\) distribution이라고 한다.

\[ f_X(x) = \frac{1}{\lambda}e^{-\frac{x}{\lambda}} \]

이 pdf에 대한 expected value를 구하면,

\[ \begin{align*} E[X] &= \int _0 ^{\infty} \frac{x}{\lambda}e^{-\frac{x}{\lambda}} ~dx \\ &= \left. -xe^{-\frac{x}{\lambda}} \right| _0 ^{\infty} + \int _0 ^\infty e^{-\frac{x}{\lambda}} ~dx \\ &= \lambda \end{align*} \]

 

3. Standard Cauchy Distributions

 

Random variable의 pdf가 다음과 같은 경우 standard Cauchy distribution이라고 한다.

\[ f_X(x) = \frac{1}{\pi(1+x^2)} ~~~~~ \text -\infty < x <\infty \]

 

Cauchy Distributions, 보라색 그래프가 Standard Cauchy Distribution

Skbkekas / CC BY via Wikimedia

 

그래프에서 볼 수 있듯이 \(f_X(x)\) 는 \(x=0\) 을 중심으로 대칭임을 알 수 있다. 그래서 Expected value를 0으로 예상하기 쉽다. 실제 Expected value는

\[ E[X] = \frac{1}{\pi} \int _{-\infty} ^{\infty} x \times \frac{1}{1+x^2} ~dx \]

가 된다. 이 적분 값이 0일 것으로 예상하기 쉬우나 실제로는 적분불가능이다. \(E[X]\)를 계산하기 위해서 

\[ E[X] ~~ \longrightarrow ~~ \lim _{A\to \infty} \int _{-A} ^A \frac{x}{1+x^2} ~dx \]

를 계산하면 이 식은 0이 된다. 그러나

\[ E[X] ~~ \longrightarrow ~~ \lim _{A\to \infty} \int _{-2A} ^{A} \frac{x}{1+x^2} ~dx \]

를 계산하면,

\[ \lim _{A\to \infty} \int _{-2A} ^{A} \frac{x}{1+x^2} ~dx = \lim _{A\to \infty} \frac{1}{2}\ln{\left(\frac{1+A}{1+4A} \right)} = -\frac{1}{2}\ln\frac{1}{4} \]

즉, 0이 아닌값이 나온다. 따라서 수렴하는 적분값이 없다. 또는 Lebesgue 적분론에서 \(\int f ~dx\) 가 적분가능이기 위해서는 \(\int |f| ~dx\)가 적분가능이어야 하는데

\[ \frac{1}{\pi} \int _{-\infty} ^{\infty} \left|\frac{x}{1+x^2} \right| ~dx = \frac{2}{\pi} \int _0 ^{\infty} \frac{x}{1+x^2} ~dx ~~~~~\to~~~~~ \infty \]

이므로 적분불가능임을 알 수 있다.

 

 

 

1. 정확히 모든 영역에서 \(X\ge 0\) 일 필요는 없다. Almost everywhere에서 만족하면 충분함. Almost everywhere에 대해서는 --Lebesgue,AE-- 참고. [본문으로]
2. Almost everywhere에서 만족하면 충분함. [본문으로]
3. 정확히는 almost everywhere에서 \(X=0\) [본문으로]
4. 1.2 확률 Probability 참고. [본문으로]