[통계학] 2.2 기대값 Expected Values

어떤 통계값을 대표하고자 할 때 사용하는 개념으로 평균을 가장 많이 사용한다. 평균의 개념은 분포에서 극단적인 끝 값이 아닌 중간의 값, 가장 많이 나올 것으로 예상되는 값의 의미를 가진다. 이러한 평균의 개념을 일반화한 개념이 expected value(기대값)이다. 이번 페이지에서는 expected value에 대하여 살표본다.

 

#Expected Values

확률론에서 expected value는 다음과 같이 정의된다.

 

 

DEFINITION            Expected Values of Random Variables

 

Random variable $X$ 가 $f_X(x)$ 를 pmf 또는 pdf로 가질 때, 다음 값 $E[X]$ 를 $X$의 expected value라고 한다.

$$E[X]=\{\begin{array}{cc}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x{f}_X(x)dx& \text{if }X\text{is continuous}\\ \sum _{f_X>0}x{f}_X(x)& \text{if }X\text{is discrete}\end{array}$$

만약 적분이나 무한급수가 발산하는 경우 expected value는 존재하지 않는다.

 

Expected Value를 계산하기 위해서 다음과 같은 성질을 이용하여 더 쉽게 계산할 수 있다. 이 성질들의 주요 내용은 적분과 급수의 성질로부터 쉽게 유도할 수 있다. 증명은 생락한다.

 

 

THEOREM            Properties of Expected Values

 

$X$, $Y$ 를 random variable, $a$ 를 상수라고 하자. 

 

     ① Linearity

$$\begin{array}{rl}E[X+Y]& =E[X]+E[Y]\\ E[aX]& =aE[X]\end{array}$$

     ② Non-negativity: 만약 $X\ge 0$ 이면^[각주:1], $E[X]\ge 0$

 

     ③ Monotonicity: 만약 $X\le Y$ 이면^[각주:2], $E[X]\le E[Y]$

 

     ④ Law of the unconscious statistician: 함수 $g$에 대하여, 새로운 random variable $g(X)$의 expected value는

$$E[g(X)]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f(x)dx$$

     ⑤ Non-degeneracy: 만약 $E[|X|]=0$ 이면, $X=0$ ^[각주:3]

 

 

Examples

1. Finite Sample Space Case

 

Finite sample space의 random variable$X$의 값으로 $x_1$, $x_2$, ..., $x_n$이 가능한 경우

$$f_X(x_i)=P(X=x_i)=\frac{\text{the number of }X=x_i\text{cases}}{\text{the number of all cases}}$$

이므로^[각주:4]

$$E[X]=\sum _1^n{x}_i\times \frac{\text{the number of }X=x_i\text{cases}}{\text{the number of all cases}}=\text{the mean of }X$$

즉, $X$의 평균이 됨을 알 수 있다.

 

 

2. Exponential Distributions

 

Random variable의 pdf가 다음과 같은 경우 exponential $(\lambda )$ distribution이라고 한다.

$$f_X(x)=\frac{1}{\lambda }{e}^{-\frac{x}{\lambda }}$$

이 pdf에 대한 expected value를 구하면,

$$\begin{array}{rl}E[X]& ={\int }_0^{\mathrm{\infty }}\frac{x}{\lambda }{e}^{-\frac{x}{\lambda }}dx\\ & ={-x{e}^{-\frac{x}{\lambda }}|}_0^{\mathrm{\infty }}+{\int }_0^{\mathrm{\infty }}{e}^{-\frac{x}{\lambda }}dx\\ & =\lambda \end{array}$$

 

3. Standard Cauchy Distributions

 

Random variable의 pdf가 다음과 같은 경우 standard Cauchy distribution이라고 한다.

$$f_X(x)=\frac{1}{\pi (1+x^2)}\text{-}\mathrm{\infty }<x<\mathrm{\infty }$$

 

Cauchy Distributions, 보라색 그래프가 Standard Cauchy Distribution

Skbkekas / CC BY via Wikimedia

 

그래프에서 볼 수 있듯이 $f_X(x)$ 는 $x=0$ 을 중심으로 대칭임을 알 수 있다. 그래서 Expected value를 0으로 예상하기 쉽다. 실제 Expected value는

$$E[X]=\frac{1}{\pi }{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x\times \frac{1}{1+x^2}dx$$

가 된다. 이 적분 값이 0일 것으로 예상하기 쉬우나 실제로는 적분불가능이다. $E[X]$를 계산하기 위해서 

$$E[X]⟶\underset{A\to \mathrm{\infty }}{lim}{\int }_{-A}^A\frac{x}{1+x^2}dx$$

를 계산하면 이 식은 0이 된다. 그러나

$$E[X]⟶\underset{A\to \mathrm{\infty }}{lim}{\int }_{-2A}^A\frac{x}{1+x^2}dx$$

를 계산하면,

$$\underset{A\to \mathrm{\infty }}{lim}{\int }_{-2A}^A\frac{x}{1+x^2}dx=\underset{A\to \mathrm{\infty }}{lim}\frac{1}{2}\ln \left(\frac{1+A}{1+4A}\right)=-\frac{1}{2}\ln \frac{1}{4}$$

즉, 0이 아닌값이 나온다. 따라서 수렴하는 적분값이 없다. 또는 Lebesgue 적분론에서 $\int fdx$ 가 적분가능이기 위해서는 $\int |f|dx$가 적분가능이어야 하는데

$$\frac{1}{\pi }{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\left|\frac{x}{1+x^2}\right|dx=\frac{2}{\pi }{\int }_0^{\mathrm{\infty }}\frac{x}{1+x^2}dx\to \mathrm{\infty }$$

이므로 적분불가능임을 알 수 있다.

 

 

 

1. 정확히 모든 영역에서 $X\ge 0$ 일 필요는 없다. Almost everywhere에서 만족하면 충분함. Almost everywhere에 대해서는 --Lebesgue,AE-- 참고. [본문으로]
2. Almost everywhere에서 만족하면 충분함. [본문으로]
3. 정확히는 almost everywhere에서 $X=0$ [본문으로]
4. 1.2 확률 Probability 참고. [본문으로]