어떤 통계값을 대표하고자 할 때 사용하는 개념으로 평균을 가장 많이 사용한다. 평균의 개념은 분포에서 극단적인 끝 값이 아닌 중간의 값, 가장 많이 나올 것으로 예상되는 값의 의미를 가진다. 이러한 평균의 개념을 일반화한 개념이 expected value(기대값)이다. 이번 페이지에서는 expected value에 대하여 살표본다.
#Expected Values
확률론에서 expected value는 다음과 같이 정의된다.
DEFINITION Expected Values of Random Variables
Random variable \(X\) 가 \(f_X(x)\) 를 pmf 또는 pdf로 가질 때, 다음 값 \(E[X]\) 를 \(X\)의 expected value라고 한다.
\[ \begin{equation*} E[X] = \left\{ \begin{array}{cc} \int _{-\infty} ^\infty x f_X(x) ~dx & \text{if } X ~\text{is continuous} \\ \sum _{f_X>0} x f_X(x) & \text{if } X ~\text{is discrete} \end{array} \right. \end{equation*} \]
만약 적분이나 무한급수가 발산하는 경우 expected value는 존재하지 않는다.
Expected Value를 계산하기 위해서 다음과 같은 성질을 이용하여 더 쉽게 계산할 수 있다. 이 성질들의 주요 내용은 적분과 급수의 성질로부터 쉽게 유도할 수 있다. 증명은 생락한다.
THEOREM Properties of Expected Values
\(X\), \(Y\) 를 random variable, \(a\) 를 상수라고 하자.
① Linearity
\[ \begin{align*} E[X+Y] &= E[X] + E[Y] \\ E[aX] &= a E[X] \end{align*} \]
② Non-negativity: 만약 \(X\ge 0\) 이면, \( E[X] \ge 0 \) 1
③ Monotonicity: 만약 \(X \le Y\) 이면, \(E[X] \le E[Y]\) 2
④ Law of the unconscious statistician: 함수 \(g\)에 대하여, 새로운 random variable \(g(X)\)의 expected value는
\[ E[g(X)] = \int _{-\infty} ^{\infty} g(x)f(x) ~dx \]
⑤ Non-degeneracy: 만약 \(E[|X|]=0\) 이면, \(X=0\) 3
Examples
1. Finite Sample Space Case
Finite sample space의 random variable\(X\)의 값으로 \(x_1\), \(x_2\), ..., \(x_n\)이 가능한 경우
\[ f_X(x_i) = P(X=x_i) = \frac{\text{the number of } X=x_i ~\text{cases}}{\text{the number of all cases}} \]
\[ E[X] = \sum _{1} ^{n} x_i \times \frac{\text{the number of } X=x_i ~\text{cases}}{\text{the number of all cases}} = \text{the mean of }X \]
즉, \(X\)의 평균이 됨을 알 수 있다.
2. Exponential Distributions
Random variable의 pdf가 다음과 같은 경우 exponential \((\lambda)\) distribution이라고 한다.
\[ f_X(x) = \frac{1}{\lambda}e^{-\frac{x}{\lambda}} \]
이 pdf에 대한 expected value를 구하면,
\[ \begin{align*} E[X] &= \int _0 ^{\infty} \frac{x}{\lambda}e^{-\frac{x}{\lambda}} ~dx \\ &= \left. -xe^{-\frac{x}{\lambda}} \right| _0 ^{\infty} + \int _0 ^\infty e^{-\frac{x}{\lambda}} ~dx \\ &= \lambda \end{align*} \]
3. Standard Cauchy Distributions
Random variable의 pdf가 다음과 같은 경우 standard Cauchy distribution이라고 한다.
\[ f_X(x) = \frac{1}{\pi(1+x^2)} ~~~~~ \text -\infty < x <\infty \]
Cauchy Distributions, 보라색 그래프가 Standard Cauchy Distribution
Skbkekas / CC BY via Wikimedia
그래프에서 볼 수 있듯이 \(f_X(x)\) 는 \(x=0\) 을 중심으로 대칭임을 알 수 있다. 그래서 Expected value를 0으로 예상하기 쉽다. 실제 Expected value는
\[ E[X] = \frac{1}{\pi} \int _{-\infty} ^{\infty} x \times \frac{1}{1+x^2} ~dx \]
가 된다. 이 적분 값이 0일 것으로 예상하기 쉬우나 실제로는 적분불가능이다. \(E[X]\)를 계산하기 위해서
\[ E[X] ~~ \longrightarrow ~~ \lim _{A\to \infty} \int _{-A} ^A \frac{x}{1+x^2} ~dx \]
를 계산하면 이 식은 0이 된다. 그러나
\[ E[X] ~~ \longrightarrow ~~ \lim _{A\to \infty} \int _{-2A} ^{A} \frac{x}{1+x^2} ~dx \]
를 계산하면,
\[ \lim _{A\to \infty} \int _{-2A} ^{A} \frac{x}{1+x^2} ~dx = \lim _{A\to \infty} \frac{1}{2}\ln{\left(\frac{1+A}{1+4A} \right)} = -\frac{1}{2}\ln\frac{1}{4} \]
즉, 0이 아닌값이 나온다. 따라서 수렴하는 적분값이 없다. 또는 Lebesgue 적분론에서 \(\int f ~dx\) 가 적분가능이기 위해서는 \(\int |f| ~dx\)가 적분가능이어야 하는데
\[ \frac{1}{\pi} \int _{-\infty} ^{\infty} \left|\frac{x}{1+x^2} \right| ~dx = \frac{2}{\pi} \int _0 ^{\infty} \frac{x}{1+x^2} ~dx ~~~~~\to~~~~~ \infty \]
이므로 적분불가능임을 알 수 있다.
- 정확히 모든 영역에서 \(X\ge 0\) 일 필요는 없다. Almost everywhere에서 만족하면 충분함. Almost everywhere에 대해서는 --Lebesgue,AE-- 참고. [본문으로]
- Almost everywhere에서 만족하면 충분함. [본문으로]
- 정확히는 almost everywhere에서 \(X=0\) [본문으로]
- 1.2 확률 Probability 참고. [본문으로]
'Mathematics > 통계학' 카테고리의 다른 글
[통계학] 3.2 베르누이 분포, 이항 분포 Bernoulli Distribution, Binomial Distribution (2) | 2020.07.24 |
---|---|
[통계학] 3.1 이산 균등 분포 Discrete Uniform Distribution (0) | 2020.07.24 |
[통계학] 2.3 분산, 모멘트 생성 함수 Variance, Moment Generating Functions (2) | 2020.07.24 |
[통계학] 2.1 랜덤 변수의 변환 (1) Transformations of Random Variables (1) (2) | 2020.07.23 |
[통계학] 1.6 확률 질량 함수, 확률 밀도 함수 Probability Mass Function, Probability Density Function (0) | 2020.07.14 |
[통계학] 1.5 누적 분포 함수 Cumulative Distribution Functions (4) | 2020.07.14 |