[통계학] 4.5-(1) Example: 랜덤 변수 덧셈의 분산 Variance of the Addition of Random Variables

2.3 분산, 모멘트 생성 함수 Variance, Moment Generating Functions에서 다음과 같은 분산의 성질에 대하여 살펴보았다.

$$\text{Var}(aX+b)=a^2\text{Var}(X)$$

이번 페이지에서는 위 식의 더 일반적인 형태로 다음의 정리를 살펴본다.

 

THEOREM

Random variable $X$, $Y$, 상수 $a$, $b$ 에 대하여,
$$\text{Var}(aX+bY)=a^2\text{Var}(X)+b^2\text{Var}(Y)+2ab\text{Cov}(X,Y)$$
만약 $X$ 와 $Y$ 가 서로 독립이면, 다음이 성립한다.
$$\text{Var}(aX+bY)=a^2\text{Var}(X)+b^2\text{Var}(Y)$$

 

(증명)

먼저 random variable $aX+bY$ 의 expected value는

$$E[aX+bY]=aE[X]+bE[Y]=a{\mu }_X+b{\mu }_Y$$

이다. 이제 variance의 정의로부터

$$\begin{array}{rl}\text{Var}(aX+bY)& =E\left[{\{(aX+bY)-(a{\mu }_X+b{\mu }_Y)\}}^2\right]\\ \\ & =E\left[{\{a(X-{\mu }_X)-b(Y-{\mu }_Y)\}}^2\right]\\ \\ & =E[a^2(X-{\mu }_X{)}^2+b^2(Y-{\mu }_Y{)}^2+2ab(X-{\mu }_X)(Y-{\mu }_Y)]\\ \\ & =a^{2}E[(X-{\mu }_x{)}^2]+b^{2}E[(Y-{\mu }_Y{)}^2]+2abE[(X-{\mu }_X)(Y-{\mu }_Y)]\\ \\ & =a^2\text{Var}(X)+b^2\text{Var}(Y)+2ab\text{Cov}(X,Y)\end{array}$$

또한 $X$ 와 $Y$ 가 독립인 경우에는 $\text{Cov}(X,Y)=0$ 이므로 식이 성립한다.

(증명 끝)

 

식 $(\text{???})$에 따르면, $X$ 와 $Y$ 의 covariance가 양의 값을 가지는 경우에는 $X+Y$ 는 각 random variable의 variance의 합보다 더 큰 variance를 가지게 된다. 4.5 공분산, 상관계수 Covariance, Correlation에서 covariance가 양수 일때는 선형 관계 $Y=aX+b$ 에서 $a>0$ 인 관계를 표현하므로, $X$ 가 $X$ 의 평균보다 큰 값을 가지면, $Y$ 도 이 관계에 의해 $Y$ 의 평균보다 큰 값을 가지게 되어 $X+Y$ 는 $X+Y$ 의 평균보다 보다 더 큰 값을 가지게 된다. variance는 이 차이의 제곱이 반영되는 것이므로 이러한 현상이 나타난다.

반대로 covariance가 음의 값을 가지는 경우에는 $X+Y$ 의 variance는 $X$ 의 variance, $Y$ 의 variance의 합보다 더 작은 값을 가지게 된다.

 

위 정리의 더 일반적인 형태는 다음과 같다. (증명은 완전 제곱식의 전개가 더 길어지는 것밖에 차이가 없으므로 생략한다.)

 

THEOREM

Random variable $X_1$, $X_2$, ..., $X_n$, 상수 $a_1$, $a_2$, ..., $a_n$ 에 대하여,
$$\text{Var}\left(\sum _{i=1}^n{a}_i{X}_i\right)=\sum _{i=1}^n{a}_i^2\text{Var}(X_i)+2\sum _{1\le i<j\le n}{a}_i{a}_j\text{Cov}(X_i,X_j)$$