[통계학] 4.5-(1) Example: 랜덤 변수 덧셈의 분산 Variance of the Addition of Random Variables

2.3 분산, 모멘트 생성 함수 Variance, Moment Generating Functions에서 다음과 같은 분산의 성질에 대하여 살펴보았다.

\[ \text{Var}(aX+b) = a^2 \text{Var}(X) \]

이번 페이지에서는 위 식의 더 일반적인 형태로 다음의 정리를 살펴본다.

 

THEOREM

Random variable \(X\), \(Y\), 상수 \(a\), \(b\) 에 대하여,
\[ \begin{equation} \text{Var}(aX+bY) = a^2 \text{Var}(X) + b^2 \text{Var}(Y) + 2ab \text{Cov}(X,Y) \label{varadd} \end{equation} \]
만약 \(X\) 와 \(Y\) 가 서로 독립이면, 다음이 성립한다.
\[ \text{Var}(aX+bY) = a^2 \text{Var}(X) + b^2 \text{Var}(Y) \]

 

(증명)

먼저 random variable \(aX+bY\) 의 expected value는

\[ E[aX+bY] =aE[X] + bE[Y] = a\mu_X + b\mu_Y \]

이다. 이제 variance의 정의로부터

\[ \begin{align*} \text{Var}(aX+bY) &= E\left[ \left\{ (aX+bY) - (a\mu_X + b\mu_Y) \right\}^2 \right] \\ \\ &= E \left[ \left\{ a(X-\mu_X) - b(Y-\mu_Y)\right\}^2 \right] \\ \\ &= E \left[ a^2 (X-\mu_X)^2 + b^2 (Y-\mu_Y)^2 + 2ab (X-\mu_X) (Y-\mu_Y) \right] \\ \\ &= a^2 E\left[ (X-\mu_x)^2 \right] + b^2 E\left[ (Y-\mu_Y)^2 \right] + 2ab E\left[ (X-\mu_X)(Y-\mu_Y) \right] \\ \\ &= a^2 \text{Var}(X) + b^2 \text{Var}(Y) + 2ab \text{Cov}(X,Y) \end{align*} \]

또한 \(X\) 와 \(Y\) 가 독립인 경우에는 \(\text{Cov}(X,Y)=0\) 이므로 식이 성립한다.

(증명 끝)

 

식 \((\ref{varadd})\)에 따르면, \(X\) 와 \(Y\) 의 covariance가 양의 값을 가지는 경우에는 \(X+Y\) 는 각 random variable의 variance의 합보다 더 큰 variance를 가지게 된다. 4.5 공분산, 상관계수 Covariance, Correlation에서 covariance가 양수 일때는 선형 관계 \(Y=aX+b\) 에서 \(a>0\) 인 관계를 표현하므로, \(X\) 가 \(X\) 의 평균보다 큰 값을 가지면, \(Y\) 도 이 관계에 의해 \(Y\) 의 평균보다 큰 값을 가지게 되어 \(X+Y\) 는 \(X+Y\) 의 평균보다 보다 더 큰 값을 가지게 된다. variance는 이 차이의 제곱이 반영되는 것이므로 이러한 현상이 나타난다.

반대로 covariance가 음의 값을 가지는 경우에는 \(X+Y\) 의 variance는 \(X\) 의 variance, \(Y\) 의 variance의 합보다 더 작은 값을 가지게 된다.

 

위 정리의 더 일반적인 형태는 다음과 같다. (증명은 완전 제곱식의 전개가 더 길어지는 것밖에 차이가 없으므로 생략한다.)

 

THEOREM

Random variable \(X_1\), \(X_2\), ..., \(X_n\), 상수 \(a_1\), \(a_2\), ..., \(a_n\) 에 대하여,
\[ \text{Var}\left( \sum _{i=1} ^n a_iX_i \right) = \sum_{i=1} ^n a_i ^2 \text{Var}(X_i) + 2 \sum_{1\le i < j \le n} a_i a_j \text{Cov}(X_i,X_j) \]