[통계학] 5.2-(3) F 분포 F-distribution

많은 영역에서, 어떤 특징을 설명해주는 값이 A 집단과 B 집단에서 어떻게 되는지 비교하는 경우가 발생한다. 예를 들어 건물 전면에서 나오는 광고의 주 배경이 빨강일 때와 파랑일 때 광고 효과에 대해서 비교하고 싶을 수 있다. 이렇게 여러 집단 간의 비교 할 때, 분산이 결과 해석에 있어 중요한 역할을 한다.^[각주:1] 이번 페이지에서는 이러한 분산에 대해서 중요한 위치를 차지하고 있는 F 분포에 대해서 살펴본다.

#Snedecor's F Distribution

5.2-(1) Example: 정규 분포에서의 샘플 평균, 샘플 분산 Sample mean and Sample variance of Random sample from Normal Distribution에서 $N (μ, σ^{2})$ 에서 샘플링한 경우, sample mean과 sample variance는 각각

$\begin{aligned} \overset{―}{X} & \sim N (μ, \frac{σ^{2}}{n}) & , & (n - 1) \frac{S^{2}}{σ^{2}} & \sim χ_{n - 1}^{2} \end{aligned}$

임을 살펴보았다.

이제 $N (μ_{X}, σ_{X}^{2})$ 에서 $X_{1}$ , ..., $X_{n}$ 이렇게 $n$ 개를 샘플링하고, $N (μ_{Y}, σ_{Y}^{2})$ 에서 $Y_{1}$ , ..., $Y_{m}$ 이렇게 $m$ 개를 샘플링했다고 하자. 그러면

$\begin{aligned} (n - 1) \frac{S_{X}^{2}}{σ_{X}^{2}} & \sum χ_{n - 1}^{2} & , & (m - 1) \frac{S_{Y}^{2}}{σ_{Y}^{2}} & \sim χ_{m - 1}^{2} \end{aligned}$

이므로, 두 모분산의 비율 $\frac{σ_{X}^{2}}{σ_{Y}^{2}}$ 의 값을

$\frac{S_{X}^{2} / σ_{X}^{2}}{S_{Y}^{2} / σ_{Y}^{2}} \sim \frac{χ_{n - 1}^{2} / (n - 1)}{χ_{m - 1}^{2} / (m - 1)}$

의 분포를 이용해 추정, 분석할 수 있다. 이 때, 이 분포를 F-distribution이라고 한다.

DEFINITION F-distribution

Random variable $X$ 가 다음 pdf를 따르는 경우, $X$ 가 degree of freedom $d_{1}$ , $d_{2}$ 인 Snedecor's F distribution을 따른다고 부른다. Snedecor's F distribution 대신 줄여서 간단히 F-distribution이라고도 부른다.
$\begin{aligned} f (x) & = \frac{\sqrt{\frac{(d_{1} x)^{d_{1}} d_{2}^{d_{2}}}{(d_{1} x + d_{2})^{d_{1} + d_{2}}}}}{x B (\frac{d_{1}}{2}, \frac{d_{2}}{2})} \\ = \frac{1}{B (\frac{d_{1}}{2}, \frac{d_{2}}{2})} {(\frac{d_{1}}{d_{2}})}^{\frac{d_{1}}{2}} x^{\frac{d_{1}}{2} - 1} {(1 + \frac{d_{1}}{d_{2}} x)}^{- \frac{d_{1} + d_{2}}{2}} \end{aligned}$
$X$ 가 degree of freedom $d_{1}$ , $d_{2}$ 인 F-distribution을 따른다는 것을 기호로 다음과 같이 표현한다.
$X \sim F (d_{1}, d 2)$

F-distribution의 pdf는 다음과 같은 그래프를 가진다.

IkamusumeFan, CC BY-SA 4.0, via Wikimedia Commons

#Basic Properties

1. Mean of F-distribution

$E [X] = \frac{d_{2}}{d_{2} - 2} if d_{2} > 2$

(증명)

pdf로부터 직접 계산하기보다는 아래에서 chi-squared distribution과의 관계를 이용하여 구하자. Random variable $U \sim χ_{d_{1}}^{2}$ , $V \sim χ_{d_{2}}^{2}$ 가 서로 independent이면,

$X = \frac{U / d_{1}}{V / d_{2}} \sim F (d_{1}, d_{2})$

이므로, independence의 성질^[각주:2]을 이용하여

$E [X] = \frac{1}{d_{1}} E [U] \times d_{2} E [\frac{1}{V}]$

가 된다. 먼저 $E [U]$ 는 chi-squared distribution^[각주:3]의 mean이므로

$E [U] = d_{1}$

그리고 $E [\frac{1}{V}]$ 를 구하면,

$\begin{aligned} E [\frac{1}{V}] & = \int_{0}^{\infty} \frac{1}{v} f_{V} (v) d v \\ = \frac{1}{2^{d_{2} / 2} Γ (\frac{d_{2}}{2})} \int_{0}^{\infty} v^{\frac{d_{2}}{2} - 2} e^{- \frac{v}{2}} d v \end{aligned}$

이 때 마지막 적분은 chi-squared distribution $χ_{d_{2} - 2}^{2}$ 의 적분과 같으므로

$2^{\frac{d_{2}}{2} - 1} Γ (\frac{d_{2}}{2} - 1)$

와 같다. 따라서

$E [\frac{1}{V}] = \frac{2^{d_{2} / 2 - 1} Γ (\frac{d_{2}}{2} - 1)}{2^{d_{2} / 2} Γ (\frac{d_{2}}{2})} = \frac{1}{d_{2} - 2}$

단, 위 식은 $d_{2} > 2$ 일 때만 성립한다. 그러므로

$E [X] = \frac{d_{2}}{d_{2} - 2}$

(증명 끝)

2. Variance of F-distribution

$Var (X) = \frac{2 d_{2}^{2} (d_{1} + d_{2} - 2)}{d_{1} (d_{2} - 2)^{2} (d_{2} - 4)} if d_{2} > 4$

(증명)

1번과 같은 방식으로

$E [X^{2}] = E [{(\frac{U / d_{1}}{V / d_{2}})}^{2}]$

다시, $U$ 와 $V$ 는 서로 independent하므로

$E [X^{2}] = \frac{1}{d_{1}^{2}} E [U^{2}] \times d_{2}^{2} E [\frac{1}{V^{2}}]$

그리고

$\begin{aligned} E [U^{2}] & = d_{1} (d_{1} + 2) \\ E [\frac{1}{V^{2}}] & = \int_{0}^{\infty} \frac{1}{v^{2}} f_{V} (v) d v \\ = \frac{1}{2^{d_{2} / 2} Γ (\frac{d_{2}}{2})} \int_{0}^{\infty} v^{\frac{d_{2}}{2} - 3} e^{- \frac{d_{2}}{2}} d v \end{aligned}$

이 때, 마지막 적분은 $χ_{d_{2} - 4}^{2}$ 의 적분과 같으므로

$2^{\frac{d_{2}}{2} - 2} Γ (\frac{d_{2}}{2} - 2)$

가 된다. 따라서

$E [\frac{1}{V^{2}}] = \frac{1}{(d_{2} - 2) (d_{2} - 4)}$

단, 이 식은 $d_{2} > 4$ 일 때만 유효하다. 이를 이용하면,

$Var (X) = E [X^{2}] - {(E [X])}^{2} = \frac{2 d_{2}^{2} (d_{1} + d_{2} - 2)}{d_{1} (d_{2} - 2)^{2} (d_{2} - 4)}$

(증명 끝)

#Related Distributions

1. Distribution of Sample Variances from Normal Distributions

이제 처음에 논의한 내용을 살펴보자.

THEOREM

Random variable $U_{1}$ 이 degree of freedom $d_{1}$ 인 chi-squared distribution^[각주:4]이고, $U_{2}$ 가 degree of freedom $d_{2}$ 인 chi_squared distribution이라고 하자. 또한, $U_{1}$ 과 $U_{2}$ 는 서로 independent하다고 하자. 그러면
$X = \frac{U_{1} / d_{1}}{U_{2} / d_{2}} \sim F (d_{1}, d_{2})$

(증명)

$U_{1}$ 과 $U_{2}$ 는 서로 독립이므로 joint pdf는

$f_{U_{1}, U_{2}} (u_{1}, u_{2}) = \frac{1}{2^{d_{1} / 2} Γ (\frac{d_{1}}{2})} \frac{1}{2^{d_{2} / 2} Γ (\frac{d_{2}}{2})} u_{1}^{\frac{d_{1}}{2} - 1} u_{2}^{\frac{d_{2}}{2} - 1} e^{- \frac{u_{1}}{2}} e^{- \frac{u_{2}}{2}}$

이제, tranform $X = \frac{U_{1} / d_{1}}{U_{2} / d_{2}}$ , $Y = U_{2}$ 를 적용하면, Inverse Jacobian determinant는 $\frac{d_{1}}{d_{2}} y$ 이므로

$\begin{aligned} f_{X} (x) & = \int_{0}^{\infty} f_{X, Y} (x, y) d y \\ = \int_{0}^{\infty} f_{U, V} (\frac{d_{1}}{d_{2}} x y, y) d y \\ = \frac{1}{2^{\frac{d_{1} + d_{2}}{2}} Γ (\frac{d_{1}}{2}, \frac{d_{2}}{2})} \int_{0}^{\infty} {(\frac{d_{1}}{d_{2}} x y)}^{\frac{d_{1}}{2} - 1} y^{\frac{d_{2}}{2} - 1} e^{- \frac{1}{2} \frac{d_{1}}{d_{2}} x y} e^{- \frac{y}{2}} \frac{d_{1}}{d_{2}} y d y \\ = \frac{1}{2^{\frac{d_{1} + d_{2}}{2}}} \frac{1}{Γ (\frac{d_{1}}{2}) Γ (\frac{d_{2}}{2})} {(\frac{d_{1}}{d_{2}})}^{\frac{d_{1}}{2}} x^{\frac{d_{1}}{2} - 1} \int_{0}^{\infty} y^{\frac{d_{1} + d_{2}}{2} - 1} e^{- (\frac{d_{1}}{2 d_{2}} x + \frac{1}{2}) y} d y \end{aligned}$

이 때, 적분 부분은 gamma distribution에서 적분과 같으므로

${(1 + \frac{d_{1}}{d_{2}} x)}^{- \frac{d_{1} + d_{2}}{2}} 2^{\frac{d_{1} + d_{2}}{2}} Γ (\frac{d_{1} + d_{2}}{2})$

가 되어

$f_{X} (x) = \frac{1}{B (\frac{d_{1}}{2}, \frac{d_{2}}{2})} {(\frac{d_{1}}{d_{2}})}^{\frac{d_{1}}{2}} x^{\frac{d_{1}}{2} - 1} {(1 + \frac{d_{1}}{d_{2}} x)}^{- \frac{d_{1} + d_{2}}{2}}$

즉, $F (d_{1}, d_{2})$ 의 pdf를 얻는다.

(증명 끝)

2. Beta Distribution

THEOREM

Random variable $X \sim F (d_{1}, d_{2})$ 일 때,^[각주:5]
$\frac{(d_{1} / d_{2}) X}{1 + (d_{1} / d_{2}) X} \sim Beta (\frac{d_{1}}{2}, \frac{d_{2}}{2})$

(증명)

$x > 0$ 인 영역에서 transform $W = \frac{(d_{1} / d_{2}) X}{1 + (d_{1} / d_{2}) X}$ 는 1대1 대응이므로, transform된 pdf를 구하면,

$\begin{aligned} f_{W} (w) & = f_{x} (\frac{d_{2}}{d_{1}} \frac{w}{1 - w}) \times \frac{d_{2}}{d_{1}} \frac{1}{(1 - w)^{2}} \\ = \frac{1}{B (\frac{d_{1}}{2}, \frac{d_{2}}{2})} {(\frac{d_{1}}{d_{2}})}^{\frac{d_{1}}{2}} {(\frac{d_{2}}{d_{1}} \frac{w}{1 - w})}^{\frac{d_{1}}{2} - 1} {(1 + \frac{w}{1 - w})}^{- \frac{d_{1} + d_{2}}{2}} \frac{d_{2}}{d_{1}} \frac{1}{(1 - w)^{2}} \\ = \frac{1}{B (\frac{d_{1}}{2}, \frac{d_{2}}{2})} {(\frac{w}{1 - w})}^{\frac{d_{1}}{2} - 1} {(\frac{1}{1 - w})}^{- \frac{d_{1} + d_{2}}{2}} \frac{1}{(1 - w)^{2}} \\ = \frac{1}{B (\frac{d_{1}}{2}, \frac{d_{2}}{2})} w^{\frac{d_{1}}{2} - 1} {(1 - w)}^{\frac{d_{2}}{2} - 1} \end{aligned}$

즉, $Beta (\frac{d_{1}}{2}, \frac{d_{2}}{2})$ 의 pdf를 얻는다.

(증명 끝)

3. F-distribution

THEOREM

Random variable $X \sim F (d_{1}, d_{2})$ 일 때,
$\frac{1}{X} \sim F (d_{2}, d_{1})$

(증명)

Transform $Y = \frac{1}{X}$ 는 1대1 대응이므로, transform된 pdf를 구하면,

$\begin{aligned} f_{Y} (y) & = f_{X} (\frac{1}{y}) \\ = \frac{1}{B (\frac{d_{1}}{2}, \frac{d_{2}}{2})} {(\frac{d_{1}}{d_{2}})}^{\frac{d_{1}}{2}} y^{1 - \frac{d_{1}}{2}} {(1 + \frac{d_{1}}{d_{2}} \frac{1}{y})}^{- \frac{d_{1} + d_{2}}{2}} \times \frac{1}{y^{2}} \\ = \frac{1}{B (\frac{d_{1}}{2}, \frac{d_{2}}{2})} {(\frac{d_{1}}{d_{2}})}^{\frac{d_{1}}{2}} y^{- \frac{d_{1}}{2} - 1} \frac{(d_{2} y + d_{1})^{- \frac{d_{1} + d_{2}}{2}}}{(d_{2} y)^{- \frac{d_{1} + d_{2}}{2}}} \\ = \frac{1}{B (\frac{d_{2}}{2}, \frac{d_{1}}{2})} d_{1}^{\frac{d_{1}}{2}} d_{2}^{\frac{d_{2}}{2}} y^{\frac{d_{2}}{2} - 1} (d_{2} y + d_{1})^{- \frac{d_{1} + d_{2}}{2}} \\ = \frac{1}{B (\frac{d_{2}}{2}, \frac{d_{1}}{2})} d_{2}^{\frac{d_{2}}{2}} y^{\frac{d_{2}}{2} - 1} d_{1}^{\frac{d_{1}}{2}} d_{1}^{\frac{d_{1} + d_{2}}{2}} {(1 + \frac{d_{2}}{d_{1}})}^{\frac{d_{2} + d_{1}}{2}} \\ = \frac{1}{B (\frac{d_{2}}{2}, \frac{d_{1}}{2})} {(\frac{d_{2}}{d_{1}})}^{\frac{d_{2}}{2}} y^{\frac{d_{2}}{2} - 1} {(1 + \frac{d_{2}}{d_{1}})}^{\frac{d_{2} + d_{1}}{2}} \end{aligned}$

즉, $F (d_{2}, d_{1})$ 의 pdf를 얻는다.

(증명 끝)

4. Student's t-distribution

THEOREM^[각주:6]

Random variable $X \sim t_{n}$ 일 때,
$\begin{aligned} X^{2} & \sim F (1, n) \\ X^{- 2} & \sim F (n, 1) \end{aligned}$

자세한 내용은 ...analysis of variance,intro... 참고 [본문으로]
4.3 서로 독립인 두 개의 랜덤 변수 Bivariate Independent Random Variables 참고 [본문으로]
...chi-squared distribution... 참고 [본문으로]
chi-squared distribution에 대해서는 ...chi-squared... 참고 [본문으로]
beta distribution에 대해서는 ...beta distribution... 참고 [본문으로]
증명은 5.2-(2) 스튜던트 t 분포 Student's t-distribution참고 [본문으로]

저작자표시 비영리 동일조건

'Mathematics > 통계학' 카테고리의 다른 글

[통계학] 5.3-(2) 큰 수의 법칙 Law of Large Numbers (0)	2022.04.27
[통계학] 5.3-(1) 확률 변수의 수렴 Convergence of Random Variables (0)	2022.03.02
[통계학] 5.2-(4) Example: 순서 통계량 Order Statistics (1)	2022.03.01
[통계학] 5.2-(2) 스튜던트 t 분포 Student's t-distribution (0)	2021.08.16
[통계학] 5.2-(1) Example: 정규 분포에서의 샘플 평균, 샘플 분산 Sample mean and Sample variance of Random sample from Normal Distribution (0)	2021.08.11
[통계학] 5.2 통계량, 샘플 평균, 샘플 분산 Statistic, Sample Mean and Sample Variance (0)	2021.08.11

내 블로그 - 관리자 홈 전환	`Q` `Q`
새 글 쓰기	`W` `W`

글 수정 (권한 있는 경우)	`E` `E`
댓글 영역으로 이동	`C` `C`

이 페이지의 URL 복사	`S` `S`
맨 위로 이동	`T` `T`
티스토리 홈 이동	`H` `H`
단축키 안내	`Shift` + `/` `⇧` + `/`

피그티의 기초물리

[통계학] 5.2-(3) F 분포 F-distribution

#Snedecor's F Distribution

#Basic Properties

1. Mean of F-distribution

2. Variance of F-distribution

#Related Distributions

1. Distribution of Sample Variances from Normal Distributions

2. Beta Distribution

3. F-distribution

4. Student's t-distribution

'Mathematics > 통계학' 카테고리의 다른 글

티스토리툴바

개인정보

단축키

내 블로그

블로그 게시글

모든 영역