[통계학] 1.3 조건부 확률, 독립 사건 Conditional Probability, Independent Events

신호의 송수신, 샘플 조사 등에서 응용되는 개념인 conditional probability(조건부 확률)은 통계적 추론에서 새로운 정보가 들어왔을 때 어떻게 처리해야 하는지에 대한 개념을 제공해 준다. 이번 페이지에서는 conditional probability와 Bayes' rule(베이즈 법칙)에 대하여 살펴보고 몇 가지 예를 살펴본다.

#Conditional Probability

Conditional probability는 어떤 사건이 일어났을 때(또는 일어나지 않았을 때) 관심있는 사건이 일어날 확률을 나타내는 개념이다. 예를 들어, 주사위 2개를 굴린 결과, 합이 10일 때 두 주사위 모두 짝수일 확률을 구하는 문제에서 사용될 수 있다. 더 복잡한 경우로는, 전파 송신탑으로부터 \(A\)라는 신호를 받았을 때, 실제로 전송한 신호가 \(B\)일 확률을 구하는 문제에도 응용될 수 있다. 주사위 문제의 경우, 간단히 sample space가 (1,1)부터 (6,6)까지 36가지 경우의 수가 있는 문제에서, 합이 10이라는 정보때문에 sample space가 (4,6), (5,5), (6,4)의 3가지 경우의 수로 줄었다고 생각하고 확률을 구할 수 있다. 이러한 관점을 확장하여, conditional probability를 다음과 같이 정의한다.

DEFINITION            Conditional Probability

Event \(A\), \(B\)에 대하여, \(B\)가 일어났을 때 \(A\)가 일어날 조건부 확률을 다음과 같이 정의한다.

$$ P(A|B) = \frac{P(A\cap B)}{P(B)} $$

지난 페이지에서 \(P(B) = P(A \cap B) + P(A^c \cap B)\)이므로

$$ 1 = \frac{P(A \cap B)}{P(B)} + \frac{P(A^c \cap B)}{P(B)} $$

\(P(A \cap B)\)가 A와 B가 일어날 확률이고, \(P(A^c \cap B)\)는 A는 일어나지 않고 B는 일어날 확률이므로 이 둘을 \(P(B)\)로 나눈 것은 마치 B를 sample space로 생각하고 확률을 구한 것으로 해석할 수 있다.

반대로 \(A\)가 일어났을 때 \(B\)가 일어날 조건부 확률은

$$ P(B|A) = \frac{P(A\cap B)}{P(A)} $$

이를 \(P(A|B)\)와 연결시키면

$$ P(A|B) = P(B|A) \frac{P(A)}{P(B)} $$

이 식을 Bayes' rule이라고 부른다.

THEOREM            Bayes' Rule

\(A_1\), \(A_2\), ... 을 sample space의 partition이라고 하자. 그러면 event \(B\)에 대하여

$$ P(A_i |B) = \frac{P(B|A_i)P(A_i)}{\sum_{j=1} ^\infty P(B|A_j)P(A_j)} $$

Examples

1. 모르스 부호의 송수신 출처: Casella & Berger, <Statistical Inference>

모르스 부호는 신호의 길이를 이용해 dash \(-\)와 dot \(\cdot\) 로 구분하고 몇 개의 부호를 모아서 약속된 문자로 변환하는 전달 방식이다. 변환 약속으로부터 \(-\)와 \(\cdot\) 의 비율이 3:4로 사용된다는 것을 확인할 수 있다. 즉,

$$ \begin{align*} P(- \text{sent}) &= \frac{3}{7} \\ P(~\cdot~ \text{sent}) &= \frac{4}{7} \end{align*} $$

또한 먼거리에서 신호를 주고받는 고정된 환경에서, 여러 실험을 통해 \(\cdot\) 를 보냈을 때, \(-\)로 잘못 수신되는 확률과 \(-\)를 보냈을 때, \( \cdot\) 으로 잘못 수신되는 확률이 1/8임을 확인했다고 하자. 이제, 어느날 수신안테나에서 \(\cdot\) 을 받았다고 한다면 정말로 송신안테나에서 \(\cdot\) 을 보냈을 확률은 얼마일까?

구하고자 하는 것은 \(P(~\cdot~\text{sent}~|~\cdot~\text{recieved})\) 이므로 Bayes' rule로부터,

$$ P(~\cdot~\text{sent}~|~\cdot~\text{recieved}) = P(~\cdot~\text{recieved}~|~\cdot~\text{sent}) \frac{P(~\cdot~\text{sent})}{P(~\cdot~\text{recieved})} $$

\(P(~\cdot~\text{recieved})\)만 구하면 된다. 그리고

$$ \begin{align*} P(~\cdot~\text{recieved}) &= P(~\cdot~\text{recieved}~\cap~\cdot~\text{sent}) + P(~\cdot~\text{recieved}~\cap~-\text{sent}) \\ \\ &= P(~\cdot~\text{recieved}~|~\cdot~\text{sent}) P(~\cdot~\text{sent}) + P(~\cdot~\text{recieved}~|~-\text{sent}) P(-\text{sent}) \\ \\ &= \frac{7}{8} \times \frac{3}{7} + \frac{1}{8} \times \frac{4}{7} \\ \\ &= \frac{25}{56} \end{align*} $$

따라서 \(\cdot\) 을 받았을 때, 정말로 \(\cdot\) 을 보냈을 확률은 21/25이다.

Conditional probability를 다룰 때는 조건과 정보를 정확히 반영할 수 있도록 주의를 기울여야 한다. 다음의 예를 살펴보자.

2. 사형수와 사면 문제 출처: Casella & Berger, <Statistical Inference>

어느 나라의 왕이 전쟁 승리 기념으로 감옥에 갇혀있는 A, B, C 세 명의 사형수 중 한 명을 사면해 주기로 하고, 그 결과를 감옥 간수에게 알려주었다. 다만, 사형수들에게는 사형집행일까지 누가 사면되었는지 비밀로 하도록 명령하였다. 사면 소식을 들은 A는 간수에게 누가 사면이 되었는지 물어보았으나 간수는 비밀로 하라는 명령때문에 알려주지 않았다. 그러자 A는 누가 사면될지 알려줄수 없다면 대신 B나 C 중 사형당하게 될 사람이라도 알려달라고 부탁했다. 간수는 조금 생각해보더니 A에게 B가 사형당할 것이라고 알려주었다. 이 말을 듣고 A는, B는 사면되지 않으니, 남은 사람은 자신과 C 밖에 없으므로 사면될 확률이 1/2로 늘었다고 기뻐하며 돌아갔다. 실제로 A가 사면될 확률은 1/2로 늘어났을까?

사면의 확률은 \(P(A\text{사면})=P(B\text{사면})=P(C\text{사면})=1/3\)이다. 이제 가능한 모든 상황을 생각해보자.

사면자	간수가 언급한 사형수
A	B
A	C
B	C
C	B

맨 위의 2경우는 확률이 같다고 볼 수 있을 것이다. 이제 사면 확률의 조건을 만족하기 위해서는

$$ \begin{align*} P(A\text{사면} ~\cap~ B\text{언급}) &= \frac{1}{6} \\ P(A\text{사면} ~\cap~ C\text{언급}) &= \frac{1}{6} \\ P(B\text{사면} ~\cap~ C\text{언급}) &= \frac{1}{3} \\ P(C\text{사면} ~\cap~ B\text{언급}) &= \frac{1}{3} \end{align*} $$ 

따라서,

$$ P(B\text{언급}) = P(A\text{사면} ~\cap~ C\text{언급}) + P(C\text{사면} ~\cap~ B\text{언급}) = \frac{1}{2} $$

이므로

$$ P(A\text{사면} ~|~B\text{언급}) = \frac{P(A\text{사면} ~\cap~ B\text{언급})}{P(B\text{언급})} = \frac{1}{3} $$

왜 A가 사면될 확률이 1/2라고 착각하는 문제가 생길까? 그 원인은 '간수가 B와 C중 B가 사형된다고 말한' 사건을 'B는 사면되지 않는다'와 같다고 생각한 것에 있다. 두 사건이 다르다는 것은 확률로부터 바로 확인할 수 있다.

$$ P(B\text{사면 안됨}) = 1 - P(B\text{사면}) = \frac{2}{3} \ne P(B\text{언급}) $$ 

#Independent Events

어떤 사건 A가 사건 B가 일어나는 것과 무관하다면, $$ P(A|B) = P(A) $$ 라고 할 수 있다. 이러한 관점에서 다음과 같이 서로 독립적인 사건을 정의할 수 있다.

DEFINITION            Independent Events

사건 A와 B가 \(P(A\cap B) = P(A)P(B)\) 이면, A와 B를 (statistically) independent(독립)하다고 한다.

만약 A와 B가 independent하다면 다음의 사건들도 independent하다.

① A와 \(B^c\)

② \(A^c\)와 B

③ \(A^c\)와 \(B^c\)

3개 이상의 사건들의 independence를 이야기하려면, 각각 2개씩 independent한지 확인하는 것으로는 충분하지 않다.

DEFINITION            Independent Events

사건 \(A_1\), \(A_2\), ... , \(A_n\) 들이 임의의 부분 모임 \(A_{i_1}\), \(A_{i_2}\), ... , \(A_{i_k}\)에 대하여 항상

$$ P \left( \bigcap _{j=1} ^k A_{i_j} \right) = \Pi _{j=1} ^k P(A_{i_j}) $$

를 만족하면, \(A_1\), \(A_2\), ... , \(A_n\) 들이 independent하다고 한다.