[통계역학] 1.4 정준 앙상블 Canonical Ensemble

지난 페이지까지 macrostate \((N,V,E)\) 가 주어진 시스템의 열역학적 값들을 microstate 개수 \(\Omega\) 로부터 구할 수 있다는 것과 microcanonical ensemble(소정준 앙상블)을 통해 \(\Omega\) 를 고전적 한계에서 유추할 수 있었다. 그러나 현실적으로 우리가 관심있는 시스템은 거의 대부분 주변과 상호작용을 하기 때문에, energy \(E\) 를 일정하게 유지하기 힘들다. 따라서 \(E\) 를 일정하게 유지하는 대신, temperature \(T\) 를 일정하게 유지하여 이론을 전개할 수 있는데, 이러한 경우를 canonical ensemble(정준 앙상블)이라고 한다. 이번 페이지에서는 canonical ensemble에 대하여 살펴본다.

#Canonical Ensemble

시스템이 열역학 과정에서 temperature를 유지하기 위해서는 시스템이 아주 큰 capacitor를 가진 물질로 둘러쌓여, 시스템의 에너지 변화가 둘러싸고 있는 temperature에 거의 영향을 주지 못하는 환경으로 만들 수 있다. canonical ensemble에서 energy의 값은 고정되어 있지 않기 때문에, 이론이 허용하는 모든 값을 가질 수 있다. 문제는 측정이 이루어지는 시간 동안, 특정한 energy값 \(E_s\) 를 가질 확률이 어느 정도 되는가 이다.

먼저 ensemble에 이 시스템의 복사본 \(\mathcal{N}\) 개가 있다고 하자. 또한, 시스템 복사본들의 에너지를 합한 총 에너지를 \(\mathcal{E}\) 라고 하자. 만약 시스템에 허용되는 energy level들을 \(E_s ~,~s=0,1,2,\cdots\) 이라고 하고, energy level \(E_s\) 에 해당하는 복사본의 개수를 \(n_s\) 라고 하면, ensemble에서 energy값이 \(E_s\) 인 시스템의 비율은 \(\frac{n_s}{\mathcal{N}}\) 이 된다. 이러한 상황은 \(E_s\) 라는 방에 \(\mathcal{N}\) 개의 복사본을 \(n_s\) 씩 배치하는 상황이다.

이 때, 이렇게 배치하는 경우의 수는

\[ W\{n_s\} = \frac{\mathcal{N}!}{n_0!n_1!n_2!\cdots} \]

가 있다. Equal a priori probabilities^[각주:1]로부터 각각 경우의 수는 동등한 확률을 가진다고 한다면, 결국 \(W\{n_s\}\) 에 비례하는 시간동안 \(\{n_s\}\) 상태에 시스템이 머무를 것이다.

#Finding Probabilities Maximizing Multiplicity

만약 특정한 \(\{n_s ^*\}\) 세트가 다른 \(\{n_s\}\) 세트들에 비하여 압도적으로 높은 \(W\) 값을 가진다면, equal a prior probabilities에 의해 대부분의 시간 동안 \(\{n_s ^*\}\) 의 분배 상태로 있을 것이다. 따라서 \(W\) 값을 최대로 하는 \(\{n_r\}\) 세트로 ensemble이 구성된다고 할 수 있다. 따라서 \(P_s\) 을 구하는 문제는 constraint

\[ \begin{gather*} \sum _s n_s &=& \mathcal{N} \\ \sum _s n_s E_s &=& \mathcal{E} \end{gather*} \]

에서

\[ \ln{W} = \ln{\mathcal{N}!} - \sum_s \ln{n_s!} \approx \mathcal{N}\ln{\mathcal{N}} - \sum_s n_r \ln{n_r} \]

를 최대화시키는 \(\{n_r\}\) 세트를 구하는 것이다.^[각주:2] 이 문제는 수학적으로 Lagrange multiplier 문제이다.^[각주:3] 미정계수 \(\alpha\) 와 \(\beta\) 를 도입하면

\[ \nabla \ln{W} - \alpha ~\nabla \left( \sum_s n_s - \mathcal{N} \right) - \beta ~\nabla \left( \sum_s n_s E_s - \mathcal{E} \right) = 0 \]

를 만족하는 \(\{n_s\}\) 세트에서 최대값이 된다. 즉, 모든 \(s\) 값에 대하여,

\[ \left. \frac{\partial}{\partial n_s} \ln{W} \right| _{n_s ^*} - \left. \alpha \frac{\partial}{\partial n_s} \left( \sum_s n_s - \mathcal{N} \right) \right| _{n_s ^*} - \beta \left. \frac{\partial}{\partial n_s} \left( \sum_s n_s E_s - \mathcal{E} \right) \right| _{n_s ^*} = 0\]

을 만족해야 한다. 위 식을 풀면, \( - (\ln{n_s ^*} + 1 ) - \alpha - \beta E_s = 0 \) 이므로

\[ n_s ^* = e^{-(1+\alpha) - \beta E_s} = A e^{-\beta E_s} \]

따라서,

\[ P_s = \frac{n_s ^*}{\mathcal{N}} = \frac{n_s ^*}{\sum_s n_s ^*} = \frac{e^{-\beta E_s}}{\sum_s e^{-\beta E_s}} \]

임을 알 수 있다.

#Partition Function

Lagrange multiplier \(\beta\) 값은

\[ \frac{\mathcal{E}}{\mathcal{N}} = \frac{\sum _s E_s n_s ^*}{\sum _s n_s ^*} = \frac{ \sum_s E_s e^{-\beta E_s} }{\sum_s e^{-\beta E_s}} = -\frac{\partial}{\partial \beta} \ln{\left(\sum_s e^{-\beta E_s}\right)} \]

이고 \(\frac{\mathcal{E}}{\mathcal{N}}\) 은 ensemble의 평균 energy이므로, Helmholtz free energy \(A\) 에 대하여,

\[ U = A + TS = A - T\left( \frac{\partial A}{\partial T} \right)_{N,V} = \left[ \frac{\partial (A/T)}{\partial (1/T)} \right] _{N,V} \]

이므로 위 식과 비교해 보면^[각주:4],

\[ \begin{align*} \beta &= \frac{1}{kT} & , & & \ln{\left(\sum_s e^{-\beta E_s}\right)} = -\frac{A}{kT} \end{align*} \]

임을 알 수 있다.^[각주:5] 이를 정리하면 다음과 같다.

THEOREM            Canonical Ensemble

주어진 macrostate \((N,V,T)\) 에 대하여, 시스템이 허용된 energy값 \(E_s\) 를 가질 확률은

\[ P_s = \frac{e^{-\beta E_s}}{\sum_s e^{-\beta E_s}} ~~~~~~ \text{where }\beta = \frac{1}{kT} \]

이고, 이 때, (평균) Helmholtz free energy는

\[ A(N,V,T) = -\frac{1}{\beta} \ln{\left(\sum_s e^{-\beta E_s}\right)} \]

가 된다.

따라서 이 시스템의 thermodynamic quantity는 Helmholtz free energy로부터 구할 수 있다. 이 때, Helmholtz free energy를 구하는데 핵심이 되는 값 \(\ln{\left(\sum_s e^{-\beta E_s}\right)}\) 를 partition function(분배 함수)이라고 하고 \(Z_N(V,T)\) 로 표시한다.

DEFINITION            Partition Function

\[ Z_N(V,T) = \sum _s e^{-\beta E_s} \]

#Shannon Entropy

이 확률 분포에서 \(\ln{P_s}\) 의 expected value를 구해보자. 먼저

\[ \ln{P_s} = \ln{\frac{e^{-\beta E_s}}{Z_N(V,T)}} = -\beta E_s - \ln{Z_N(V,T)} = -\beta E_s + \beta A \]

따라서 expected value는

\[ \langle \ln{P_s} \rangle = -\beta \sum_s \left(P_s E_s \right)+ \beta A \]

sum 값은 (평균) 에너지이므로

\[ \langle \ln{P_s} \rangle = -\beta (U-A) = -\frac{S}{k} \]

따라서

\[ S = -k \sum_s P_s \ln{P_s} \]

를 얻는다. 즉 entropy는 확률 분포 \(P_s\) 에 의해서만 결정된다는 결론을 얻는다. 이 entropy 식은 물리적인 시스템이 아니더라도 확률 분포를 가지는 모든 문제에 대하여 entropy를 정의할 수 있는 식이 된다. 이러한 개념은 특히 정보의 압축에서 핵심적인 개념으로 등장했다. 이러한 entropy 개념을 Shannon entropy라고 한다.

#Method of Steepest Descent

위에서 canonical ensemble의 확률 분포를 구하기 위하여, 특정한 \(\{n_s ^*\}\) 세트가 다른 세트들에 비하여 압도적으로 높은 \(W\) 값을 가진다고 하였다. 이것이 사실이라면, 압도적인 시간동안 \(n_s\) 는 \(n_s ^*\) 상태에 있으므로, \(n_s\) 의 시간에 대한 평균값(즉, 따ensemble의 expected value)는 \(n_s ^*\) 와 거의 동일해야 한다. 실제로 그러한 결과가 나오는지 살펴보자.

먼저 \(W\) 대신 다음과 같이 \(\overline{W}\) 를 정의하자.^[각주:6]

\[ \overline{W}\{n_s\} = \mathcal{N} \frac{\omega_0 ^{n_0}}{n_0!} \frac{\omega_1 ^{n_1}}{n_1!} \frac{\omega_2 ^{n_2}}{n_2!} \cdots \]

또한 constraint \( \sum _s n_s = \mathcal{N} \) , \( \sum _s n_s E_s = \mathcal{E} = \mathcal{N}U \) 를 만족하는 세트들의 합을 다음과 같이 정의하자

\[ \Gamma = \sum_{\{n_s\} ~\text{in constraints}} \overline{W}\{n_s\} \]

그러면 \(n_s\) 의 expected value는

\[ \begin{align*} \langle n_s \rangle &= \frac{\sum _{\{n_s\} ~\text{in constraints}} n_s W\{n_s\}}{\sum _{\{n_s\} ~\text{in constraints}}W\{n_s\}} \\ &= \left. \omega_s \frac{\partial}{\partial \omega_s} \ln{\Gamma} ~\right|_{\omega_0,\omega_1,\cdots=1} \end{align*} \]

그러나 \(\Gamma\) 의 sum이 constraint를 만족하는 세트들에 대한 합이기 때문에 이를 정리하는 것은 거의 불가능하다. 따라서 다음과 같은 보조 함수를 정의한다.

\[ G(\mathcal{N},z) = \sum_{U=0} ^\infty \Gamma z^{\mathcal{N}U} \]

\(G\) 에 \(\Gamma\) 를 대입하면,

\[ G(\mathcal{N},z) = \sum_{U=0} ^\infty \sum_{\{n_s\} ~\text{in constraints}} \frac{\mathcal{N}}{n_0!n_1!n_2!\cdots} (\omega_0 z^{E_0})^{n_0} (\omega_1 z^{E_1})^{n_1} (\omega_2 z^{E_2})^{n_2} \cdots \]

이 되는데, 첫번째 sum과 두번째 sum이 결합하여 결국은 constraint가 \( \sum _s n_s = \mathcal{N} \) 하나만 남는다. 따라서 multinomial theorem에 의해

\[ G(\mathcal{N},z) = (\omega_0 z^{E_0} + \omega_1 z^{E_1} + \omega_2 z^{E_2} + \cdots )^\mathcal{E} = [f(z)]^\mathcal{N} \]

이 된다. 만약 허용된 energy값 \(E_s\) 들이 정수값이 된다면, \(f(z)\) 는 holomorphic function이 될 것이다. 따라서, energy의 단위를 \(E_s\) 값들을 정수가 되도록 적당히 조정한다면, \(G(\mathcal{N},z)\) 는 holomorphic이 된다. Residue integral을 이용해, \(z=0\) 의 neighborhood에서, \(z=0\) 을 포함하는 contour에 대하여

\[ \Gamma = \frac{1}{2\pi i} \oint \frac{[f(z)]^\mathcal{N}}{z^{\mathcal{N}U+1}} ~dz \]

로 구할 수 있다.

이 적분은 method of steepest descent라는 방법을 사용하여 계산할 수 있다. method of steepest descent는 매우 큰 \(\lambda\) , contour \(C\) 에 대하여,

\[ \oint_C h(z)e^{\lambda g(z)} ~dz \]

는 다음을 만족하는 새로운 contour \(C'\) 으로 계산할 수 있다는 것이다.

   1. \(C'\) 은 \(g'(z)\) 가 0인 점들을 지난다.

   2. \(C'\) 위에서 \(g(z)\) 의 imaginary part는 상수이다.

따라서

\[ \frac{[f(z)]^\mathcal{N}}{z^{\mathcal{N}U+1}} = e^{\mathcal{N}g(z)} \]

로 정의하면,

\[ g(z) = \ln{f(z)} - \left(U+\frac{1}{\mathcal{N}}\right) \ln{z} \]

위의 조건을 만족하는 contour \(C'\) 에서

\[ g'(z_0) = \frac{f'(z_0)}{f(z_0)} - \frac{\mathcal{N}U+1}{\mathcal{N}z_0} = 0 \]

이므로 \(\mathcal{N} \to \infty\) 인 경우

\[ U \approx z_0 \frac{f'(z_0)}{f(z_0)} = \frac{\sum_s \omega_s E_s x_0 ^{E_s}}{\sum_s \omega_s x_0 ^{E_s}} \]

그리고

\[ g''(z_0) = \frac{f''(z_0)}{f(z_0)} - \frac{[f'(z_0)]^2}{[f(z_0)]^2} + \frac{\mathcal{N}U+1}{\mathcal{N}z_0 ^2} \approx \frac{f''(z_0)}{f(z_0)} - \frac{U^2 -U}{z_0 ^2} \]

이 된다. 따라서 \(z=z_0\) 의 neighborhood에서 \(z=z_0 + iy\) 의 \(g(z)\) 값은

\[ g(z) = g(z_0) - \frac{1}{2}g''(z_0) y^2 + \cdots \]

이므로 integrand는

\[ \frac{[f(z)]^\mathcal{N}}{z^{\mathcal{N}U+1}} = e^{\mathcal{N}g(z)} = \frac{[f(z_0)]^\mathcal{N}}{z_0 ^{\mathcal{N}U+1}} \exp{\left( -\frac{\mathcal{N}}{2}g''(z_0)y^2 \right)} \]

이므로

\[ \begin{align*} \Gamma &\approx \frac{1}{2\pi i} \frac{[f(z_0)]^\mathcal{N}}{z_0 ^{\mathcal{N}U+1}} \int _{-\infty} ^\infty \exp{\left( -\frac{\mathcal{N}}{2}g''(z_0)y^2 \right)} ~idy \\ &= \ \frac{1}{2\pi i} \frac{[f(z_0)]^\mathcal{N}}{z_0 ^{\mathcal{N}U+1}} \frac{1}{[2\pi \mathcal{N} g''(z_0)]^{\frac{1}{2}}} \end{align*} \]

따라서

\[ \frac{1}{\mathcal{N}} \ln{\Gamma} = \ln{f(z_0)} - U \ln{z_0} - \frac{1}{\mathcal{N} \ln{z_0} - \frac{1}{2\mathcal{N}}\ln(2\pi\mathcal{N} g''(z_0)} \]

\(\mathcal{N}\to\infty\) 에서 위 식은 \(\frac{1}{\mathcal{N}} \ln{\Gamma} = \ln{f(z_0)} - U \ln{z_0}\) 이 된다. 이제, \(z_0 = e^{-\beta}\) 로 정의하면,

\[ \frac{1}{\mathcal{N}} \ln{\Gamma} = \ln{\left( \sum_s \omega_s e^{-\beta E_s} \right)} + \beta U \]

따라서 이 식을 \(\omega_s\) 에 대해서 편미분하고 모든 \(\omega_i\) 에 1을 대입하면 \(\frac{\langle n_s \rangle}{\mathcal{N}}\) 을 얻을 수 있다.

\[ \frac{\langle n_s \rangle}{\mathcal{N}} = \left. \frac{\omega_s e^{-\beta E_s}}{\sum_s \omega_s e^{-\beta E_s}} \right|_{\omega_0,\omega_1,\cdots=1} + \left. \left[ -\frac{\sum_s \omega_s E_s e^{-\beta E_s}}{\sum_s \omega_s e^{-\beta E_s}} + U \right] \omega_s \frac{\partial \beta}{\partial \omega_s} \right|_{\omega_0,\omega_1,\cdots=1} \]

이 때, 가운데 괄호 안의 값은 \(U\) 의 정의^[각주:7]상 0이므로

\[ \frac{\langle n_s \rangle}{\mathcal{N}} = \frac{e^{-\beta E_s}}{\sum_s e^{-\beta E_s}} \]

결국 \(W\) 를 최대화하는 \(\{n_s\}\) 세트의 결론과 expected value의 결론이 같음을 알 수 있다. 이 방법의 강점은 \(n_s\) 의 분산을 구할 수 있다는 것이다.

\[ \langle n_s ^2 \rangle = \frac{\sum n_s ^2 W\{n_r\}}{\sum W\{n_r\}} = \left. \frac{1}{\Gamma} \left(\omega_s \frac{\partial}{\partial \omega_s} \right) \left(\omega_s \frac{\partial}{\partial \omega_s} \right) \Gamma ~\right|_{\omega_0,\omega_1,\cdots =1} \]

로부터

\[ \mathrm{Var}(n_s) = \langle n_s ^2 \rangle - \langle n_s \rangle ^2 = \left. \left(\omega_s \frac{\partial}{\partial \omega_s} \right) \left(\omega_s \frac{\partial}{\partial \omega_s} \right) \ln{\Gamma} ~\right|_{\omega_0,\omega_1,\cdots =1} \]

를 이용해 구할 수 있다.

#Partition Function of Continuous Energy Spectrum System

만약 energy level \(E_s\) 가 degenerate되어 있는 경우, degeneracy를 \(g_s\) 라고 하자. Degeneracy를 이용하여 partition function을 다음과 같이 쓸 수 있다.

\[ Z_N(V,T) = \sum_s g_s e^{-\beta E_s} \]

또한 허용되는 energy level이 연속적인 경우에는 summation 대신 integral을 사용하고, degeneracy 대신 density of state \(g(E)\) 를 이용하여

\[ Z_N(V,T) = \int g(E) e^{-\beta E} ~dE \]

가 된다. 따라서 허용되는 energy level이 연속적인 경우에는 partition function이 density of state의 Laplace transform인 것을 알 수 있다. 반대로 density of state의 inverse Laplace transform이 partition function이 된다.

\[ g(E) = \frac{1}{2\pi i} \lim_{T \to \infty} \int _{\beta' -iT} ^{\beta + iT} Z_N(V,T) e^{\beta E} ~d\beta \]

1. 1.1 거시상태, 미시상태, 볼츠만 상수 Macrostate, Microstate, Boltzmann Constant 참고. [본문으로]
2. \\(W\\) 최대화시키는 것은 \\(\\ln{W}\\) 를 최대화시키는 것과 같다. 마지막 등호는 Stirling formula \\(\\ln{x!}=x\\ln{x} - x\\). [본문으로]
3. 자세한 내용은 --lagrangemultiplier-- 참고. [본문으로]
4. 위 식도 \\(N\\) 과 \\(V\\) 가 고정된 상태의 편미분이다. [본문으로]
5. 다만, 아직은 \\(k\\) 가 1.1 거시상태, 미시상태, 볼츠만 상수 Macrostate, Microstate, Boltzmann Constant에서 정의한 Boltzmann constant인지 알 수는 없다. 이 값이 Boltzmann constant인 것은 1.4-(2) Example: 이상기체 Ideal Gas에서 확인할 수 있다. [본문으로]
6. 원래의 \\(W\\) 가 되기위해서는 모든 \\(\\omega_s\\) 값이 1이면 된다. [본문으로]
7. 확률 분포에서 평균에너지. [본문으로]