(선형대수학) 3.3 Direct Sum Decomposition

Direct Sum

 

Diagonalizable 페이지에서 구별되는 eigenvalue에 대한 eigenspace는 서로 linearly independent하다는 것을 보았다. 서로 linearly independent한 subspace \(W_1\), \(W_2\), ..., \(W_k\)는

$$ W_i \cap \mathrm{span}(W_1,\cdots,W_{i-1},W_{i+1},\cdots,W_k)=\{\mathbf{0}\} $$

을 만족한다. 반대로 위를 만족하는 경우 subspace들은 서로 linearly independent하다. 따라서 linearly independent한 subspace들로 span한 새로운 vector space \(W\)는

$$ \dim{(W)}=\dim{(W_1)}+\dim{(W_2)}+\cdots+\dim{(W_k)} $$

이 된다. 이렇게 만들어진 새로운 vector space \(W\)를 \(W_1\), \(W_2\), ..., \(W_k\)의 direct sum이라고 하고,

$$ W=W_1 \oplus W_2 \oplus \cdots \oplus W_k $$

로 쓴다. 보통 span한 space

$$ W=\mathrm{span}(W_1,W_2,\cdots,W_k) $$

에서 각 집합이 subspace인 경우

$$ W=W_1+W_2+\cdots+W_k $$

처럼 표현하는데 direct sum을 이와 구분하기 위해서 \(\oplus\) 기호를 사용한다.

 

DEFINITION            Direct Sum

 

Vector space \(W\)의 subspace \(W_1\), \(W_2\)가

 

1. \(W_1 \cap W_2 = \{0\}\)

 

2. \(W=\mathrm{span}(W_1,W_2)\)

 

일 경우,

$$ W=W_1 \oplus W_2 $$

로 표현하고 \(W\)를 \(W_1\)과 \(W_2\)의 direct sum이라고 한다.

 

Direct sum를 \(W\)에서 보면, \(W\)를 겹치지 않는 subspace들 \(W_1\), \(W_2\), ..., \(W_k\)들로 나눌 수 있다는 의미이다. (물론, '겹치지 않는다'가 집합의 관점 \(W_1 \cap W_2=\emptyset\)임을 의미하는 것이 아니고 vector의 관점에서 independent함을 의미한다. 비슷하게 '나눈다'는 것도 \(W=W_1\cup W_2\)를 의미하는 것이 아니라 span된다는 것을 의미한다.)

 

 

Examples

 

1. 2차원 Euclidean space \(\mathbb{R}^2\)의 subspace

$$ X=\{(x,0)~|~x\in\mathbb{R}\} $$

$$ Y=\{(0,y)~|~y\in\mathbb{R}\} $$

는

$$ X\cap Y=\{(0,0)\} $$

이므로 서로 linearly indepedent하다. 그리고 \(\mathbb{R}^2=X+Y\)이므로

$$ \mathbb{R}^2=X\oplus Y $$

이다. \(X\)는 x축을, \(Y\)는 y축을 표현하므로 2차원 Euclidean space는 x축과 y축의 direct sum이라고 할 수 있다. \(X\), \(Y\)는 dimension이 1이므로 (선형대수학) 2.3 Isomorphism의 정리에 의해 \(\mathbb{R}\)과 isomorphic하고 사실상 \(\mathbb{R}\)과 같다. 이를 이용해

$$ \mathbb{R}^2=\mathbb{R}\oplus\mathbb{R} $$

로 표현하기도 한다.

 

 

2. (선형대수학) 3.2 Diagonalizable Operators에서 본 것과 같이 vector space \(V\)의 diagonalizable linear operator \(T\)에 대하여 eigenspace들을 \(W_1\), \(W_2\), ..., \(W_k\)라고 하면,

$$ V=W_1 \oplus W_2 \oplus \cdots \oplus W_k $$

이다.

 

 

3. Basis를

$$ \mathcal{B}=\{\mathbf{e}_1,\mathbf{e}_2,\cdots,\mathbf{e}_n\} $$

로 하는 n-dimensional vector space \(V\)에 대하여, \(W_i\)를

$$ W_i=\{c\mathbf{e}_i \} $$

인 subspace라고 하면, \(W_i\)의 dimension은 1이고 서로 linearly independent하다. 그러므로

$$ V=W_1\oplus W_2 \oplus \cdots \oplus W_n $$

이다.

 

 

4. Vector space \(V\)에 대하여 projection operator \(P\)를 살펴보자.((선형대수학) 2.5-(1) Example: Projection 참조) \(P\)의 eigenvalue를 구하기 위해

$$ P\mathbf{v}=c\mathbf{v} $$

로 부터

$$ c\mathbf{v}=P\mathbf{v}=P^2\mathbf{v}=c^2\mathbf{v} $$

이므로 eigenvalue는 1 또는 0이어야 한다. 이제 eigenvalue 1에 대한 eigenspace를 \(W\)라고 하고 eigenvalue 0에 대한 eigenspace를 \(N\)(즉, \(P\)의 kernel, (선형대수학) 2.6 Kernel of Linear Transformation 참조)이라고 하자. \(W\)와 \(N\)은 서로 다른 eigenvalue에 대한 eigenspace들이므로 linearly independent하다. 그리고 임의의 vector \(\mathbf{v}\)는

$$ \mathbf{v}=\mathbf{v}+P\mathbf{v}-P\mathbf{v}=P\mathbf{v}+(\mathbf{v}-P\mathbf{v}) $$

이다. \(P\mathbf{v}\)는 \(P\)의 eigenvector이고 \((\mathbf{v}-P\mathbf{v})\)는 \(P\)에 의해 zero-vector가 되므로

$$ V=W+N $$

이다. 따라서

$$ V=W\oplus N $$

이다.

 

 

Direct Sum Decomposition

 

Vector space \(V\)가

$$ V=W_1\oplus W_2 \oplus \cdots \oplus W_k $$

이면 임의의 vector \(\mathbf{v}\)는 subspace \(W_i\)에 있는 vector \(\mathbf{w}_i\)들의 합으로 표현된다.

$$ \mathbf{v}=\mathbf{w}_1+\mathbf{w}_2+\cdots+\mathbf{w}_k $$

이 때, \(V\)가 \(W_i\)들의 direct sum이므로 이를 만족하는 vector \(\mathbf{w}_i\)들은 유일하게 결정된다. Direct sum이 아니라 단순히 span일 경우 여러 가지 경우가 가능하다. 이제 linear operator \(P_i\)를 다음과 같이 정의하자.

$$ P_i\mathbf{v}=\mathbf{w}_i $$

\(P_i\)가 projection operator임을 쉽게 확인할 수 있다.  \(i\ne j\)인 경우

$$ P_iP_j\mathbf{v}=P_i\mathbf{w}_j=\mathbf{0} $$

이므로

$$ P_iP_j=\delta_{ij}P_i $$

이다.  임의의 vector \(\mathbf{v}\)에 대하여,

$$ \mathbf{v}=\mathbf{w}_1+\mathbf{w}_2+\cdots+\mathbf{w}_k=P_1\mathbf{v}+P_2\mathbf{v}+\cdots+P_k\mathbf{v}=(P_1+P_2+\cdots+P_k)\mathbf{v} $$

이므로

$$ I=P_1+P_2+\cdots+P_k $$

이다. 또한 \(P_i\)의 image

$$ \mathrm{im}(P_i)=W_i $$

가 된다.

 

이를 종합하면, 

 

THEOREM            Direct Sum Decomposition

 

Vector space \(V\)가 \(W_1\), \(W_2\), ..., \(W_k\)의 direct sum인 경우

 

1. \(P_i\)는 projection

 

2. \(P_iP_j=\delta_{ij}P_i\)

 

3. \(I=P_1+P_2+\cdots+P_k\)

 

4. \(\mathrm{im}(P_i)=W_i\)

 

를 만족하는 linear operator \(P_1\), \(P_2\), ..., \(P_k\)가 존재한다.

 

역으로, 1, 2, 3의 조건을 만족하는 linear operator \(P_1\), \(P_2\), ..., \(P_k\)가 존재하는 경우 subspace

$$ W_i=\mathrm{im}(P_i) $$

라고 하면, \(V\)는 \(W_1\), \(W_2\), ..., \(W_k\)의 direct sum이 된다.

 

위의 예제 2에서 보았듯이, linear operator \(T\)가 diagonalizable하면 vector space \(V\)는 eigenspace \(W_i\)들의 direct sum으로 표현된다.

$$ V=W_1\oplus W_2 \oplus \cdots \oplus W_k $$

\(W_i\)의 vector \(\mathbf{w}_i\)는

$$ T\mathbf{w}_i=c_i\mathbf{w}_i $$

이므로 다시 \(W_i\)의 원소가 된다. 따라서

$$ TW_i=\{T\mathbf{w}_i \in V ~|~ \mathbf{w}_i \in W_i \} $$

와 같이 정의하면(집합에 대한 함수의 image)

$$ TW_i \subset W_i $$

가 된다. 이렇게 어떤 집합에 linear operator를 작용한 결과 그 image가 다시 원래의 집합에 속하는 경우 그 집합을 invariant하다고 부른다.

 

DEFINITION            Invariant Set under Linear Operation

 

Vector space \(V\)의 subset \(W\)가 linear operator \(T\)에 대하여 image가 \(W\)에 포함되면, \(W\)를 \(T\)에 대하여 invariant하다고 부른다.

 

Finite vector space \(V\)의 linear operator \(T\)에 대하여 invariant한 proper subspace \(W\)(즉, \(W\ne V\))가 있는 경우 \(T\)의 matrix 표현은 block diagonal 형태로 표현될 수 있다. \(W\)의 basis가

$$ \{\mathbf{e}_1, \cdots, \mathbf{e}_k\} $$

라면, \(V\)의 basis를

$$ \{\mathbf{e}_1, \cdots, \mathbf{e}_k,\mathbf{e}_{k+1}, \cdots, \mathbf{e}_n\} $$

으로 잡아서

$$ [T]=\begin{bmatrix} A & 0 \\ 0 & B \end{bmatrix}~\mathrm{,where~}A\mathrm{~is~a~}k\times k\mathrm{~matrix,~}B\mathrm{~is~a~}(n-k)\times (n-k)\mathrm{~matrix} $$

의 형태로 만들수 있다.

 

 

Spectral Decomposition

 

다시 diagonalizable operator \(T\)로 돌아오면, 임의의 vector \(\mathbf{v}\)는 eigenspace의 vector들로 decomposition된다. Eigenvalue \(c_i\)에 대한 eigenspace \(W_i\)의 projection \(P_i\)를 이용해 \(\mathbf{w}_i=P_i\mathbf{v}\)라고 한다면,

$$ \mathbf{v}=\mathbf{w}_1+\mathbf{w}_2+\cdots+\mathbf{w}_k $$

여기에 \(T\)를 작용하면

$$ T\mathbf{v}=T\mathbf{w}_1+T\mathbf{w}_2+\cdots+T\mathbf{w}_k=c_1P_1\mathbf{v}+c_2P_2\mathbf{v}+\cdots+c_kP_k\mathbf{v}=(c_1P_1+c_2P_2+\cdots+c_kP_k)\mathbf{v} $$

이므로

$$ T=c_1P_1+c_2P_2+\cdots+c_kP_k $$

를 만족한다.

 

정리하면,

 

THEOREM            Spectral Decomposition Theorem (Finite Dimension)

 

Finite dimensional vector space \(V\)의 linear operator \(T\)가 diagonalizable하고 값이 다른 eigenvalue \(c_1\), \(c_2\), ..., \(c_k\)를 가진다고 하자. 그러면

 

1. \(T=c_1P_1+c_2P_2+\cdots+c_kP_k\)

 

2. \(P_i\)는 projection

 

3. \(P_iP_j=\delta_{ij}P_i\)

 

4. \(I=P_1+P_2+\cdots+P_k\)

 

5. \(P_i\)의 image는 eigenvlaue \(c_i\)의 eigensapce

 

를 만족하는 linear operator \(P_1\), \(P_2\), ..., \(P_k\)가 존재한다.

 

역으로, 1, 2, 3, 4의 조건을 만족하는 linear operator \(P_1\), \(P_2\), ..., \(P_k\)가 존재하는 경우 \(T\)는 diagonalizable하고 \(P_i\)의 image가 eigenvalue \(c_i\)의 eigenspace가 된다.

 

즉, diagonalizable linear operator \(T\)는 vector space \(V\)를 eigenspace들로 "겹치지 않게 나눌 수" 있고 위의 성질을 만족하는 각 eigenspace로의 projection operator들이 존재한다고 할 수 있다.