(선형대수학) 3.3 Direct Sum Decomposition

Direct Sum

 

Diagonalizable 페이지에서 구별되는 eigenvalue에 대한 eigenspace는 서로 linearly independent하다는 것을 보았다. 서로 linearly independent한 subspace $W_1$, $W_2$, ..., $W_k$는

$$W_i\cap \mathrm{span}(W_1,\cdots ,W_{i-1},W_{i+1},\cdots ,W_k)=\{\mathbf{0}\}$$

을 만족한다. 반대로 위를 만족하는 경우 subspace들은 서로 linearly independent하다. 따라서 linearly independent한 subspace들로 span한 새로운 vector space $W$는

$$\dim (W)=\dim (W_1)+\dim (W_2)+\cdots +\dim (W_k)$$

이 된다. 이렇게 만들어진 새로운 vector space $W$를 $W_1$, $W_2$, ..., $W_k$의 direct sum이라고 하고,

$$W=W_1\oplus W_2\oplus \cdots \oplus W_k$$

로 쓴다. 보통 span한 space

$$W=\mathrm{span}(W_1,W_2,\cdots ,W_k)$$

에서 각 집합이 subspace인 경우

$$W=W_1+W_2+\cdots +W_k$$

처럼 표현하는데 direct sum을 이와 구분하기 위해서 $\oplus$ 기호를 사용한다.

 

DEFINITION            Direct Sum

 

Vector space $W$의 subspace $W_1$, $W_2$가

 

1. $W_1\cap W_2=\{0\}$

 

2. $W=\mathrm{span}(W_1,W_2)$

 

일 경우,

$$W=W_1\oplus W_2$$

로 표현하고 $W$를 $W_1$과 $W_2$의 direct sum이라고 한다.

 

Direct sum를 $W$에서 보면, $W$를 겹치지 않는 subspace들 $W_1$, $W_2$, ..., $W_k$들로 나눌 수 있다는 의미이다. (물론, '겹치지 않는다'가 집합의 관점 $W_1\cap W_2=\mathrm{\varnothing }$임을 의미하는 것이 아니고 vector의 관점에서 independent함을 의미한다. 비슷하게 '나눈다'는 것도 $W=W_1\cup W_2$를 의미하는 것이 아니라 span된다는 것을 의미한다.)

 

 

Examples

 

1. 2차원 Euclidean space ${\mathbb{R}}^2$의 subspace

$$X=\{(x,0)|x\in \mathbb{R}\}$$

$$Y=\{(0,y)|y\in \mathbb{R}\}$$

는

$$X\cap Y=\{(0,0)\}$$

이므로 서로 linearly indepedent하다. 그리고 ${\mathbb{R}}^2=X+Y$이므로

$${\mathbb{R}}^2=X\oplus Y$$

이다. $X$는 x축을, $Y$는 y축을 표현하므로 2차원 Euclidean space는 x축과 y축의 direct sum이라고 할 수 있다. $X$, $Y$는 dimension이 1이므로 (선형대수학) 2.3 Isomorphism의 정리에 의해 $\mathbb{R}$과 isomorphic하고 사실상 $\mathbb{R}$과 같다. 이를 이용해

$${\mathbb{R}}^2=\mathbb{R}\oplus \mathbb{R}$$

로 표현하기도 한다.

 

 

2. (선형대수학) 3.2 Diagonalizable Operators에서 본 것과 같이 vector space $V$의 diagonalizable linear operator $T$에 대하여 eigenspace들을 $W_1$, $W_2$, ..., $W_k$라고 하면,

$$V=W_1\oplus W_2\oplus \cdots \oplus W_k$$

이다.

 

 

3. Basis를

$$\mathcal{B}=\{{\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_n\}$$

로 하는 n-dimensional vector space $V$에 대하여, $W_i$를

$$W_i=\{c{\mathbf{e}}_i\}$$

인 subspace라고 하면, $W_i$의 dimension은 1이고 서로 linearly independent하다. 그러므로

$$V=W_1\oplus W_2\oplus \cdots \oplus W_n$$

이다.

 

 

4. Vector space $V$에 대하여 projection operator $P$를 살펴보자.((선형대수학) 2.5-(1) Example: Projection 참조) $P$의 eigenvalue를 구하기 위해

$$P\mathbf{v}=c\mathbf{v}$$

로 부터

$$c\mathbf{v}=P\mathbf{v}=P^2\mathbf{v}=c^2\mathbf{v}$$

이므로 eigenvalue는 1 또는 0이어야 한다. 이제 eigenvalue 1에 대한 eigenspace를 $W$라고 하고 eigenvalue 0에 대한 eigenspace를 $N$(즉, $P$의 kernel, (선형대수학) 2.6 Kernel of Linear Transformation 참조)이라고 하자. $W$와 $N$은 서로 다른 eigenvalue에 대한 eigenspace들이므로 linearly independent하다. 그리고 임의의 vector $\mathbf{v}$는

$$\mathbf{v}=\mathbf{v}+P\mathbf{v}-P\mathbf{v}=P\mathbf{v}+(\mathbf{v}-P\mathbf{v})$$

이다. $P\mathbf{v}$는 $P$의 eigenvector이고 $(\mathbf{v}-P\mathbf{v})$는 $P$에 의해 zero-vector가 되므로

$$V=W+N$$

이다. 따라서

$$V=W\oplus N$$

이다.

 

 

Direct Sum Decomposition

 

Vector space $V$가

$$V=W_1\oplus W_2\oplus \cdots \oplus W_k$$

이면 임의의 vector $\mathbf{v}$는 subspace $W_i$에 있는 vector ${\mathbf{w}}_i$들의 합으로 표현된다.

$$\mathbf{v}={\mathbf{w}}_1+{\mathbf{w}}_2+\cdots +{\mathbf{w}}_k$$

이 때, $V$가 $W_i$들의 direct sum이므로 이를 만족하는 vector ${\mathbf{w}}_i$들은 유일하게 결정된다. Direct sum이 아니라 단순히 span일 경우 여러 가지 경우가 가능하다. 이제 linear operator $P_i$를 다음과 같이 정의하자.

$$P_i\mathbf{v}={\mathbf{w}}_i$$

$P_i$가 projection operator임을 쉽게 확인할 수 있다.  $i\ne j$인 경우

$$P_i{P}_j\mathbf{v}=P_i{\mathbf{w}}_j=\mathbf{0}$$

이므로

$$P_i{P}_j={\delta }_{ij}{P}_i$$

이다.  임의의 vector $\mathbf{v}$에 대하여,

$$\mathbf{v}={\mathbf{w}}_1+{\mathbf{w}}_2+\cdots +{\mathbf{w}}_k=P_1\mathbf{v}+P_2\mathbf{v}+\cdots +P_k\mathbf{v}=(P_1+P_2+\cdots +P_k)\mathbf{v}$$

이므로

$$I=P_1+P_2+\cdots +P_k$$

이다. 또한 $P_i$의 image

$$\mathrm{im}(P_i)=W_i$$

가 된다.

 

이를 종합하면, 

 

THEOREM            Direct Sum Decomposition

 

Vector space $V$가 $W_1$, $W_2$, ..., $W_k$의 direct sum인 경우

 

1. $P_i$는 projection

 

2. $P_i{P}_j={\delta }_{ij}{P}_i$

 

3. $I=P_1+P_2+\cdots +P_k$

 

4. $\mathrm{im}(P_i)=W_i$

 

를 만족하는 linear operator $P_1$, $P_2$, ..., $P_k$가 존재한다.

 

역으로, 1, 2, 3의 조건을 만족하는 linear operator $P_1$, $P_2$, ..., $P_k$가 존재하는 경우 subspace

$$W_i=\mathrm{im}(P_i)$$

라고 하면, $V$는 $W_1$, $W_2$, ..., $W_k$의 direct sum이 된다.

 

위의 예제 2에서 보았듯이, linear operator $T$가 diagonalizable하면 vector space $V$는 eigenspace $W_i$들의 direct sum으로 표현된다.

$$V=W_1\oplus W_2\oplus \cdots \oplus W_k$$

$W_i$의 vector ${\mathbf{w}}_i$는

$$T{\mathbf{w}}_i=c_i{\mathbf{w}}_i$$

이므로 다시 $W_i$의 원소가 된다. 따라서

$$T{W}_i=\{T{\mathbf{w}}_i\in V|{\mathbf{w}}_i\in W_i\}$$

와 같이 정의하면(집합에 대한 함수의 image)

$$T{W}_i\subset W_i$$

가 된다. 이렇게 어떤 집합에 linear operator를 작용한 결과 그 image가 다시 원래의 집합에 속하는 경우 그 집합을 invariant하다고 부른다.

 

DEFINITION            Invariant Set under Linear Operation

 

Vector space $V$의 subset $W$가 linear operator $T$에 대하여 image가 $W$에 포함되면, $W$를 $T$에 대하여 invariant하다고 부른다.

 

Finite vector space $V$의 linear operator $T$에 대하여 invariant한 proper subspace $W$(즉, $W\ne V$)가 있는 경우 $T$의 matrix 표현은 block diagonal 형태로 표현될 수 있다. $W$의 basis가

$$\{{\mathbf{e}}_1,\cdots ,{\mathbf{e}}_k\}$$

라면, $V$의 basis를

$$\{{\mathbf{e}}_1,\cdots ,{\mathbf{e}}_k,{\mathbf{e}}_{k+1},\cdots ,{\mathbf{e}}_n\}$$

으로 잡아서

$$[T]=\left[\begin{array}{cc}A& 0\\ 0& B\end{array}\right],\mathrm{where}A\mathrm{is}\mathrm{a}k\times k\mathrm{matrix},B\mathrm{is}\mathrm{a}(n-k)\times (n-k)\mathrm{matrix}$$

의 형태로 만들수 있다.

 

 

Spectral Decomposition

 

다시 diagonalizable operator $T$로 돌아오면, 임의의 vector $\mathbf{v}$는 eigenspace의 vector들로 decomposition된다. Eigenvalue $c_i$에 대한 eigenspace $W_i$의 projection $P_i$를 이용해 ${\mathbf{w}}_i=P_i\mathbf{v}$라고 한다면,

$$\mathbf{v}={\mathbf{w}}_1+{\mathbf{w}}_2+\cdots +{\mathbf{w}}_k$$

여기에 $T$를 작용하면

$$T\mathbf{v}=T{\mathbf{w}}_1+T{\mathbf{w}}_2+\cdots +T{\mathbf{w}}_k=c_1{P}_1\mathbf{v}+c_2{P}_2\mathbf{v}+\cdots +c_k{P}_k\mathbf{v}=(c_1{P}_1+c_2{P}_2+\cdots +c_k{P}_k)\mathbf{v}$$

이므로

$$T=c_1{P}_1+c_2{P}_2+\cdots +c_k{P}_k$$

를 만족한다.

 

정리하면,

 

THEOREM            Spectral Decomposition Theorem (Finite Dimension)

 

Finite dimensional vector space $V$의 linear operator $T$가 diagonalizable하고 값이 다른 eigenvalue $c_1$, $c_2$, ..., $c_k$를 가진다고 하자. 그러면

 

1. $T=c_1{P}_1+c_2{P}_2+\cdots +c_k{P}_k$

 

2. $P_i$는 projection

 

3. $P_i{P}_j={\delta }_{ij}{P}_i$

 

4. $I=P_1+P_2+\cdots +P_k$

 

5. $P_i$의 image는 eigenvlaue $c_i$의 eigensapce

 

를 만족하는 linear operator $P_1$, $P_2$, ..., $P_k$가 존재한다.

 

역으로, 1, 2, 3, 4의 조건을 만족하는 linear operator $P_1$, $P_2$, ..., $P_k$가 존재하는 경우 $T$는 diagonalizable하고 $P_i$의 image가 eigenvalue $c_i$의 eigenspace가 된다.

 

즉, diagonalizable linear operator $T$는 vector space $V$를 eigenspace들로 "겹치지 않게 나눌 수" 있고 위의 성질을 만족하는 각 eigenspace로의 projection operator들이 존재한다고 할 수 있다.