Reporducing Kernel Hilbert Space (RKHS)

*임시페이지입니다.

 

임의의 집합 \(X\)에 정의된 실수 함수들로 이루어진 Hilbert space \(H\)를 생각해보자. 여기에 \(X\)의 한 점 \(x\)에서의 evaluation functional \(L_x\)를 다음과 같은 linear functional로 정의하자.

\[ L_x (f) = f(x) \]

이 evaluation functional이 \(H\)에서 continous할 때 \(H\)를 reproducing kernel Hilbert space라고 부른다.

 

Reproducing Kernel Hilbert Space
각 \(x\in X\)에 대하여, \(L_x\)가 \(H\)에서 continuous하면 \(H\)를 reproducing kernel Hilbert space라고 한다. 즉, 모든 \(f\in H\)에 대하여, \(|L_x(f)| \le M_x \left\| f \right\| _H\)인 \(M_x\)가 존재하는 경우 \(H\)를 reproducing kernel Hilbert space라고 한다.

 

정의로부터 \(L_x\)는 bounded linear functional이므로 Riesz Representation Theorem^[각주:1]에 의해 다음과 같은 결론을 얻을 수 있다.

 

Consequnece of Riesz Representation Theorem
Evaluation functional \(L_x\)가 \(H\)의 임의의 함수 \(f\)에 작용하는 것은 \(f\)와 \(H\)의 어떤 함수 \(K_x\)와의 inner product로 표현된다.

 

즉, 임의의 실수 함수 \(f \in H\)에 대하여, 각 \(L_x\)마다

\[ L_x(f) = \langle f, K_x \rangle _H \]

인 실수 함수 \(K_x\)가 \(H\)에 유일하게 존재한다. 보통 feature map으로 불리는 것이 이 evaluation functional \(L_x\)의 representation \(K_x\)이다. \(K_x\) 역시 \(H\)에 있는 실수 함수이므로 \(y \in X\)에서 evaluation이 가능하다. 따라서 \(K_x\)의 \(y\)에서 evaluation을 feature map의 inner product로 다시 써보면

\[ K_x(y) = L_y(K_x) = \langle K_x, K_y \rangle_H \]

이 식으로부터 다음곽 같은 새로운 함수 \(K:X\times X \to \mathbb{R}\)를 정의할 수 있는데 이 함수를 \(H\)의 reproducing kernel이라고 한다.

 

Repoducing Kernel of \(H\)
\[ K(x,y) = \langle K_x,K_y \rangle _H \]

 

위 정의로부터

 

     1. (symmetric) \(K(x,y) = K(y,x)\)

 

     2. (positive definite) 모든 \(x\)에 대하여, \(K(x,x) \ge 0\)

 

임을 확인할 수 있다.

 

 

반대로 어떤 함수 \(G\)가 symmetric하고 positive definite하면, \(G\)를 reproducing kernel로 하는 Hilbert space가 반드시 존재한다.

 

Moore-Aronzajn Theorem
함수 \(G:X\times X \to \mathbb{R}\)가 symmertic하고 positive definite하면, \(G\)를 reproducing kernel로 하는 Hilbert space가 유일하게 존재한다.

 

\(G\)로부터 이러한 Hilbert space를 만들어내기 위하여 feature map \(\psi_{x'}(x) = K(x',x)\)를 정의하면, Hilbert space는 다음과 같이 feature map의 linear span과 completion으로 만들어낼 수 있는 모든 함수를 가지는 space가 된다.

\[ f(x) = \sum _{i=1} ^\infty a_i \psi_{x_i} (x) \text{ where } \lim_{n\to \infty} \sup _{p\ge 0} \left\| \sum_{i=n} ^{n+p} a_i K_i \right\| = 0\]

 

1. Riesz Representation Theorem에 대해서는 (선형대수학) 5.5 Bounded Linear Functionals 참고 [본문으로]