Reporducing Kernel Hilbert Space (RKHS)

*임시페이지입니다.

 

임의의 집합 $X$에 정의된 실수 함수들로 이루어진 Hilbert space $H$를 생각해보자. 여기에 $X$의 한 점 $x$에서의 evaluation functional $L_x$를 다음과 같은 linear functional로 정의하자.

$$L_x(f)=f(x)$$

이 evaluation functional이 $H$에서 continous할 때 $H$를 reproducing kernel Hilbert space라고 부른다.

 

Reproducing Kernel Hilbert Space
각 $x\in X$에 대하여, $L_x$가 $H$에서 continuous하면 $H$를 reproducing kernel Hilbert space라고 한다. 즉, 모든 $f\in H$에 대하여, $|L_x(f)|\le M_x{\Vert f\Vert }_H$인 $M_x$가 존재하는 경우 $H$를 reproducing kernel Hilbert space라고 한다.

 

정의로부터 $L_x$는 bounded linear functional이므로 Riesz Representation Theorem^[각주:1]에 의해 다음과 같은 결론을 얻을 수 있다.

 

Consequnece of Riesz Representation Theorem
Evaluation functional $L_x$가 $H$의 임의의 함수 $f$에 작용하는 것은 $f$와 $H$의 어떤 함수 $K_x$와의 inner product로 표현된다.

 

즉, 임의의 실수 함수 $f\in H$에 대하여, 각 $L_x$마다

$$L_x(f)=⟨f,K_x{⟩}_H$$

인 실수 함수 $K_x$가 $H$에 유일하게 존재한다. 보통 feature map으로 불리는 것이 이 evaluation functional $L_x$의 representation $K_x$이다. $K_x$ 역시 $H$에 있는 실수 함수이므로 $y\in X$에서 evaluation이 가능하다. 따라서 $K_x$의 $y$에서 evaluation을 feature map의 inner product로 다시 써보면

$$K_x(y)=L_y(K_x)=⟨K_x,K_y{⟩}_H$$

이 식으로부터 다음곽 같은 새로운 함수 $K:X\times X\to \mathbb{R}$를 정의할 수 있는데 이 함수를 $H$의 reproducing kernel이라고 한다.

 

Repoducing Kernel of $H$
$$K(x,y)=⟨K_x,K_y{⟩}_H$$

 

위 정의로부터

 

     1. (symmetric) $K(x,y)=K(y,x)$

 

     2. (positive definite) 모든 $x$에 대하여, $K(x,x)\ge 0$

 

임을 확인할 수 있다.

 

 

반대로 어떤 함수 $G$가 symmetric하고 positive definite하면, $G$를 reproducing kernel로 하는 Hilbert space가 반드시 존재한다.

 

Moore-Aronzajn Theorem
함수 $G:X\times X\to \mathbb{R}$가 symmertic하고 positive definite하면, $G$를 reproducing kernel로 하는 Hilbert space가 유일하게 존재한다.

 

$G$로부터 이러한 Hilbert space를 만들어내기 위하여 feature map ${\psi }_{x^{\prime }}(x)=K(x^{\prime },x)$를 정의하면, Hilbert space는 다음과 같이 feature map의 linear span과 completion으로 만들어낼 수 있는 모든 함수를 가지는 space가 된다.

$$f(x)=\sum _{i=1}^{\mathrm{\infty }}{a}_i{\psi }_{x_i}(x)\text{ where }\underset{n\to \mathrm{\infty }}{lim}\underset{p\ge 0}{sup}\Vert \sum _{i=n}^{n+p}{a}_i{K}_i\Vert =0$$

 

1. Riesz Representation Theorem에 대해서는 (선형대수학) 5.5 Bounded Linear Functionals 참고 [본문으로]