Kernel method, feature space(특성 공간)

왼쪽처럼 데이터를 그대로 표현했을 때 결정경계가 선형적으로 만들어지지 않는 경우는 많다.

이러한 상황에서 결정경계를 선형적으로 만들기 위해 input space에서 feature space로 공간을 바꾼다.

 

이렇게 공간을 바꿀 수 있게 mapping하는 함수를 특성매핑함수라고 하자.

 

이 함수를 거치면 선형적인 모델을 사용할 수 있는 것이다.

 

이처럼 새로운 특성공간으로 매핑해서 선형적이지 않은 모델을 선형적인 모델을 통해 풀 수 있게 하는 방법이 Kernel method이다.

 

 

 

 

 

특성매핑함수는 커널함수를 통해 표현할 수 있다.

 

 

 

 

 

특성매핑함수의 내적으로 커널 함수를 구할 수 있는데 이것을 이해하기 위해서는 우선 inner product(내적)의 의미를 알아야한다.

 

x, y 두 벡터가 있을 때 두 벡터의 내적 값은 두 벡터 사이의 각도 세타에 따라 달라진다.

오른쪽 식에서 알 수 있듯이 내적은 두 벡터 x, y간의 유사성을 나타낸다.

 

커널함수는 특성매핑함수의 내적이라고 했다. 즉 특성매핑함수의 유사성을 통해 커널함수를 정의할 수 있는 것이다.

 

 

 

 

 

이미 정의되어 있는 커널함수는 여러개이다. 이 중에서 RBF kernal을 보면 exp( . ) 안에 Xi, Xj간의 거리가 포함되어있는 것을 알 수 있다.

 

두 벡터 간의 거리는 두 벡터 간의 유사성과 반비례한다.

 

RBF kernal에서 알 수 있듯이 커널함수를 통해 벡터간의 유사성을 판단할 수 있는 것이다.

 

 

 

 

다시 돌아가서,

적절한 커널함수를 선택함으로써 특성매핑함수를 찾을 수 있을 것처럼 보이지만 특성매핑함수를 찾는 것은 쉽지 않다고 한다. 

 

따라서 커널함수가 가진 특징인 특성매핑함수 간의 유사성으로 특성매핑함수를 직접 찾지 않아도 비슷한 효과를 얻을 수 있는 방법이 있다.

 

이것이 Kernal Ridge regression이다.