Kernel Ridge Regression(KRR)

KRR = Ridge Regrssion + Kernel trick

 

KRR은 Ridge 회귀에 커널 함수을 추가한 것이다.

 

기존의 Ridge regression의 비용함수는 다음과 같다.

 

W를 구하면

 

인데 이 식을 matrix inversion lemma 라는 공식을 이용해서

matrix inversion lemma

 

밑의 식으로 표현 할 수 있다.

 

 

 

 

 

여기에서 선형적인 모델을 사용하기 위해서 input space가 아닌 feature space로 함수를 매핑시키는 특성매핑함수를 사용한다. 

 

그럼 마지막 항으로 식이 표현된다.

 

마지막 항에서 보면 특성매핑함수가 내적의 꼴로 존재한다.

 

즉 커널함수를 사용할 수 있는 것이다.

 

커널함수는 특성매핑함수의 내적으로 표현할 수 있다.

 

 

즉 구하고자 하는 알파를 커널함수를 통해 쓸 수 있다.

 

 

 

 

 

최종적으로 Ridge regression에 커널함수를 추가함으로써 y_hat을 구하는 식을 만들 수 있다.

 

식을 잘 보면 특성매핑함수는 존재하지 않는다.

 

이전에 언급했듯이 대부분의 경우에서 특성매핑함수를 찾는 것은 힘들다고 한다.

 

특성매핑함수를 통해 직접적으로 feature space를 구하고 선형적인 모델을 사용할 수 있으면 좋겠지만 쉽지 않다.

 

따라서 직접적으로 특성매핑함수를 구하지않고 커널함수를 사용함으로써 비슷한 효과를 얻는 것이 Kernel Ridge Regression(KRR)이다.

 

 

 

이 방법에는 단점도 있다.

 

알파를 구할 때 사용되는 커널함수에는 커널 행렬이 존재하는데 NXN 행렬이다. 

그리고 그것의 역행렬을 구해야함으로 N(train data 개수)이 굉장히 크면 복잡도가 너무 커진다는 단점이 있다.