Kernel Ridge Regression(KRR)
KRR = Ridge Regrssion + Kernel trick
KRR은 Ridge 회귀에 커널 함수을 추가한 것이다.
기존의 Ridge regression의 비용함수는 다음과 같다.
W를 구하면
인데 이 식을 matrix inversion lemma 라는 공식을 이용해서
밑의 식으로 표현 할 수 있다.
여기에서 선형적인 모델을 사용하기 위해서 input space가 아닌 feature space로 함수를 매핑시키는 특성매핑함수를 사용한다.
그럼 마지막 항으로 식이 표현된다.
마지막 항에서 보면 특성매핑함수가 내적의 꼴로 존재한다.
즉 커널함수를 사용할 수 있는 것이다.
커널함수는 특성매핑함수의 내적으로 표현할 수 있다.
즉 구하고자 하는 알파를 커널함수를 통해 쓸 수 있다.
최종적으로 Ridge regression에 커널함수를 추가함으로써 y_hat을 구하는 식을 만들 수 있다.
식을 잘 보면 특성매핑함수는 존재하지 않는다.
이전에 언급했듯이 대부분의 경우에서 특성매핑함수를 찾는 것은 힘들다고 한다.
특성매핑함수를 통해 직접적으로 feature space를 구하고 선형적인 모델을 사용할 수 있으면 좋겠지만 쉽지 않다.
따라서 직접적으로 특성매핑함수를 구하지않고 커널함수를 사용함으로써 비슷한 효과를 얻는 것이 Kernel Ridge Regression(KRR)이다.
이 방법에는 단점도 있다.
알파를 구할 때 사용되는 커널함수에는 커널 행렬이 존재하는데 NXN 행렬이다.
그리고 그것의 역행렬을 구해야함으로 N(train data 개수)이 굉장히 크면 복잡도가 너무 커진다는 단점이 있다.