최대가능도 방법 - Maximum likelihood estimation

 

위 그림에서 빨간색 X가 데이터라고 할 때 데이터를 가장 잘 설명하는 정규분포는 세 가지 중에 파란색(2번) 정규분포이다. 이처럼 데이터를 가장 잘 설명하는 확률을 가진 정규분포를 찾아가면서 적절한 모델을 찾는 것이 최대가능도 방법이다.

 

 

선형적인 모델일 때 타겟 함수 Yn은 다음과 같이 쓸 수 있다. 여기에서 En을 가우시안 노이즈라고 한다.

 

likelihood = 가능도 = Parametrized distribution = P(Yn|Xn) = X(입력)이 주어졌을 때 Y(타겟)이 일어날 확률의 최댓값

 

 

 

즉 가능도를 최대로 높이는 가중치W를 찾는 것이 목적이다.

 

 

 

가중치는 일어날 확률을 모두 곱한 것이기 때문에 쉽게 계산하기 위해 로그를 붙여서 합으로 나타낸다. 계산하면 최소제곱법에서 나온 비용함수 J를 찾을 수 있는데 가능도(likelihood)를 최대화하는 가중치를 찾기위해서는 J가 최소가 되어야한다. 

 

따라서 최대가능도방법은 최소제곱법(Least square)과 같은 방법임을 알 수 있다.