P(h) : prior prob. 학습데이터를 관찰하기 이전, 가설 h의 초기 확률. 도메인에 대한 사전지식.
P(D) : evidence.
P(D|h) : likelihood.
P(h|D) : h의 posterior prob. 기계학습에서 주요 관심의 대상. 학습데이터를 관찰한 후, 가설 h에 대한 confidence의 정도라고 해석할 수 있음.
여기서 P(h|D)를 추정하기 위한 초석으로 '베이즈 정리(Bayes theorem)'가 이용될 수 있으며, 여기에 P(h), P(D), P(D|h)의 정보가 이용된다.
여기서 P(h|D)는 P(h),P(D|h)에는 비례하고 P(D)에는 반비례한다는 것을 확인할 수 있는데, 생각해보면 이는 직관과 일치한다.
-
여러개의 가설 h∈H가 있을 때, 데이터 D가 주어진 상태에서 가장 probable한 가설을 우리는 'maximum a posteriori (MAP)' 가설이라고 부른다.
한편, 여기서 P(h)가 모든 h∈H에 대해 같은 확률이라고 가정하면, 위의 식을 더욱 간단하게 아래 식처럼 나타낼 수 있는데, 이 때 선택되는 가설을 'maximum likelihood(ML)'가설이라고 한다.
