MLE(최우도 추정)에 관해

우도는 데이터 분포(평균, 분산)를 가정하고, 해당 데이터를 관측할 확률이 얼마이냐는 것이다.

주어진 데이터에서 데이터의 관측 확률(우도)을 최대화 시키는 mean, sigma 값을 찾아내는 작업을 최우도추정이라고 하는데 이를 통해 데이터를 분류(classification) 하는 과정에 대해 알아본다.

bayes rule 에 대해서는 아래와 같다. 

정규분포를 가정하고 Discriminant function g(x)을 재정의 한다.

아래와 같이 테이터 셋이 주어졌을때

 x 가 y 에 속하면  1, 아닐 경우 0으로 분류한다.

위 데이터셋의 log likelihood 를 구해보면 아래와 같은데, 여기서 최우도 추정 방식을 사용하겠다.

최대를 만들어주는 값 세타를 구해본다. 극값(최대값)을 구하기위하여 일반적으로 적용되는 미분=0 방식을 사용한다. 

위 식을   에 대해 각각 편미분 하여 아래 값을 구해준다.

결국 결과값들을 해석해보자면 해당 클래스C에 대한 데이터의 분포 확률(likelihood)는 위의 평균, 분산 값일때 최대로 이루어진다는것이다. 

추정된 값들은 클래스 C에 대한 산술평균, 분산 값이다. prior(c)에 대한 값도 역시 전체 데이터에 대비한 비율인 것.

그리고 다시 discriminant function 을 아래와 같이 구할 수 있다.

위 식을 가지고 classification 에 이용하도록 한다.

1) BINARY CLASSIFICATION

binary classification 에서는 각각의 값을 비교하여 분별하기 보다 둘의 차이를 구해 양수냐 음수냐를 따져서, 양수일 경우 class1, 음수일 경우 class2 로 분별한다.

variance, prior 값을 갖고, u1= -2, u2=2 인 분포를 보고 생각해보자.

위의 식에 대입하고 계산해보면 

g(x) = -4x 라는 결과를 얻게 되는데 X가 음수 일 경우는 +, 양수일 경우는 - 를 보이게 된다. 결국 x 각 양수일 경우 class2 가 된다.

둘의 가운데 있는 0인 곳에서 discrimant boundary를 형성하고 있다.

아래 차트는 prior(사전) 확률의 값에 차이를 보인다. 

p(1) = 0.8, p(2) = 0.2 라고 가정한다.  

discriminant boundary 가 약간 오른쪽으로 움직인것을 볼 수 있다. 이것은 prior 확률의 차이 때문인데 class1의 prior가 더 높기 때문이다.