Discriminative Model / Generative Model

 

• Discriminative model
  • 샘플의 카테고리만을 예측하는데 관심이 있는 모델
  • 사후 확률 P(y|x)만 구함
  • x라는 샘플이 있을 때 이 샘플의 카테고리가 y 일 확률, 즉 사후 확률 P(y|x)만을 추정하면 됨
    
    • 카테고리가 4개 존재한다면 소프트맥스(softmax)의 경우와 같이 각 카테고리별 사후 확률인 P(y=1|x), P(y=2|x), P(y=3|x), P(y=4|x)를 구한 후, 사후 확률이 가장 높은 카테고리로 분류
  • 대부분은 분별 모델
    • ex) 특정 데이터의 카테고리를 분류하는 모델
    • ex) Logistic regression, Neural Networks
  •  각 class의 차이에 주목하여 바로바로 어떤 class에 들어가야 할지 결정해 주는 모델

 

• Generative model
  • Discriminative model과 달리 x가 발생할 확률인 P(x)나 카테고리 y에서 x가 발생할 확률 P(x|y)를 명시적으로 계산
  • 이 확률 정보를 이용하여 새로운 샘플을 생성할 수 있음
  • 베이즈 공식을 적용하여 P(y|x)를 구해 분류 모델 역할을 수행할 수도 있음
    • ex) GAN (Generative Adversarial Network), 특정 사람의 필체를 흉내 낸 글씨를 생성하는 모델, 특정 양식의 그림을 생성하는 모델
    • ex)Gaussian Mixture Model (GMM)
  • 각 class의 분포에 주목하여 어떤 분포에 들어갈 가능성이 가장 많은지 결정해 주는 모델

 

 

Reference

 

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=qbxlvnf11&logNo=221604484386 

머신 러닝 - 분별 모델(Discriminative Model)과 생성 모델(Generative Model)

https://blogyong.tistory.com/33

Generative model과 Discriminate model 차이점과 비교