[2023 Spring Lab Seminar] DDIM: Denoising Diffusion Implicit Model (ICLR, 2021)

 

 

[2023 Spring Lab Seminar] DDIM: Denoising Diffusion Implicit Model (ICLR, 2021)

 

 

 

 

 

 

•  Generative model : Diffusion Model 
  • DIffusion (forward process) -> : 이미지에 고정된(fixed) 정규 분포(=Gaussian분포)로 생성된 Noise가 더해지고
  • Sampling (reverse process) <- : (학습을 해야 하는 부분 / denoising)  이미지를 학습된(learned) 정규 분포로 생성된 Noise이미지로 뺀다 
    • <-> VAE와의 Loss function과 denoising term이 추가되었다는 차이가 있다 

 

 

 

 

• Diffusion Model (2015) 
  • LT : 마지막 상태(xT)에 대해, 확률분포 q와 p의 KL Divergence를 최소화하여, p와 q 확률분포 차이를 줄일 수 있습니다. Regularization Loss이라 불립니다.
  • Lt-1 : 현재 상태(xt)가 주어질 때, 이전 상태(t-1)가 나올 확률 분포 q와 p의 KL Divergence를 최소화하여, p와 q 확률분포 차이를 줄일 수 있습니다. Denoising Process Loss라 불립니다.
  • L0 : VAE(Varation Auto Encoder)Loss를 구성하는 Reconstruction Loss식 -log( p(x0|xT) )와 대응됩니다. 확률분포 q를 통해 샘플링하였을 때 - log( p(x0|x1) ) 에 대한 기대값을 최소화하여, p와 q 확률분포 차이를 줄일 수 있습니다.

 

 

 

 

 

 

 

• DDPM : Denoising Diffusion Probabilistic Models (2020)
  
  • https://arxiv.org/abs/2006.11239 
  • Simplified training objective

 

 

 

 

 

 

• DDIM : Denoising Diffusion Probabilistic Models (2021)
  • https://arxiv.org/abs/2010.02502
  • 더 빠른 DDPM 
    •  DDPM보다 훨씬 더 적은 iteration으로 이미지 생성이 가능하다
  • 1) forward process (DDPM과의 차이) Non-Markovian forward processes 
  • 2) sampling process 
    • 즉, markovian process로 학습시킨 pretrained DDPM model의 parameter θ 를 DDIM의 generative process에도 이용할 수 있게 된다는 것이다.
    • 여기서 짚고 넘어갈 게 있는데, DDIM은 새로운 훈련 방법을 제시했다기보다는 diffusion process의 objective function을 non-markovian chain으로 generalize하고, 좀 더 빠르게 이미지 생성이 가능하도록 새로운 sampling 방법을 제시했다는 점에 있다.
    • 요즘 트렌드는 DDPM으로 학습시킨 모델을 DDIM의 generation 방식으로 sampling 하는 방식이다. 이렇게 하면 좋은 성능의 모델(DDPM)을 사용하면서, 이미지를 빠르게 sampling할 수 있다.

 

 

• Diffusion의 장점
  • GAN / VAE보다 훨씬 더 좋은 퀄리티의 이미지를 낸다 

 

 

 

지원님의 발표 ! 

https://youtu.be/aUqbWBQTKaA

 

 

 

https://jang-inspiration.com/ddim#65309a0f6a4d450a8fa93eac217c7625

[논문리뷰] DDIM: Denoising Diffusion Implicit Model

https://xoft.tistory.com/32

[개념 정리] Diffusion Model 과 DDPM