Generative Adversarial Network

Introduction

• Applications
  • Denoising AutoEncoder: 이미지 별로 NOISE를 추가해주는데 잘 복원해냄 
  • inpainting - 이미지의 일부를 지우는 것
  • super resolution(화질 개선)
• probability distribution
  • kernel density estimation: 수집한 샘플들의 분포를 중첩하는 방식
  • 이미지들을 벡터로 표현하고 추정된 확률 분포를 얻어낼 때 LOCAL MINIMA에 해당하는 사진들을 보면 특정한 특징이 있음

  • 

    

• GAN의 전체 구조

• 

  • Real data에 해당하는 LABEL을 1로 세팅해줌
  • fake dat에 해당하는 LABEL을 0으로 세팅
  • cross-entropy loss 사용
    • $max_G min_D (D(G(z) - 0)^2 + (D(x)-1)^2$ and $min_G (D(G(z) - 1)^2$
    • $max_y min_x (x^2 + 2xy - 3y^2)$
      • x에 대한 편미분: 2x + 2y
      • y에 대한 편미분: 2x - 6y
      • $x_{new} = x_{old} - 0.1 * grad$
      • $y_{new} = y_{old} + 0.1 * grad$
  • G와 D의 학습속도가 다름 -> D한번 학습할 때 G 3번 학습, G learning rate 늘리기, gradient penalty regularization

GAN Loss

• $min_G max_D (D, G) = E_{x ~ p_{data}(x) [logD(x)] + E_{z~p_z(z)}[log(1-D(G(z)))]}$

DCGAN(Deep Convolutional GAN)

• D를 Convolution으로 만들기

ACGAN