yuns

Introduction Applications Denoising AutoEncoder: 이미지 별로 NOISE를 추가해주는데 잘 복원해냄 inpainting - 이미지의 일부를 지우는 것 super resolution(화질 개선) probability distribution kernel density estimation: 수집한 샘플들의 분포를 중첩하는 방식 이미지들을 벡터로 표현하고 추정된 확률 분포를 얻어낼 때 LOCAL MINIMA에 해당하는 사진들을 보면 특정한 특징이 있음 GAN의 전체 구조 Real data에 해당하는 LABEL을 1로 세팅해줌 fake dat에 해당하는 LABEL을 0으로 세팅 cross-entropy loss 사용 $max_G min_D (D(G(z) - 0)^2 + (D(..

Image Captioning RNN의 하나의 타입으로 이미지 캡셔닝이 있음 이미지를 나타내는 캡션에 해당하는 문장의 다음 단어를 예측 RNN을 이용하여 image captioning으로 다음 단어를 예측 한뒤 attention을 붙이는 방법? feature가 L개로 나뉘어 있는 특징 attention map hidden state map을 구성하는 방법 전체구간을 n개로 나누기 -> 각 잘려진 이미지에서 보기 각 잘려진 이미지에서 퍼센트를 다르게 보면서 값을 계산하기 학습된 feature와 얼마나 유사한지 정도에 따라 이미지 내의 캡션 예측 서로 다른 이미지에서 동일한 단어를 사용할 수 있음 선별적으로 뽑아내는 장치가 필요로 함 이미지 상에서 유사한 단어를 추출하고, 문맥상으로도 올바른지 체크함 end..

Language Model RNN의 여러가지 형태 one-to-many: image captioning many-to-one: (sequence of text)sentiment classification (positive / negative) sequence-to-sequence: machine translation(delay), video classification on frame level(delay x) 간단한 예시 키, 몸무게, 혈액형이 들어와서 당뇨병여부를 판별할 때 그 정보로 과체중 정도, 혈액형으로 feature를 뽑은 뒤 최종적으로 당뇨병 여부를 판별한다. 만약에 갑자기 몸무게가 늘어나게 될 경우의 당뇨병 여부를 판별(과거의 정보와 현재 정보를 포함) $h_t = f_W (h_{t-1}, ..

Introduction 포즈로 판별하기에는 이러한 특징을 가지는 이미지는 고양이야! 라고 정의하기에는 수많은 예외케이스를 다룰 수 없음 작은 크기의 필터를 순환시키며 고양이 귀, 눈, 코를 판별하여 이를 통하여 고양이다 라고 정의 Convolution Operation 각 이미지가 가져야 하는 부분부분의 패턴만을 탐지하는걸 목표로 함 filtering: 해당 필터 안에서 얼마나 겹치는지 내적 값을 구한 뒤 그 합을 구하고 평균을 냄 -> 픽셀별로 평균적인 매칭 정도 파악 filter를 어떻게 정의하느냐에 따라서 activation map이 다르게 나타남 Convolution vs Fully-Connected Operation Fully-Connected Operation: 각 픽셀에 가중치를 곱하는 방식..

deep learning이 성공할 수 있었던 이유: computation, data, modularity 각 모듈로 이루어진 큰 모델을 만들기 Activation Function Sigmoid $\frac{exp(x)}{1+exp(x)} = \frac{1}{1+1/exp(x)}=\frac{1}{1+exp(-x)}$ 3개의 문제점 gradient를 죽여버릴 수 있음 sigmoid output는 zero-centered가 아니다. exp의 연산이 많은 연산을 요구한다. Softmax multi-classification용도 $\frac{exp(x)}{\sum exp(x)}$ Tanh sigmoid함수가 zero-centered가 되지 않아서 사용되는 함수임 값이 [-1, 1] 사이에서 존재 ReLU $f(x..