yuns

Introduction Applications Denoising AutoEncoder: 이미지 별로 NOISE를 추가해주는데 잘 복원해냄 inpainting - 이미지의 일부를 지우는 것 super resolution(화질 개선) probability distribution kernel density estimation: 수집한 샘플들의 분포를 중첩하는 방식 이미지들을 벡터로 표현하고 추정된 확률 분포를 얻어낼 때 LOCAL MINIMA에 해당하는 사진들을 보면 특정한 특징이 있음 GAN의 전체 구조 Real data에 해당하는 LABEL을 1로 세팅해줌 fake dat에 해당하는 LABEL을 0으로 세팅 cross-entropy loss 사용 $max_G min_D (D(G(z) - 0)^2 + (D(..

Image Captioning RNN의 하나의 타입으로 이미지 캡셔닝이 있음 이미지를 나타내는 캡션에 해당하는 문장의 다음 단어를 예측 RNN을 이용하여 image captioning으로 다음 단어를 예측 한뒤 attention을 붙이는 방법? feature가 L개로 나뉘어 있는 특징 attention map hidden state map을 구성하는 방법 전체구간을 n개로 나누기 -> 각 잘려진 이미지에서 보기 각 잘려진 이미지에서 퍼센트를 다르게 보면서 값을 계산하기 학습된 feature와 얼마나 유사한지 정도에 따라 이미지 내의 캡션 예측 서로 다른 이미지에서 동일한 단어를 사용할 수 있음 선별적으로 뽑아내는 장치가 필요로 함 이미지 상에서 유사한 단어를 추출하고, 문맥상으로도 올바른지 체크함 end..

Language Model RNN의 여러가지 형태 one-to-many: image captioning many-to-one: (sequence of text)sentiment classification (positive / negative) sequence-to-sequence: machine translation(delay), video classification on frame level(delay x) 간단한 예시 키, 몸무게, 혈액형이 들어와서 당뇨병여부를 판별할 때 그 정보로 과체중 정도, 혈액형으로 feature를 뽑은 뒤 최종적으로 당뇨병 여부를 판별한다. 만약에 갑자기 몸무게가 늘어나게 될 경우의 당뇨병 여부를 판별(과거의 정보와 현재 정보를 포함) $h_t = f_W (h_{t-1}, ..

Introduction 포즈로 판별하기에는 이러한 특징을 가지는 이미지는 고양이야! 라고 정의하기에는 수많은 예외케이스를 다룰 수 없음 작은 크기의 필터를 순환시키며 고양이 귀, 눈, 코를 판별하여 이를 통하여 고양이다 라고 정의 Convolution Operation 각 이미지가 가져야 하는 부분부분의 패턴만을 탐지하는걸 목표로 함 filtering: 해당 필터 안에서 얼마나 겹치는지 내적 값을 구한 뒤 그 합을 구하고 평균을 냄 -> 픽셀별로 평균적인 매칭 정도 파악 filter를 어떻게 정의하느냐에 따라서 activation map이 다르게 나타남 Convolution vs Fully-Connected Operation Fully-Connected Operation: 각 픽셀에 가중치를 곱하는 방식..

deep learning이 성공할 수 있었던 이유: computation, data, modularity 각 모듈로 이루어진 큰 모델을 만들기 Activation Function Sigmoid $\frac{exp(x)}{1+exp(x)} = \frac{1}{1+1/exp(x)}=\frac{1}{1+exp(-x)}$ 3개의 문제점 gradient를 죽여버릴 수 있음 sigmoid output는 zero-centered가 아니다. exp의 연산이 많은 연산을 요구한다. Softmax multi-classification용도 $\frac{exp(x)}{\sum exp(x)}$ Tanh sigmoid함수가 zero-centered가 되지 않아서 사용되는 함수임 값이 [-1, 1] 사이에서 존재 ReLU $f(x..

남자를 나타내는 점과 여자의 나타나는 점의 벡터차이는 거의 일정(word2vec) Multi-dimensional Scaling(MDS) to preserve given pairwise distances in low-dimensional space $$min \sum(||x_i - x_j || - \sigma _{i, j})^2) (\sigma =ideal distance)$$ example (2, 2), (4, 3)의 점을 각각 1차원으로 PCA 각 두점이 2와 3으로 갔을 경우 차이가 1인데, 이상적인 거리가 2.2일 경우가 되도록 수정해줘야됨 모든 점의 pairwise distance 를 고려해야 함 metric MDS distance value를 고려 nonmetric MDS 순서의 차이정도만 고..

Cross Validation Loo(Leave-one-out) cross validation 1개를 제외한 모든 것을 TRAINING 한번당 학습에 소요되는 시간이 매우 오래 걸린다. 성능이 조금 더 좋다. k-fold cross validation 데이터를 다 사용하지 않기 때문에 실제로 성능이 좋지 않다. 랜덤하게 K개로 나누어학습 진행 class imbalance가 자주 존재 데이터가 적은 애를 비율로 추가해서 진행하는 방식으로 Train, Valid, Test Data 비율: 70, 20, 10 Dimenionality Reduction 효과 less storage faster computation noise removal(improving data quality) works as pre-pro..

모델의 크기가 커짐에 따라 overfitting, underfitting 발생 overfitting: 너무 잘 맞을 경우에 해당 UNderfitting: 너무 안 맞을 경우에 해당 regularization(최적화) 학습 데이터의 양이 많아지면 결과적으로 학습에 걸리는 시간의 증가 오버피팅을 억지하기 위해서/ 완만한 그래프를 만들기 위해서 simpler hypothesis $\lambda \sum _j \theta _j ^2$를 붙여줌으로써 Regularization을 진행한다. $J(\theta ) = \frac{1}{2m}[\sum _i (h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda \sum _j \theta _j ^2]$ $\lambda$가 너무 크면 y축과 수직인 직..