yuns

남자를 나타내는 점과 여자의 나타나는 점의 벡터차이는 거의 일정(word2vec) Multi-dimensional Scaling(MDS) to preserve given pairwise distances in low-dimensional space $$min \sum(||x_i - x_j || - \sigma _{i, j})^2) (\sigma =ideal distance)$$ example (2, 2), (4, 3)의 점을 각각 1차원으로 PCA 각 두점이 2와 3으로 갔을 경우 차이가 1인데, 이상적인 거리가 2.2일 경우가 되도록 수정해줘야됨 모든 점의 pairwise distance 를 고려해야 함 metric MDS distance value를 고려 nonmetric MDS 순서의 차이정도만 고..

Cross Validation Loo(Leave-one-out) cross validation 1개를 제외한 모든 것을 TRAINING 한번당 학습에 소요되는 시간이 매우 오래 걸린다. 성능이 조금 더 좋다. k-fold cross validation 데이터를 다 사용하지 않기 때문에 실제로 성능이 좋지 않다. 랜덤하게 K개로 나누어학습 진행 class imbalance가 자주 존재 데이터가 적은 애를 비율로 추가해서 진행하는 방식으로 Train, Valid, Test Data 비율: 70, 20, 10 Dimenionality Reduction 효과 less storage faster computation noise removal(improving data quality) works as pre-pro..

모델의 크기가 커짐에 따라 overfitting, underfitting 발생 overfitting: 너무 잘 맞을 경우에 해당 UNderfitting: 너무 안 맞을 경우에 해당 regularization(최적화) 학습 데이터의 양이 많아지면 결과적으로 학습에 걸리는 시간의 증가 오버피팅을 억지하기 위해서/ 완만한 그래프를 만들기 위해서 simpler hypothesis $\lambda \sum _j \theta _j ^2$를 붙여줌으로써 Regularization을 진행한다. $J(\theta ) = \frac{1}{2m}[\sum _i (h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda \sum _j \theta _j ^2]$ $\lambda$가 너무 크면 y축과 수직인 직..

classification task 수행 가능 binary classification, mulit-class classification Logistic Regression 예시 email: spam? not spam? online transaction: Fradudulent? - 카드 lock Tumor: Malignant? Benign? - 암 - 양성? 음성? $y \in \{ 0, 1\}$ - 0: negative class 1: positive class 예측 값이 0.5이상일 경우 1로 예측, 0.5 미만일 경우 0으로 예측 outlier가 있을 경우 linear regression이 이상하게 되기 때문에 무리가 있음 Logistic Model $0 \req h_{\theta} (x) \req ..

하나의 입력 변수가 아닌 여러 개의 입력 변수를 다루는 경우 Multiple Linear Regression feature = dimension = attribute n: feature의 개수 $h_\theta (x) = \theta _0 x_0+ \theta _ 1 x_1 + \theta _2 x_2+ \cdots + \theta _n x_n (x_0=1)$ 차원은 $n+1$ Feature Scaling feature들이 같은 구간에 분포하도록 scaling 해야 함 기울기가 급격히 떨어지는 구간이 있고 기울기가 너무 완만하게 떨어지는 구간이 생성되기 때문에 feature를 scaling해주는 것이 좋음 normalize, standarization 방법 최소값과 최대값을 이용하여 scaling / [..

Linear Regression 한 개 이상의 입력 변수와 결과값 사이의 선형 관계(1차로 이루어진 직선)를 모델링하는 방법론 Classification - Discrete-valued output 주는 입력변수(키, 몸무게, 등) 을 선형으로 조합하여 모델링 target value는 무조건 하나임 $(x, y)$: one training example $(x^{(i)}, y^{(i)})$: i$^{th}$ training example Hypothesis: $h_{\theta}(x) + \theta_0 + \theta_1 x$ 값들을 대입해서 나온 값(예측값)과 실제값 차이의 제곱의 합이 최소화되도록 $min_{\theta_0 \theta_1} = \frac{1}{2m}\sum(h_{\theta}(x^..