Dimensionality Reduction

남자를 나타내는 점과 여자의 나타나는 점의 벡터차이는 거의 일정(word2vec)

Multi-dimensional Scaling(MDS)

• to preserve given pairwise distances in low-dimensional space $$min \sum(||x_i - x_j || - \sigma _{i, j})^2) (\sigma =ideal distance)$$
• example
  • (2, 2), (4, 3)의 점을 각각 1차원으로 PCA
  • 각 두점이 2와 3으로 갔을 경우 차이가 1인데, 이상적인 거리가 2.2일 경우가 되도록 수정해줘야됨
  • 모든 점의 pairwise distance 를 고려해야 함
• metric MDS
  • distance value를 고려
• nonmetric MDS
  • 순서의 차이정도만 고려함(a, b의 거리가 b,c의 거리보다 멀어야되)
• 단점
  • 거리가 큰 점들의 거리를 보존한다
  • 상대적으로 1000의 크기를 가지는 애를 996으로, 2를 3으로 할 경우에는 후자가 상대적으로 많은 차이를 보임

 Sammon's Mapping

• $E = \frac{1}{\sum _{i< j} d_{ij}^2}\sum _{i < j} \frac{(d_{ij}^* - d_{ij})^2}{d_{ij}^*}$
• cos값이 더 작아지도록 값을 계산하면 됨