Advanced Eigendecomposition

SVD -> rectangular matrix

EVD -> square & symmetric matrix

Symmetric matrix

• 특징
  • $A^T = A$인 행렬
  • $A^TA = AA^T$
  • $B=A^TA$일 때, $B=B^T$이 성립한다.
  • 정사각행렬이어야 함
• Theorem: if A is symmetric, then any two eigenvectors from different eigenspaces are orthogonal
  • 예시) $\begin{bmatrix} 2 & 6 \\ 5 & 3\end{bmatrix}$일 때, $Av=\lambda v$을 만족
    • 계산하면 $\lambda = 8 or -3$
    • $\lambda = 8$일 때, $\begin{bmatrix} -6 & 6 \\ 5 & -5\end{bmatrix}v = \begin{bmatrix}0 \\ 0 \end{bmatrix}$이기 때문에 eigen vector $v=[1, 1]^T$이다.
    • $\lambda = -3$일 때, $\begin{bmatrix} 5 & 6 \\ 5 & 6\end{bmatrix}v = \begin{bmatrix}0 \\ 0 \end{bmatrix}$이기 때문에 eigen vector $v=[1, -5/6]^T$이다.
  • $A$의 결과 $(\lambda - 5)^2(\lmabda +3)(\lambda-1)^2$일 경우, 생긴 eigenvector들은 linearly independent
  • $\lambda_1$와 $\lambda_2$의 두 eigenvalue에 의한 eigenvector는 LInearly indepdendent하다는 특징을 가지고 있다.
  •  Orthogonal한 set는 lineraly independent하다는 특징을 가지고 있음

Algebraic multiplicity

• EigenDecomposition 식: $A=VDV^{-1}$
• $\begin{bmatrix} 2 & 6 \\ 5 & 3\end{bmatrix}$일 때, $A=VDV^{-1}=VDV^T$ ($V^T=V^{-1}$
• $A$가$n\times n$ 행렬일 때, n개의 LINEARLY indepdent eigenvector가 있다고 할때, $det(A=\lambda I)=0$은 n차 방정식을 가진다.
• 예) $(x-1)^2(x+5)$일 경우 계수를 Algebraic Multiplicity(대수적 중복도)를 나타낸다.
  • Aalgebraic Multiplicty는 중근의 개수를 의미하는 듯

$\lambda$	1	-5	Total
Algebraic Multiplicity	2	1	3
Geometric Matrix	$1<=x <=2$ -> 2 or 1	$1<=x <= 1$ -> 1	3

Geometric multiplicity

• 기하학적 중복도
• 고유 공간의 차원
• linearly independent한 벡터의 수이라고 이해하면 될듯

Symmetric matrix

• orthognonally diagonalizable하다. (eigen decomposition가 존재한다.)
• $B^{-1}AB=Y$의 A에서의 Y변환: similarity transformation 되면 A가 diagonalizable하다.

Spectral decomposition

• Symmetric matrix의 eigen decomposition
• $A=PDP^T$ 가중합으로 표시 가능
• $d_1 u_1 u_1^T + d_2 u_2 u_2^T + d_3 u_3 u_3^T$

Spectral theorem

• $n\times n$ symmetric matrix A이면 허근이 나오지 않는다.
• eigenspace의 dimension(Geometric Multiplicity)는 각 eigen value의 multiplicty(algebraic multiplicity)와 항상 동일하다.
• eigen spaces가 mutually orthogonal하다.
• orthogonally diagonalizable하다.