선형 독립과 선형 변환

선형 독립

• $b\in Span{a_1, a_2, a_3} $
• $a_1, a_2, a_3$가 linearly independent할 경우 해가 unique하다.
• 정의
  
  • Given a set of vectors $v_1, \cdots v_p \in R^n$, check if $v_j$ can be represented as a linear combination of the previous vectors $\{v_1, v_2,\cdots, v_{j-1} \}$  $$ v_j \in Span\{v_1, v_2, \cdots, v_{j-1} \}$$
  • 한 벡터가 그 전 벡터들의 span에 들 경우 선형적으로 독립이다.
• 정의(formal)
  • $x_1v_1 + x_2v_2 + x_pv_p = 0$을 만족하는 해가 $x = 0$만을 가지고 있을 경우 선형적으로 독립하다.
  • 최소한 하나가 0이 아닐 경우에도 해를 가질 경우에는 linearly dependent!

Subspace and Basis

• subspace is defined as a subset of $R^n$ closed under linear combination
• span과 거의 동일
• basis(기저 벡터) of a subspace H is a set of vectors that statisfies both of the following
  • Fully spans the given subspace H
  • Linearly independent
• $H = Span\{ v_1, v_2, v_3\} $일 때, $span\{ v_q, v_2\}$ forms a plane
  • $v_3 = 2v_1 + 3v_2 \in Span \{ v_1, v_2 \}$ 와 $\{ v_1, v_2\}$는 H의 basis(기저 벡터이지만) $\{v_1, v_2, v_3\}$와 $\{v_1\}$는 기저벡터가 아니다.

Dimension and Rank

• basis의 개수를 subspace의 dimension이라 함
• Even though different bases exist for H, the number of vectors in any basis for H will be unique.
• 가장 간단한 basis는 [1 0 0] [0 1 0] [0 0 1]

Column space of Matrix

• The column space of a matrix A is the subspace spanned by the columns of A. We call the column space as A as Col A
• example A = [[1 1 2] [1 0 1] [0 1 1]]일 때 3번째 열은 1, 2번째 열을 더한 벡터임을 알 수 있다. 따라서 Col A = Span {$[1 1 0], [1 0 1]$} 
  • 수식 상으로 표시할 때 조금 어려워서,, A의 column 기준으로 보면 [1 1 0] [1 0 1] [2 1 1]이 됨

Rank of Matrix

• The rank of a matrix A, denoted by rank A, is the dimension of the column space of A
  • rank A = dim Col A

---

선형 변환

• 변환
•  transformation, function, mapping, T maps an input x to an output y
  • x의 모든 값이 y로 치환이 될 경우 (x: 정의역, y: 공역)
  • $T: x -> y$

이름	설명
Domain(정의역)	Set of all the possible values of x
Co-domain(공역)	Set of all the possible values of y
Image	a mapped output y, given x
Range	Set of all the output values mapped by each x in the domain
***	the output mapped by a particular x is uniquely determined

Linear Transformation

• A transformation T is linear if $T(cu + dv) = cT(u) + dT(v)$ for all u, v in the domain of T and for all scalars c and d
• $y=ax+b$는 선형 변환이 아니다.
  • 하지만 만들 수는 있음 $y = 2x + 1 = [ 1 2] [1 x]^T$
• n차원 벡터를 m차원 벡터로 변환시켜주는 함수
• 선형선: 함수 계산을 먼저 하나 나중에 하나 결과가 똑같아야 된다.
• standard basis: [1 0 0] [0 1 0] [0 0 1]
• standard matrix

Linear Transformation in Neural Networks

•  Feature Vector 의 크기 -> classification 하고자 하는 클래스의 갯수

ONTO and ONE-TO-ONE

• ONTO: 전사한다(공역 = 치역)
• One-To-One: 정의역과 치역이 일대일 대응 일 때 
• $T(x) = Ax for all x\in R^n$
  • T is one-to-one if and only if the columns of A are linearl y independent
  • T maps $R^n$ onto $R^m$ if and only if the columns of A span $R^m$
• Let T(x) = Ax = [[2 0] [-1 1] [1 2]] (3 x 2 matrix)
  • T: one-to-one? : yes
  • T map $R^2$ onto $R^3$?: yes
    • unique하게 하나만 존재하게 됨
• Let $T(x) = Ax = [[1 2] [4 3] [5 6]]^T$(2 x 3 matrix)
  • one-to-one: no -> linear combination 이 여러개로 가능하기 때문에 아님 
  • onto: yes