선형 독립과 선형 변환

goorm 수업 정리/linear algebra

yuuuun 2021. 8. 10. 12:18

$b\in Span{a_1, a_2, a_3} $
$a_1, a_2, a_3$가 linearly independent할 경우 해가 unique하다.
정의
- Given a set of vectors $v_1, \cdots v_p \in R^n$, check if $v_j$ can be represented as a linear combination of the previous vectors $\{v_1, v_2,\cdots, v_{j-1} \}$ $$ v_j \in Span\{v_1, v_2, \cdots, v_{j-1} \}$$
- 한 벡터가 그 전 벡터들의 span에 들 경우 선형적으로 독립이다.
정의(formal)
- $x_1v_1 + x_2v_2 + x_pv_p = 0$을 만족하는 해가 $x = 0$만을 가지고 있을 경우 선형적으로 독립하다.
- 최소한 하나가 0이 아닐 경우에도 해를 가질 경우에는 linearly dependent!

subspace is defined as a subset of $R^n$ closed under linear combination
span과 거의 동일
basis(기저 벡터) of a subspace H is a set of vectors that statisfies both of the following
- Fully spans the given subspace H
- Linearly independent
$H = Span\{ v_1, v_2, v_3\} $일 때, $span\{ v_q, v_2\}$ forms a plane
- $v_3 = 2v_1 + 3v_2 \in Span \{ v_1, v_2 \}$ 와 $\{ v_1, v_2\}$는 H의 basis(기저 벡터이지만) $\{v_1, v_2, v_3\}$와 $\{v_1\}$는 기저벡터가 아니다.

basis의 개수를 subspace의 dimension이라 함
Even though different bases exist for H, the number of vectors in any basis for H will be unique.
가장 간단한 basis는 [1 0 0] [0 1 0] [0 0 1]

Column space of Matrix

The column space of a matrix A is the subspace spanned by the columns of A. We call the column space as A as Col A
example A = [[1 1 2] [1 0 1] [0 1 1]]일 때 3번째 열은 1, 2번째 열을 더한 벡터임을 알 수 있다. 따라서 Col A = Span {$[1 1 0], [1 0 1]$}
- 수식 상으로 표시할 때 조금 어려워서,, A의 column 기준으로 보면 [1 1 0] [1 0 1] [2 1 1]이 됨

Rank of Matrix

The rank of a matrix A, denoted by rank A, is the dimension of the column space of A
- rank A = dim Col A

변환
transformation, function, mapping, T maps an input x to an output y
- x의 모든 값이 y로 치환이 될 경우 (x: 정의역, y: 공역)
- $T: x -> y$

이름	설명
Domain(정의역)	Set of all the possible values of x
Co-domain(공역)	Set of all the possible values of y
Image	a mapped output y, given x
Range	Set of all the output values mapped by each x in the domain
***	the output mapped by a particular x is uniquely determined

A transformation T is linear if $T(cu + dv) = cT(u) + dT(v)$ for all u, v in the domain of T and for all scalars c and d
$y=ax+b$는 선형 변환이 아니다.
- 하지만 만들 수는 있음 $y = 2x + 1 = [ 1 2] [1 x]^T$
n차원 벡터를 m차원 벡터로 변환시켜주는 함수
선형선: 함수 계산을 먼저 하나 나중에 하나 결과가 똑같아야 된다.
standard basis: [1 0 0] [0 1 0] [0 0 1]
standard matrix

Linear Transformation in Neural Networks

ONTO: 전사한다(공역 = 치역)
One-To-One: 정의역과 치역이 일대일 대응 일 때
$T(x) = Ax for all x\in R^n$
- T is one-to-one if and only if the columns of A are linearl y independent
- T maps $R^n$ onto $R^m$ if and only if the columns of A span $R^m$
Let T(x) = Ax = [[2 0] [-1 1] [1 2]] (3 x 2 matrix)
- T: one-to-one? : yes
- T map $R^2$ onto $R^3$?: yes
  - unique하게 하나만 존재하게 됨
Let $T(x) = Ax = [[1 2] [4 3] [5 6]]^T$(2 x 3 matrix)
- one-to-one: no -> linear combination 이 여러개로 가능하기 때문에 아님
- onto: yes