목록전체 글 (161)
yuns
classification task 수행 가능 binary classification, mulit-class classification Logistic Regression 예시 email: spam? not spam? online transaction: Fradudulent? - 카드 lock Tumor: Malignant? Benign? - 암 - 양성? 음성? $y \in \{ 0, 1\}$ - 0: negative class 1: positive class 예측 값이 0.5이상일 경우 1로 예측, 0.5 미만일 경우 0으로 예측 outlier가 있을 경우 linear regression이 이상하게 되기 때문에 무리가 있음 Logistic Model $0 \req h_{\theta} (x) \req ..
하나의 입력 변수가 아닌 여러 개의 입력 변수를 다루는 경우 Multiple Linear Regression feature = dimension = attribute n: feature의 개수 $h_\theta (x) = \theta _0 x_0+ \theta _ 1 x_1 + \theta _2 x_2+ \cdots + \theta _n x_n (x_0=1)$ 차원은 $n+1$ Feature Scaling feature들이 같은 구간에 분포하도록 scaling 해야 함 기울기가 급격히 떨어지는 구간이 있고 기울기가 너무 완만하게 떨어지는 구간이 생성되기 때문에 feature를 scaling해주는 것이 좋음 normalize, standarization 방법 최소값과 최대값을 이용하여 scaling / [..
Linear Regression 한 개 이상의 입력 변수와 결과값 사이의 선형 관계(1차로 이루어진 직선)를 모델링하는 방법론 Classification - Discrete-valued output 주는 입력변수(키, 몸무게, 등) 을 선형으로 조합하여 모델링 target value는 무조건 하나임 $(x, y)$: one training example $(x^{(i)}, y^{(i)})$: i$^{th}$ training example Hypothesis: $h_{\theta}(x) + \theta_0 + \theta_1 x$ 값들을 대입해서 나온 값(예측값)과 실제값 차이의 제곱의 합이 최소화되도록 $min_{\theta_0 \theta_1} = \frac{1}{2m}\sum(h_{\theta}(x^..
train_test_split(data, label, test_size) import pandas as pd data = pd.read_csv('**.csv') data = data[['col1', 'col2', 'col3']] y = data['ans'] from sklearn.model_selection import train_test_split x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.1) RandomForestClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score clf = Rand..
SVD -> rectangular matrix EVD -> square & symmetric matrix Symmetric matrix 특징 $A^T = A$인 행렬 $A^TA = AA^T$ $B=A^TA$일 때, $B=B^T$이 성립한다. 정사각행렬이어야 함 Theorem: if A is symmetric, then any two eigenvectors from different eigenspaces are orthogonal 예시) $\begin{bmatrix} 2 & 6 \\ 5 & 3\end{bmatrix}$일 때, $Av=\lambda v$을 만족 계산하면 $\lambda = 8 or -3$ $\lambda = 8$일 때, $\begin{bmatrix} -6 & 6 \\ 5 & -5\end{bm..
Computational advantage Eigenvectors and Eigenvalues $A=\begin{bmatrix} 2 & 6 \\ 5 & 3 \end{bmatrix}$일 때, eigenvector는 \begin{bmatrix} 1 \\ 1 \end{bmatrix}$ ($6, 5$도 포함) $Ax=\lambda x$를 만족하는 $\lambda$를 eigenvalue, x를 eigenvector이다. eigenvector는 고유한 방향을 고려하면 됨 계산할 때, matrix 계산을 굳이 하지 않아도 된다는 장점이 있다. Eigenvectors, eigenvalues, characteristic equation $Ax=\lambda x$ => $(A-\lambda I)x=0$ $x$는 non-z..
선형 독립 $b\in Span{a_1, a_2, a_3} $ $a_1, a_2, a_3$가 linearly independent할 경우 해가 unique하다. 정의 Given a set of vectors $v_1, \cdots v_p \in R^n$, check if $v_j$ can be represented as a linear combination of the previous vectors $\{v_1, v_2,\cdots, v_{j-1} \}$ $$ v_j \in Span\{v_1, v_2, \cdots, v_{j-1} \}$$ 한 벡터가 그 전 벡터들의 span에 들 경우 선형적으로 독립이다. 정의(formal) $x_1v_1 + x_2v_2 + x_pv_p = 0$을 만족하는 해가 $x = ..
정의 scalar: a single number vector: an ordered list of numbers Matrix: two-dimensional array of numbers row vector, column vector Matrix notations Square matrix (#rows = #columns) $A\in R^{n\times n}$ Transpose of matrix $A^T$ Vector / Matrix Additions and Multiplications A = np.array([[1, 2], [3, 4]]) B = np.array([[5, 6], [7, 8]]) A*B # elementwise product ''' array([[ 5, 12], [21, 32]]) ''' A@..