gyeo-ri.com

사영(Orthogonal Projection) 사영(Projection)은 어떤 벡터의 성질을 유지한 채로 다른 벡터나 공간 위에 표현하는 것이라고 설명할 수 있다(엄밀한 정의는 아님). 이 중 정사영(Orthogonal Projection)은 어떤 벡터를 수직 방향으로 내려 표현하는 것을 의미하며, 일반적으로 projection한다는 것은 정사영을 의미한다. 벡터 $v_{a}$를 벡터 $v_{b}$에 projection한 벡터는 $proj_{v_{b}}v_{a}$와 같이 표기하며, 이 벡터는 다음의 공식으로 구할 수 있다. $\Large \frac{v_{a} \cdot v_{b}}{||v_{b}||^{2}} \cdot v_{b}$ 특정 벡터가 아닌 공간에도 projection할 수 있다. 벡터공간 $V..

수반행렬(Adjoint Matrix)의 정의 수반행렬은, 어떤 행렬의 각 원소에 대응하는 여인수 행렬을 만든 뒤, 그것을 전치시킨 것이다. 행렬 $A$가 정의되었을 때, 수반행렬 $adj(A)$는 다음과 같다. $A = \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \vdots & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{vmatrix} \;\;\; \Leftrightarrow \;\;\; adj(A) = \begin{vmatrix} C_{11} & C_{21} & \cdots & C_{n1} \\ C_{12} & ..

여인수 전개(Cofactor Expansion) 이전 포스팅에서 다룬 라이프니츠 공식은 행렬식의 정의를 바탕으로 계산하는 방법이지만, 행렬의 크기가 커질수록 연산시간이 크게 증가한다는 단점이 있다. 여인수 전개는 행렬식의 정의의 패턴을 이용하여 계산 과정을 보다 단순하게 정리한 방법 중 하나이다. 여인수란 특정 원소가 속한 행/열을 제외한 부분행렬의 행렬식을 구하고, 제외된 행/열의 번호에 따라 부호(행 번호 + 열 번호가 홀수이면 음수/짝수이면 양수)를 부여한 것이다. 행렬 $A$의 원소 $a_{i}$에 대응하는 여인수는 $C_{ij} = (-1)^{i+j} \times M_{ij}$로 정의되며, 이때 $M_{ij}$는 행렬 A에서 $i$행과 $j$열을 제외한 $(n-1)$차 정방행렬의 행렬식을 의미한..

행렬식의 정의와 라이프니츠 공식 행렬식은 정방행렬에서만 정의할 수 있으며, 행렬이 역행렬을 취할 수 있는지(가역성) 여부를 파악해주는 역할을 한다. 일반적으로 n차 정방행렬 A의 행렬식은 $det(A)$ 또는 $|A|$와 같이 정의한다. $A$가 2차 정방행렬이고 $A = \begin{pmatrix} a & b \\ c & d \end{pmatrix}$ 와 같이 정의되었을 때, $det(A) = ad - bc$임은 잘 알려져 있지만, 3차 이상의 행렬에서 행렬식을 구하는 것은 2차 행렬만큼 간단하지는 않다. 행렬식의 일반적인 정의(치환을 사용한 정의)는 다음과 같다. $det(A) = |A| = \displaystyle \sum_{\sigma \in S_{n}}^{} sgn(\sigma)\prod_{i=..

*LU분해의 과정에 관한 내용은 이전 포스팅 참조 가우스-조르당 소거법 포스팅에서 $Ax = b$를 다음과 같이 정의하였다. $ \begin{pmatrix} 2 & 2 & 1 \\ 2 & 1 & 3 \\ 1 & 2 & 3 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 11 \\ 11 \\ 10 \end{pmatrix} $ 이때, LU 분해를 통해 행렬 A를 분해할 수 있다. $A = L \cdot U = \begin{pmatrix} 2 & 0 & 0 \\ 2 & -1 & 0 \\ 1 & 1 & 9/2 \end{pmatrix} \cdot \begin{pmatrix} 1 & 1 & 1/2 \\ 0 & 1 & -2 \\ 0 ..

LU 분해 LU 분해는 연립방정식의 해를 푸는 방법 중 하나로, 일반적으로 $O(n^3)$의 시간복잡도를 가지는 가우스-조르당 소거법에 비해 적은 소요시간을 가지는 것으로 알려져 있다(실제로는 LU 분해를 사용해도 $O(n^3)$ 정도의 시간이 소요될 수 있다). LU 분해는 주어진 연립방정식 $Ax = b$에서의 $A$를 $L$, $U$로 표현되는 하삼각행렬(Lower Triangular Matrix)과 상삼각행렬(Upper Triangular Matrix)의 행렬곱으로 표현하는 과정과, 분해된 $L$,$U$ 행렬을 대입 연산(Back Substitution/Forward Substitution)을 통해 해를 구하는 두 과정으로 나뉘는데, 이번 포스트에서는 분해 과정에 대하여 설명하고, 해를 구하는 과..

가우스-조르당 소거법은 연립방정식의 해를 구하는 방법이다. (발음에 따라 가우스-조던 소거법, 가우스-요르단 소거법으로 표기하기도 함) 연립방정식 $Ax = b$ 가 다음과 같이 주어졌을 때 $ \begin{pmatrix} 2 & 2 & 1 \\ 2 & 1 & 3 \\ 1 & 2 & 3 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 11 \\ 11 \\ 10 \end{pmatrix} $ 계수행렬(방정식의 계수들로 이루어진 행렬) $A$와 방정식의 결과인 $b$를 묶어 다음과 같은 첨가행렬(Augmented Matrix)로 만들 수 있다. $\begin{pmatrix} 2 & 2 & 1 &|11 \\ 2 & 1 & 3 &..

정규방정식(Normal Equation) : 선형 모델의 파라미터를 예측하기 위한 방법 정규방정식은 비용함수가 최소가 되는 파라미터 벡터(theta)를 구하는 공식이다. 선형회귀모델에서 주로 사용하는 RMSE(평균제곱근오차) 또는 MSE(평균제곱오차)와 같은 비용함수를 파라미터 값에 대하여 미분하고, 그 값이 0이 되는 파라미터의 값을 구한다. 선형모델에서 정규방정식을 유도하는 과정은 다음과 같다. 정규방정식은 비교적 모델이 단순한 경우(특성 또는 샘플의 개수가 적은 경우) 활용할 수 있으나, 모델이 복잡해질수록 경사하강법(Gradient Descent) 등과 같은 다른 파라미터 추정 알고리즘에 비해 연산 시간이 크게 증가하는 단점이 있다. 참고자료 1. 핸즈온 머신러닝 2판(오렐리앙 제롱 저, 박해선 ..