gyeo-ri.com

사영(Orthogonal Projection) 사영(Projection)은 어떤 벡터의 성질을 유지한 채로 다른 벡터나 공간 위에 표현하는 것이라고 설명할 수 있다(엄밀한 정의는 아님). 이 중 정사영(Orthogonal Projection)은 어떤 벡터를 수직 방향으로 내려 표현하는 것을 의미하며, 일반적으로 projection한다는 것은 정사영을 의미한다. 벡터 $v_{a}$를 벡터 $v_{b}$에 projection한 벡터는 $proj_{v_{b}}v_{a}$와 같이 표기하며, 이 벡터는 다음의 공식으로 구할 수 있다. $\Large \frac{v_{a} \cdot v_{b}}{||v_{b}||^{2}} \cdot v_{b}$ 특정 벡터가 아닌 공간에도 projection할 수 있다. 벡터공간 $V..

정규방정식(Normal Equation) : 선형 모델의 파라미터를 예측하기 위한 방법 정규방정식은 비용함수가 최소가 되는 파라미터 벡터(theta)를 구하는 공식이다. 선형회귀모델에서 주로 사용하는 RMSE(평균제곱근오차) 또는 MSE(평균제곱오차)와 같은 비용함수를 파라미터 값에 대하여 미분하고, 그 값이 0이 되는 파라미터의 값을 구한다. 선형모델에서 정규방정식을 유도하는 과정은 다음과 같다. 정규방정식은 비교적 모델이 단순한 경우(특성 또는 샘플의 개수가 적은 경우) 활용할 수 있으나, 모델이 복잡해질수록 경사하강법(Gradient Descent) 등과 같은 다른 파라미터 추정 알고리즘에 비해 연산 시간이 크게 증가하는 단점이 있다. 참고자료 1. 핸즈온 머신러닝 2판(오렐리앙 제롱 저, 박해선 ..