[머신러닝 수학] 선형회귀모델의 정규방정식

정규방정식(Normal Equation) : 선형 모델의 파라미터를 예측하기 위한 방법

정규방정식은 비용함수가 최소가 되는 파라미터 벡터(theta)를 구하는 공식이다. 선형회귀모델에서 주로 사용하는 RMSE(평균제곱근오차) 또는 MSE(평균제곱오차)와 같은 비용함수를 파라미터 값에 대하여 미분하고, 그 값이 0이 되는 파라미터의 값을 구한다. 선형모델에서 정규방정식을 유도하는 과정은 다음과 같다.

 

 

 

정규방정식은 비교적 모델이 단순한 경우(특성 또는 샘플의 개수가 적은 경우) 활용할 수 있으나, 모델이 복잡해질수록 경사하강법(Gradient Descent) 등과 같은 다른 파라미터 추정 알고리즘에 비해 연산 시간이 크게 증가하는 단점이 있다. 

 

 

 

참고자료

1. 핸즈온 머신러닝 2판(오렐리앙 제롱 저, 박해선 옮김) - 한빛미디어(2020)

2. [네이버 블로그] 행렬로 푸는 최소자승 회귀모형 : piramvill2.org/?p=3224