gyeo-ri.com

사영(Orthogonal Projection) 사영(Projection)은 어떤 벡터의 성질을 유지한 채로 다른 벡터나 공간 위에 표현하는 것이라고 설명할 수 있다(엄밀한 정의는 아님). 이 중 정사영(Orthogonal Projection)은 어떤 벡터를 수직 방향으로 내려 표현하는 것을 의미하며, 일반적으로 projection한다는 것은 정사영을 의미한다. 벡터 $v_{a}$를 벡터 $v_{b}$에 projection한 벡터는 $proj_{v_{b}}v_{a}$와 같이 표기하며, 이 벡터는 다음의 공식으로 구할 수 있다. $\Large \frac{v_{a} \cdot v_{b}}{||v_{b}||^{2}} \cdot v_{b}$ 특정 벡터가 아닌 공간에도 projection할 수 있다. 벡터공간 $V..

(데이터셋 링크) 타이타닉이나 MNIST와 같은 교육용(?) 데이터셋을 제외하고 다른 데이터로 공부해보려는 생각에 캐글과 데이콘의 데이터셋을 검색하다 Real time Advertiser's Auction라는 데이터셋을 발견했다. 첫 회사가 RTB(Real-Time Bidding) 플랫폼을 가지고 있는 곳이어서, 광고 거래와 관련된 데이터는 정말 많이 접했었다. 물론 데이터 유형이 완전히 같지는 않겠지만 Feature Engineering 하는데 조금 더 수월하지 않을까 하여 위 데이터셋으로 실습을 해보기로 했다(실제로 데이터셋을 자세히 보지 않은 상태에서 쓴 글). 데이콘의 KBO 외국인 투수 스카우팅 최적화 경진대회(2019)라는 데이터도 관심이 있었는데, 주최측에서 제공하는 데이터 이외에 외부 데이..

정규방정식(Normal Equation) : 선형 모델의 파라미터를 예측하기 위한 방법 정규방정식은 비용함수가 최소가 되는 파라미터 벡터(theta)를 구하는 공식이다. 선형회귀모델에서 주로 사용하는 RMSE(평균제곱근오차) 또는 MSE(평균제곱오차)와 같은 비용함수를 파라미터 값에 대하여 미분하고, 그 값이 0이 되는 파라미터의 값을 구한다. 선형모델에서 정규방정식을 유도하는 과정은 다음과 같다. 정규방정식은 비교적 모델이 단순한 경우(특성 또는 샘플의 개수가 적은 경우) 활용할 수 있으나, 모델이 복잡해질수록 경사하강법(Gradient Descent) 등과 같은 다른 파라미터 추정 알고리즘에 비해 연산 시간이 크게 증가하는 단점이 있다. 참고자료 1. 핸즈온 머신러닝 2판(오렐리앙 제롱 저, 박해선 ..