OLS Multi Linear Regression

OLS Multi Linear Regression

이전 글에 이어, 이번에는 OLS method로 풀어지는 다중회귀분석(Multi Linear Regression)을 다룰 것이다. 다중회귀분석이란 하나의 종속 변수를 설명하기 위해 2개 이상의 독립변수를 사용하여 모델링하는 것을 의미한다. 식으로 나타내면 다음과 같다.

Simple Linear Regression의 경우 k=1 이었던 경우이며, k가 2 이상일때는 Multi-로 지칭한다. y를 회사원 A씨의 소비라고 한다면, X1은 소득, X2는 월간 참여한 경조사 수로 생각해보자. y에 대해 기존 X1만으로는 설명되지 않는 부분 중에서 X2를 추가하여 설명할 수 있는 부분이 있을 수 있을 것이다. Multi-를 활용하면 이런식으로 모델을 정교하게 만들 수 있다는 장점이 있다. Multi-의 기본적인 풀이법은 Simple- 모델과 같으나, k가 증가할 수록 연립하여 문제를 푸는 것이 불편해 진다. 이를 좀더 단순화 시키기위해이번에는 행렬 풀이법으로 접근해 보고자 한다. 행렬 풀이를 위해, 먼저 표기법은 다음과 같다.

이렇게 표기한 뒤, OLS estimator를 행렬로 계산하여 풀이 할 것이다. 계산 방법은 Simple-에서 풀었던 방식과 크게 다르지 않다. SSE를 최소화 시키는 Beta 행렬을 찾기 위해, SSE를 Beta 행렬로 미분한 값을 0으로 두고 문제를 풀면된다.