Classical Assumptions on DGP & Statistical Properties of the OLS

# Classical Assumptions on DGP

OLS estimator와 참값 사이에는 어떤 관계가 있을까? 이를 알아보기 전에 먼저 참값에 해당하는 DGP의 몇가지 전통적 가정을 살펴보자. 이번에는 DGP를 스칼라 형태로 표현하면서, X_i와 Beta_i 만 행렬로 표기하였다. 이렇게 표현된 DGP와, 이에 대한 가정들은 다음과 같다.

A0) x는 확률변수(Random Variable)이 아닌 고정된 값이다.

A1) Epsilon_t의 평균은 항상 0이다. 이는 Time-series에 걸친 Epsilon 들의 분포를 말하는 것이아니다. t=1, t=2 등 각각의 기간에 있는 Epsilon은 확률변수인 것이다. 실현된 Data set에서는 y와 x를 관찰가능하고, 그에 따라 추정한 OLS estimator와의 괴리인 error-term도 관찰가능하다. 하지만 이는 이데아의 그림자와 같은 것으로, 참값은 실현된 값으로 존재하는 것이 아니라 확률변수로 존재 하는 것이다.

밑의 그래프를 보면 x축의 x1과 x2 등은 (A0)에 의해 고정된 값으로 존재한다. 하지만 Epsilon은 모두 확률분포를 가지는 Random 값이기 때문에, 결론적으로 y또한 random 값을 가지게 된다. (A1)은 이러한 Epsilon의 확률 분포가, t에 관계없이 항상 0이라고 가정한다.

A2) Epsilon은 확률분포를 가진다. 따라서 분산도 존재한다. 분산 역시 평균과 같이 t에 관계 없이 항상 특정한 값을 가지는 것으로 가정하고 있으며, 표기는 Sigma_0 square로 하고 있다.

A3) Epsilon_1과 Epsilon_2는 공분산이 0이다. 또한 Epsilon_1과 Epsilon_3도 0이다. 이 가정에 의하면 서로 다른 기간(t)의 Epsilon들은 상호 공분산이 0이다. ※ 두 확률변수가 독립이면 공분산이 0이지만, 그 역은 성립하지 않는다. 따라서 (A3)은 독립성 가정과는 조금 다르다.

A4) Epsilon의 분산은 표준정규 분포를 따른다는 가정이다. 현실에 기반하지는 않지만, 이러한 가정을 통해 수학적 접근을 단순화 시킬 수 있다. ※ (A3)을 독립성 가정으로 바꾼다면 Epsilon은 i.i.d(Identical, independently distributed) 확률변수 라고 볼 수 있다.

# Statistical Properties of the OLS estimator

OLS estimator는 다음과 같은 3가지 특징을 가지며, 증명까지 아래에 첨부하였다. 증명 과정에서 DGP에 대한 Classical Assumption이 사용되는 것을 확인 할 수 있을 것이다.

1) Linear in Y, 이 때 행렬 A는 임의의 Constant이다.

2) Unbiased, Y에 대해 선형이며 OLS estimator 또한 확률 변수이다. 이 확률변수의 평균은 True value이다.

3) Variance-Covariance Matrix는 위와 같은 값을가진다.

※ Epsilon은 Tx1 행렬로 사용되었다.

# Simple Linear Regression에서의 Beta_1

만약 (A4)를 적용하지 않는다면, 우리는 Epsilon의 분산을 알 수 없다. 따라서 Epsilon을 Population으로 하면서 실현된 표본, error-term의 분산을 확인해야 한다. error-term의 분산에 조금의 조정을 통해, sigma_0대신 sigma_^을 그 추정치로 활용할 수 있다. 

다시 돌아가 simple-모델에서 Beta_1의 분산을 직접 구해보면 다음과 같다. 여기서 x의 분산은 Time-series data인 x 값들의 분산을 뜻한다.

우리는 분산의 제곱근을 구해 표준편차(SD, Standard Deviation)을 도출 할 수 있다. 하지만 분산 및 표준편차는 Epsilon의 분산을 알 수 없기 때문에 실제로 계산 할 수 없다.(A4 도입하지 않을 경우) 이 때 위에서 먼저 구한 sigma_^으로 sigma_0를 대체하여 쓸 수 있는데, 이는 Beta_1의 SD가 아니라 SE(Standard Error)로 지칭한다.