Hypothesis Test & t-test of coefficients

가설검정(Hypothesis Test)

 

‘0’ 이라고 하는 기존가설(귀무가설, null hypothesis)이 있고 이와 대립되는 ‘1’ 이라고 하는 새로운 가설(대립가설, alternative hypothesis)이 있다고 해보자. 우리는 두 가설 하나를 받아들이고 하나는 거부할 수 있다. 이때, 귀무가설의 경우 현재 정립된 가설이라고 가정하기 때문에, 대립가설이 충분히 신빙성 있을 때에 한해서만 귀무가설을 기각하는 방식으로 검정이 진행된다. 일반적으로 귀무가설은 H0, 대립가설은 H1(또는 Ha)로 표기된다.

 

가설검정은 표본을 추출하여 진행한다. 우리가 관측할 수 없는 모집단은 특정한 통계적 분포를 띄고 있을 것이다. 여기서 통계적 특성들은 모집단의 parameter(평균, 분산, 중위수(Median), OLS Regression의 Coefficient 등 다양하다.)로 표시될 수 있다. 여러 parameter중 특정한 parameter에 대해 가설을 세우고, 이를 검정하는 방법으로 통계적 가설검정을 진행하는 것이다.

앞서 언급했듯이 모집단의 경우 대개 관측 불가능하다. 만약 모집단이 관측 가능하다면, 가설검정 없이도 직접적으로 parameter를 ‘알 수’ 있다. 즉 ‘추정’할 필요가 없는 것이다. 실제로는 모집단은 관측 불가하기 때문에, 우리는 추출된 표본의 분포를 보고 parameter를 추정하는 작업을 실시한다.

 

# 가설검정의 단순화된 절차는 다음과 같다.

1.     Parameter에 대한 귀무가설과 대립가설을 설정한다.

A.     두 가설은 상호 배반되어야 한다.

B.      대립가설을 어떻게 정하느냐에 따라 양측검정 또는 단측검정이 가능하다.

C.      parameter가 특정 값과 같지 않다는 대립가설일 경우 양측검정에 해당된다.

D.     parameter가 특정 값보다 크다(또는 작다)는 대립가설일 경우 단측검정에 해당된다.

2.     표본의 분포를 이용해 귀무가설에 포함된 parameter의 추정 값(Estimator)을 찾는다.

3.     Estimator를 변형해 test statistic을 찾는다.

A.     Estimator를 test statistic으로 활용할 수도 있다. 하지만 test statistic은 그 확률 분포가 알려져 있어야 한다. Estimator 자체의 확률분포를 구하기 어려울 경우, 이미 분포가 알려진 test statistic으로 형태를 바꾸어 주어야 한다.

4.     Test statistic의 귀무가설 하에서의 확률 분포(null distribution)를 특정한다. 귀무가설이 참이라는 가정하에, 이를 기각할 확률(probability of type 1 error)을 구한다.

5.     유의수준(significance level)을 alpha값으로 정한다. (통상 5%)

6.     Critical value를 계산한다.

A.     Critical value는 null distribution 상에서 probability of type 1 error를 alpha 값으로 만들어주는 값이다.

7.     Test statistic과 critical value의 크기를 비교하여 검정을 실시한다.

A.     Test statistic이 null distribution에서 가지는 확률값(p-value)가 significance level 보다 낮으면 귀무가설을 기각한다.

 

가설검정의 절차를 위와 같이 적으면 간단하게 나타낼 수 있지만 뜻을 직관적으로 해석하기 어렵다. 따라서 예시를 통해 가설검정을 알아보기로 한다.

# 예시

 

독립변수 하나와 상수항으로 구성된 DGP를 통해 가설검정을 실시해보자. 예시로는 독립변수의 계수가 0인지 아닌지에 대하여 검정해본다. 즉, 계수가 0이라는 귀무가설을 세우고, 대립가설을 검정해 보고자 한다. DGP는 다음과 같이 정의된다.

 

1.     귀무가설과 대립가설을 설정한다.

대립가설에서 parameter가 0과 같지 않음을 주장하기 때문에 이는 양측 검정이다.

 

2.     표본을 통해 Estimator를 얻는다.

DGP는 관측되지 않는(알려지지 않은) 관계식이다. 따라서 우리는 이를 추정하기 위한 추정모델을 활용 해야 한다. OLS Model은 DGP에 대한 좋은 추정모델 중 하나이다. 따라서 예시는 OLS 식을 통해 진행한다. Beta_1*에 대한 표본의 Estimator는 Beta_1^로 볼 수 있다.

 

3.     Estimator의 분포는 다음과 같이 알려져 있다. (Classical Assumption 하에서)

우리는 귀무가설 하에서의 분포를 구해야 한다. 따라서 Beta_1*이 0이라는 귀무가설을 적용한 null distribution을 구하면 다음과 같다.

 

여기서 Beta_1^의 표준편차를 계산하기 위해 Epsilon의 분산을 알아야 하지만, 이는 알려져 있지 않다. 따라서 우리는 Estimator의 정확한 확률분포를 알 수 없다. 때문에 Estimator 바꾸어 다른 test statistic을 찾아야 한다. 이미 밝혀진 바에 의하면. Beta_1^을 자신의 standard error로 나누어준 값이 자유도 T-K~의 student-t 분포를 따른다.

 

따라서 우리는 귀무가설 하에서의 분포가 알려진 Beta_1^/SE[Beta_1^]을 test-statistic으로 활용할 것이다.

참조: Statistical Properties of the OLS, http://assethorizon.tistory.com/8?category=707380

 

4.     Test statistic의 null distribution은 앞에서 구하였다. 자유도에 따라 분포의 모습은 달라지지만, 일반적으로 type 1 error의 확률은 그래프상 다음과 같이 나타난다.

 

5.     Significance level을 5%로 정하고,

6.     Critical value를 구하면 다음과 같다.

 

7.     OLS에서 구해진 Test statistic을 critical value와 비교하여 검정을 수행한다.

A.     귀무가설을 기각하는 경우

test statistic의 p-value가 significance level보다 작기 때문에, 귀무가설을 기각한다.

 

B.      귀무가설을 기각하는데 실패하는 경우