[회귀분석] 9. 오차항 가정 직접법을 이용한 회귀계수 추정

회귀계수를 추정하는 방법은 아래 그림과 같이 세가지가 있습니다. 

 

최소제곱법과 최대우도법은 지난 글들에서 이미 공부한 상태입니다. 오늘은 세번째 방법인 '오차항 가정 직접법' 에 대해 알아봅시다. 

오차항 가정 직접법

아래와 같은 데이터가 있다고 합시다.

$(x_{1},y_{1})$
$(x_{1},y_{1})$
$...$
$(x_{n},y_{n})$

선형모델을 아래와 같이 가정합시다. 

$y=\beta_{0}+\beta_{1}x+\varepsilon$

두가지 가정을 하겠습니다.

 

- 오차항의 평균은 0이다. 

- 오차항과 예측변수 x는 서로 독립이다. 

 

선형모델의 양변의 기댓값을 구하면 아래와 같습니다. 

 

$E(y)=E(\beta_{0}+\beta_{1}x+\varepsilon)$

 

우변을 아래와 같이 분리해서 써줍시다. x와 오차항이 독립이므로 분리가 가능합니다. 

 

$E(y)=E(\beta_{0})+E(\beta_{1}x)+E(\varepsilon)$

 

아래와 같이 변형합니다. 오차항의 평균은 0입니다. 

 

$E(y)=\beta_{0}+\beta_{1}E(x)$

 

평균을 bar 로 나타냅시다.

 

$\bar{y}=\beta_{0}+\beta_{1}\bar{x}$

 

이번에는 x와 y의 공분산을 구해봅시다.

 

$Cov(x,y)=E\left [ (x-\bar{x})(y-\bar{y}) \right ]$

 

아래 두 식을 이용하여 $y-\bar{y}$ 를 변형합니다. 

 

$y=\beta_{0}+\beta_{1}x+\varepsilon$

$\bar{y}=\beta_{0}+\beta_{1}\bar{x}$

 

$y-\bar{y}=\beta_{1}(x-\bar{x})$

 

공분산 계산식에 대입합니다.

 

$Cov(x,y)=E\left [ (x-\bar{x})\beta_{1}(x-\bar{x}) \right ]$

 

$\beta_{1}$ 을 괄호 밖으로 꺼내주고 아래와 같이 제곱식으로 만들어줍니다. 

 

$Cov(x,y)=\beta_{1}E\left [ (x-\bar{x})^2 \right ]$

 

기댓값 식은 x의 분산입니다. 

 

$Cov(x,y)=\beta_{1}V(x)$

 

따라서 $\beta_{1}$ 은 아래와 같습니다. 

 

$\beta_{1}=\frac{Cov(x,y)}{V(x)}$

 

공분산과 분산은 아래와 같이 구합니다. 표본이므로 n-1로 나눠줍니다. 

 

$\beta_{1}=\frac{ \frac{\sum_{i=1}^{n}(x_{i}-\bar{x})(y_{i}-\bar{y})}{n-1} }{ \frac{\sum_{i=1}^{n}(x-\bar{x})^2}{n-1} }$

 

n-1로 약분하면 분자와 분모는 아래와 같이 변형됩니다.

 

$\beta_{1}= \frac{ \sum_{i=1}^{n} (x_{i}-\bar{x})(y_{i}-\bar{y}) } {  \sum_{i=1}^{n} (x_{i}-\bar{x})^2 }$

 

분모와 분자를 아래와 같이 간단한 기호로 나타내겠습니다.

 

$\beta_{1}= \frac{ S_{xy} } { S_{xx} }$

 

요약

추정된 회귀계수에는 hat을 붙여줍니다. 모델로 구한 y값도 hat을 붙여줍니다. 데이터의 실제값은 $y$이고, 추정값은 $\hat{y}$ 입니다.