[회귀분석] 4. 회귀 계수의 추정의 세가지 방법

단순 선형회귀분석은 두 변수 X,Y의 관계를 잘 나타낼 수 있는 선형 모델을 찾는 것입니다. 이 모델을 찾는다는 것은 아래 수식에서 $\beta_{0}$와 $\beta_{1}$라는 계수를 추정하는 것입니다. 

$y=\beta_{0}+\beta_{1}x+\varepsilon$

 

회귀계수를 추정하는 방법은 세가지가 있습니다. 최소제곱법, 최대우도법, 오차항 가정 직접법 입니다. 오차항 가정 직접법은 제가 붙인 이름입니다. 여기서는 세 방법을 간단히 소개하고, 다음 시간부터 직접 수식을 유도해보며 공부해봅시다. 

최소제곱법

최소제곱법은 실제 y값과 모델에서 얻은 추정값 $b_{0}+b_{1}x$ 사이의 차이인 오차항  $\varepsilon$ 을 이용합니다. 

$\varepsilon = y-(\beta_{0}+\beta_{1}x)$

이 오차항의 제곱의 합이 최소가 되도록 계수를 구합니다. 편미분이 사용됩니다. 오차항에 대한 아무런 가정도 하지 않습니다. 

 

최대우도법

최대우도법은 '우도'가 최대가 되도록 하는 계수를 추정합니다. 우도는 최대우도법을 설명할때 함께 설명하겠습니다. 최대우도법에서는 아래 두 가정을 전제로 합니다. 

 

- 오차항은 평균이 0인 정규분포를 따른다.

- 오차항의 분산은 x에 관계 없이 일정하다. (=오차항들은 서로 독립이다. 오차항과 x는 서로 독립이다.)

 

오차항 가정 직접법

오차항 가정 직접법은 아래 두가지 가정을 전제로 회귀 모델의 평균과 공분산을 구합니다. 이러한 계산 과정에서 회귀계수가 구해집니다. 

 

- 오차항의 평균이 0이다.

- 오차항의 분산은 x에 관계 없이 일정하다. (=오차항들은 서로 독립이다. 오차항과 x는 서로 독립이다.)

 

놀랍게도 세 방법으로 구한 회귀계수가 같았습니다. 다음시간부터 직접 확인해봅시다.