[회귀분석] 10. 세 방법의 회귀계수 추정 결과가 같다는 것

지난시간까지 세가지 방법을 이용하여 회귀계수를 추정해보았습니다. 세가지 방법을 비교하면 아래와 같습니다. 

 

	최소제곱법	최대우도법	오차항 가정 직접법
개념	오차항의 제곱의 합이 최소가 되도록 회귀계수를 정함	표본의 발생확률이 최대가 되도록 회귀계수를 정함	두가지 가정 하에서 평균과 공분산을 구하는 과정에서 회귀계수가 구해짐.
가정	가정 없음	- 오차항의 평균이 0인 정규분포를 따른다. - 오차항들은 서로 독립이다.	- 오차항의 평균은 0이다.  - 오차항과 예측변수 x는 독립이다.
결과

 

세 방법의 결과가 같다는 것이 어떤 의미인지 생각해봅시다. 오차항의 제곱이 최소가 되도록 만든 회귀계수와, 오차항이 평균이 0인 정규분포를 따른다고 가정하고 우도를 최대로 만든 회귀계수와, 오차항의 평균이 0이라고 가정하고 구한 회귀계수가 같습니다. 회귀계수를 구하기 위해 합리적인 가정을 여러가지 한 뒤, 각각 계산을 해보았더니 그 결과가 모두 같은 것입니다. 

 

제 실력으로 수학적인 놀라운 의미를 이끌어내지는 못하겠고, 이만하면 '꽤 괜찮은 회귀계수'구나 생각됩니다.