[회귀분석] 8. 최대우도법을 이용한 회귀계수 추정 일반화

회귀계수를 추정하는 방법은 아래 그림과 같이 세가지가 있습니다. 

 

지난시간에는 최대우도법의 예시를 풀어보며 최대우도법에 대한 감을 잡아보았습니다. 이번 글에서는 최대우도법을 이용하여 회귀계수를 구하는 방법을 일반화해봅시다. 

(최대우도법 예시) → (일반화)

 

최소제곱법 일반화

아래와 같은 데이터가 있다고 합시다.

$(x_{1},y_{1})$
$(x_{1},y_{1})$
$...$
$(x_{n},y_{n})$

선형모델을 아래와 같이 가정합시다. 

$y=\beta_{0}+\beta_{1}x+\varepsilon$

오차항의 평균을 0, 분산을 $\sigma^2$인 정규분포를 따른다고 가정하겠습니다. 오차항에 대해 정리하면 아래와 같습니다.

 

$\varepsilon=y-\beta_{0}-\beta_{1}x$

 

정규분포 함수는 아래와 같이 정의하겠습니다. 이 오차항의 정규분포함수를 $f$라고 놓겠습니다.

 

$f(\varepsilon)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{\varepsilon^2}{2\sigma^2}}$

 

오차항은 $x,y,\beta_{0},\beta_{1}$ 로 표현되기 때문에 아래와 같이 바꿀 수 있습니다. 

 

$f(x,y,\beta_{1},\beta_{2})=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y-\beta_{0}-\beta_{1}x)^2}{2\sigma^2}}$

 

이때 각각의 사건이 발생할 확률밀도값은 아래와 같습니다. 

 

$f(x=x_{1},y=y_{1},\beta_{0},\beta_{1})=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_{1}-\beta_{0}-\beta_{1}x_{1})^2}{2\sigma^2}}$

$f(x=x_{2},y=y_{2},\beta_{0},\beta_{1})=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_{2}-\beta_{0}-\beta_{1}x_{2})^2}{2\sigma^2}}$

$...$

$f(x=x_{n},y=y_{n},\beta_{0},\beta_{1})=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_{n}-\beta_{0}-\beta_{1}x_{n})^2}{2\sigma^2}}$

 

우도함수 형태로 바꿔줍시다.  

 

$L(\beta_{0},\beta_{1} |x=x_{1},y=y_{1})=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_{1}-\beta_{0}-\beta_{1}x_{1})^2}{2\sigma^2}}$

$L(\beta_{1},\beta_{2}|x=x_{2},y=y_{2})=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_{2}-\beta_{0}-\beta_{1}x_{2})^2}{2\sigma^2}}$

$...$

$L(\beta_{1},\beta_{2}|x=x_{n},y=y_{n})=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_{n}-\beta_{0}-\beta_{1}x_{n})^2}{2\sigma^2}}$

 

위 사건이 모두 발생할 우도는 모든 우도의 곱입니다. 오차항들이 서로 독립이라는 가정 때문에 가능합니다. 

 

$L(\beta_{0},\beta_{1})= \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_{1}-\beta_{0}-\beta_{1}x_{1})^2}{2\sigma^2}} \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_{2}-\beta_{0}-\beta_{1}x_{2})^2}{2\sigma^2}} \cdots  \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_{n}-\beta_{0}-\beta_{1}x_{n})^2}{2\sigma^2}}$

 

아래와 같이 변형합니다. 

 

$L(\beta_{0},\beta_{1})= (\frac{1}{\sqrt{2\pi}\sigma})^{n} e^{ -\frac{(y_{1}-\beta_{0}-\beta_{1}x_{1})^2}{2\sigma^2} -\frac{(y_{2}-\beta_{0}-\beta_{1}x_{2})^2}{2\sigma^2} -\frac{(y_{n}-\beta_{0}-\beta_{1}x_{n})^2}{2\sigma^2} }$

 

시그마 기호를 이용하여 표현하면 아래와 같습니다.

 

$L(\beta_{0},\beta_{1})= (\frac{1}{\sqrt{2\pi}\sigma})^{n} e^{ -\frac{\sum_{i=1}^{n}(y_{i}-\beta_{0}-\beta_{1}x_{i})^2}{2\sigma^2} }$

 

양변에 자연로그를 취해줍니다.

 

$\mathrm{ln} L(\beta_{0},\beta_{1})= n\mathrm{ln} (\frac{1}{\sqrt{2\pi}\sigma}) -\frac{ \sum_{i=1}^{n} (y_{i}-\beta_{0}-\beta_{1}x_{i})^2 }{2\sigma^2}$

 

이제 위 우도함수를 최대로 만들어주는 $\beta_{0},\beta_{1}$를 찾으면 되는데요. 함수의 최댓값은 각 변수로 편미분한 결과가 0이 되는 곳에서 발생합니다. 위 함수를 $\beta_{0},\beta_{1}$ 로 각각 편미분해줍시다. 

 

$\frac{\partial \mathrm{ln}L(\beta_{1},\beta_{2})}{\partial  \beta_{0}}= \frac{\sum_{i=1}^{n}2(y_{i}-\beta_{0}-\beta_{1}x_{i})}{2\sigma^2}$

 

$\frac{\partial \mathrm{ln}L(\beta_{1},\beta_{2})}{\partial  \beta_{1}}= \frac{\sum_{i=1}^{n}2(y_{i}-\beta_{0}-\beta_{1}x_{i})x_{i}}{2\sigma^2}$

 

이 값이 0이 되는 곳에서 최대값이 발생합니다. 

 

$\frac{\sum_{i=1}^{n}2(y_{i}-\beta_{0}-\beta_{1}x_{i})}{2\sigma^2}=0$

 

$\frac{\sum_{i=1}^{n}2(y_{i}-\beta_{0}-\beta_{1}x_{i})x_{i}}{2\sigma^2}=0$

 

아래와 같이 약분합시다. 

 

$\sum_{i=1}^{n}2(y_{i}-\beta_{0}-\beta_{1}x_{i})=0$

 

$\sum_{i=1}^{n}2(y_{i}-\beta_{0}-\beta_{1}x_{i})x_{i}=0$

 

위 두 등식을 연립하여 $\beta_{1},\beta_{2}$ 를 구하면 됩니다. 

 

눈치 채신 분들도 있으실겁니다. 최소제곱법에서 편미분 하여 나온 수식과 같습니다. 이후 계산은 최소제곱법에서 했던 계산과 동일하므로 생략하도록 하겠습니다.