[회귀분석] 3. 단순 선형 회귀분석 소개

회귀분석의 목적은 우리가 관심이 있는 결과변수들에 영향을 주는 예측변수들을 찾고, 예측변수들과 결과변수들의 관계를 나타내는 모델을 만드는 것입니다. 보통 결과변수는 하나로 놓습니다. 예측변수들을 ${X_{1},X_{2},...,X_{n}}$이라고 놓고 결과변수를 Y라고 놓았을 때, 둘의 관계를 잘 표현해주는 함수(혹은 모델)을 찾는 것입니다. 

단순 선형 회귀분석은 예측변수와 결과변수가 1개이고, 차수는 1차인 모델을 이용하는 회귀분석입니다. 따라서 아래와 같이 일차식으로 표현됩니다. 

$y=f(x)+\varepsilon=\beta_{0}+\beta_{1}x+\varepsilon$

위 수식을 선형회귀모델 이라고 부릅니다. $y$는 관측값이고, $f(x)$는 예측값입니다. 이때 오차는 (관측값-예측값)입니다. 이 수식에서 $\beta_{0}$ 와 $\beta_{1}$ 을 추정하는 것이 우리가 해야할 일입니다. 두 값을 회귀계수라고 부릅니다. 두 값을 추정하는 것을 '회귀계수의 추정'이라고 합니다. 

 

$\beta_{0},\beta_{1}$ : 회귀계수

 

선형 회귀계수의 추정에는 대표적인 세가지 방법이 있습니다. 다음 글에서 소개하겠습니다.