[회귀분석] 1. 회귀분석이란 무엇인가

회귀분석은 변수들 사이의 관계를 '모델링'하는 기법입니다. 여러 분야에서 가장 광범위하게 사용되는 통계기법중 하나입니다. 

회귀분석의 목적은 우리가 관심이 있는 종속변수들에 영향을 주는 독립변수들을 찾고, 독립변수들과 종속변수들의 관계를 나타내는 모델을 만드는 것입니다. 보통 결과변수는 하나로 놓습니다. 독립변수들을 ${X_{1},X_{2},...,X_{n}}$이라고 놓고 종속변수를 Y라고 놓았을 때, 둘의 관계를 잘 표현해주는 함수(혹은 모델)을 찾는 것입니다. 

보통 회귀분석이라고 하면 '선형 회귀분석'을 의미합니다. 선형회귀분석의 모델은 아래와 같습니다. 

$Y=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+...+\beta _{n}X_{n}+\varepsilon $

회귀분석은 데이터를 모으고, 모델을 적합(fitting)시키고, 통계량들을 이용하여 모델을 평가하는 전체 과정을 의미합니다. 통계량으로는 $t, F, R^2$ 등이 사용됩니다. 모델적합은 위에서 이야기한 함수를 찾는 것을 말합니다.  

회귀분석 : (데이터 수집)→(모델 적합)→(모델 평가)

 

만들어진 모델은 '예측'에 사용됩니다. 

---

독립변수와 종속변수의 다른 이름

독립변수와 종속변수는 다른 이름들로도 불립니다. 

독립변수 Independent variable
예측변수 Predictor variable
설명변수 Explanatory variable
회귀자 Regressor variable
요인 Factor
공변량 Covariate

종속변수 Dependent variable
반응변수 Response variable
결과변수 Outcome variable

독립변수라는 이름은 지양된다고 합니다. 통계학에서의 '독립'과 혼동되기도 하고, 독립변수들은 서로 독립이 아닌 경우가 대부분이라서 그렇다고 하네요. 이후 글에서 아래 용어를 사용하겠습니다. 

X: 예측변수
Y:  결과변수