회귀분석에 '회귀'라는 말이 왜 붙어있나?

회귀분석은 통계학에서 매우 중요하면서 기본이 되는 과목입니다. 통계학의 꽃이라고도 불립니다. 

 

회귀분석을 사용하는 방법에 익숙해진 뒤에는 '회귀'라는 용어에 더이상 의문을 갖지 않습니다. 이 용어의 의미를 이해했다기 보다는 각자가 접한 예제들을 이해하고 이를 '회귀분석'이라는 이름과 단순히 연결시켰을 것입니다. 회귀분석이라는 이름에 대한 의문이 사라지기 전에 이름에 담긴 의미를 알아봅시다. 

 

회귀라는 말의 한자 뜻은 돌아올 회, 돌아갈 귀 입니다. 어딘가로 '되돌아간다'는 뜻입니다. 회귀분석은 되돌아가는 분석이라는 말인데, 무슨 의미인지 전혀 감이 오지 않습니다.

 

회귀분석의 목적은 우리가 관심이 있는 종속변수들에 영향을 주는 독립변수들을 찾고, 독립변수들과 종속변수들의 관계를 나타내는 모델을 만드는 것입니다. 보통 결과변수는 하나로 놓습니다. 독립변수들을 ${X_{1},X_{2},...,X_{n}}$이라고 놓고 종속변수를 Y라고 놓았을 때, 둘의 관계를 잘 표현해주는 함수(혹은 모델)을 찾는 것입니다. 

 

 

보통 회귀분석이라고 하면 '선형 회귀분석'을 의미합니다. 선형회귀분석의 모델은 아래와 같습니다.

 

$Y=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+...+\beta _{n}X_{n}+\varepsilon $

 

이제 통계학 역사의 한 사건을 통해 이 괴리를 해결해봅시다. 

 

회귀라는 말을 붙인 사람은 영국의 우생학자인 프랜시스 골턴(Francis Galton) 입니다. 골턴은 아버지의 키와 아들의 키 사이의 관계를 조사했습니다. 조사 결과 아버지의 키와 아들의 키 사이의 관계식 기울기가 1보다 작다는 것을 알아냈습니다. 골턴이 구한 기울기는 2/3 였습니다. 따라서 신장은 세대를 거듭할 수록 평균에 가까워져 가는 경향을 보이게 됩니다. 평균으로 돌아가는 것이죠. 쉽게 말하면 키가 큰 부모들의 자식은 부모보다 키가 작고, 키가 작은 부모들의 자식은 부모보다 키가 크다는 것입니다. 만약 반대였다면, 세상에는 키가 극단적으로 크거나 극단적으로 작은 사람들이 대부분이었을 것입니다. 

 

골턴은 이 분석에 돌아간다는 의미의 '회귀'라는 용어를 붙였습니다. 골턴의 영향으로 인해 변수간의 함수관계를 표현하는 식을 회귀식, 그러한 관계를 표현하고 분석하는 학문을 '회귀분석'이라고 부르게 되었습니다. 

 

'회귀'분석이라는 단어의 실제 의미는 현재 우리가 사용하는 회귀분석의 의미와는 별로 가깝지 않습니다. 우리는 '회귀'한다는 의미로 회귀분석을 하용하는 것이 아니라 변수(variable)들 사이의 관계를 알기 위해 사용합니다. 역사적 이유 때문에 붙은 이름이라는 것을 기억하시면 이 괴리를 해소하실 수 있을겁니다.