적률생성함수 vs 특성함수

적률생성함수 (Moment Generating Function)

적률생성함수는 그 이름에서도 알 수 있듯 적률을 생성해주는 함수입니다. 적률이 무엇인지 먼저 알아야 겠죠. 적률은 아래와 같이 정의됩니다. 

 

$E\left [ X^n \right ]$

 

X 는 확률변수입니다. 확률변수 $X^n$ 의 기댓값을 적률이라고 합니다. 적률에는 차수가 있습니다. $E\left [ X^n \right ]$ 은 n차적률입니다. $E\left [ X \right ]$ 은 1차적률이고, $E\left [ X^2 \right ]$ 은 2차 적률입니다. 

 

적률은 통계량과 관련있습니다. 1차적률은 평균이고 2차적률은 분산을 구할때 사용됩니다. 3차적률은 왜도, 4차적률은 첨도와 관련있습니다. 

 

적률을 생성하는 함수인 적률생성함수는 아래와 같이 정의됩니다. 

 

$M_{X}(t)=E\left [ e^{tX} \right ]$

 

적률생성함수는 $e^{tX}$의 기댓값입니다. 적률생성함수가 적률을 생성하는 방법은 미분입니다. 적률생성함수를 t로 한번 미분하고 t에 0을 넣으면 X의 기댓값인 $E\left [ X \right ]$ 가 구해집니다. 두번 미분하고 t에 0을 넣으면 $X^{2}$의 기댓값인 $E\left [ X^{2} \right ]$ 가 구해집니다. 적률생성함수를 n번 미분하고 t에 0을 넣으면  $E\left [ X^{n} \right ]$ 이 구해집니다. 이와 같이 적률생성함수는 미분하고 t에 0을 넣으면 적률을 구해주는 함수입니다. 

 

적률생성함수 : t로 n번 미분하고 t에 0을 넣으면 $E\left [ X^{n} \right ]$ 가 됨

 

위 과정을 수식으로 표현하면 아래와 같습니다. 

 

$\frac{d^n M_{X}(t)}{dt^n}=\int_{-\infty}^{\infty}  x^n e^{tx}f(x)dx$

 

$\frac{d^n M_{X}(0)}{dt^n}=\int_{-\infty}^{\infty}  x^n f(x)dx=E\left [ X^{n} \right ]$

 

적률생성함수에는 특별한 성질이 하나 있습니다. 어쩌면 적률을 구할 때 사용되는 경우 보다 이 성질이 사용되는 경우가 더 많을지도 모릅니다. 성질은 아래와 같습니다. 

 

두 확률변수 X 와 Y의 적률생성함수가 같으면 두 확률변수의 확률분포도 같다. (역도 성립)

 

어떤 확률변수 X의 적률생성함수를 구했더니 정규분포의 적률생성함수와 같았다면 확률변수 X도 정규분포를 따르는 것입니다. 이 성질은 중심극한정리를 유도할 때도 이 성질이 사용되고 t검정 등 각종 검정에도 사용됩니다. 

 

그런데 적률생성함수는 한가지 한계를 가집니다. 어떤 확률분포에서는 적률생성함수가 정의되지 않는다는 한계입니다. 어떤 확률분포는 적률생성함수를 구하면 무한대로 발산해버립니다. 이러한 한계는 특성함수에서 극복됩니다. 

 

특성함수 (Characteristic Function)

특성함수와 적률생성함수는 한끝 차이입니다. 적률생성함수가 $e^{tX}$의 기댓값이었다면, $e^{tiX}$ 의 기댓값입니다. i는 허수입니다. 특성함수는 그리스어 phi를 사용하여 아래와 같이 정의합니다. 

 

$\varphi_{X}(t)=E\left [ e^{itX} \right ]$

 

특성함수는 모든 확률분포에서 정의됩니다. 적률생성함수처럼 아래 성질도 같습니다. 

 

두 확률변수 X 와 Y의 특성함수가 같으면 두 확률변수의 확률분포도 같다. (역도 성립)

 

참고삼아 이야기하면 특성함수는 확률밀도함수에 퓨리에변환을 적용한 것입니다.