[손으로 푸는 통계] 11. 적률생성함수 (중심극한정리를 위한 재료 #2)

우리는 중심극한정리를 증명하기 위해 필요한 사전지식들을 공부하고 있습니다. 지난시간에는 테일러급수가 무엇인지 배웠구요. 이번시간에는 적률생성함수가 무엇인지 배워보겠습니다. 

적률생성함수는 말 그대로 '적률'을 생성하는 함수입니다. 적률이 무엇인지 부터 알아야 합니다.

---

적률(Moment)

수학에서 적률은 아래와 같이 정의됩니다. n차적률이라고 부릅니다. 

$\mu_{n}=\int_{-\infty }^{\infty }\left ( x-c \right )^nf(x)dx$

수학에서 정의된 적률이라는 개념을 통계학에 적용해 봅시다. 먼저 상수 c에 0을 넣습니다. 

$\mu_{n}=\int_{-\infty }^{\infty } x^{n} f(x)dx$

이제 x를 확률변수, f(x)를 확률밀도함수로 해석하면 됩니다. $X^n$의 기댓값이 됩니다. 쉽게 풀어서 설명해보겠습니다. 

 

n에 1을 넣어봅시다.

$\mu_{1}=\int_{-\infty }^{\infty } x f(x)dx$

어디서 많이 보던 식이죠? 확률변수 X의 기댓값을 구하는 수식입니다. 

1차 적률 = 확률변수 X의 기댓값

이번에는 n에 2를 넣어봅시다.

$\mu_{2}=\int_{-\infty }^{\infty } x^{2} f(x)dx$

x제곱의 기댓값입니다.

2차 적률 = 확률변수 $X^2$의 기댓값

따라서 n차 적률은 확률에서 아래와 같이 사용됩니다.

n차적률 = 확률변수 $X^n$의 기댓값

아래와 같이 나타낼 수 있습니다.

$\mu_{n}=E(X^n)=\int_{-\infty }^{\infty } x^{n} f(x)dx$

---

적률생성함수

적률생성함수는 위에서 설명한 적률을 생성하는 함수입니다. 적률생성함수가 어떤 함수이고, 어떤 방식으로 적률을 생성하는지 알아봅시다.

적률생성함수는 아래와 같이 정의됩니다. 

$M_{X}(t)=E(e^{tX})=\int_{-\infty }^{\infty }e^{tx}f(x)dx$

M의 아래첨자 X 이고, 변수는 t입니다. $M_{X}(t)$는 확률변수 X의 적률생성함수라는 의미입니다. 

적률생성함수에서 적률이 어떻게 생성되는지 알아봅시다. 위 수식의 우변을 매클로린급수를 이용하여 표현해봅시다. 매클로린 급수는 테일러급수에서 a가 0인 형태입니다. 

$M_{X}(t)=E( 1+\frac{t}{1!}X + \frac{t^2}{2!}X^2 + \frac{t^3}{3!}X^3 +...)$

아래와 같이 항을 분리해서 씁시다.

$M_{X}(t)=1+E( \frac{t}{1!}X ) + E( \frac{t^2}{2!}X^2 )  + E( \frac{t^3}{3!}X^3 )+...$

t는 기댓값과 상관없는 변수이므로 밖으로 꺼내줍니다. 

$M_{X}(t)=1 + t E( X ) + \frac{t^2}{2!} E( X^2 )  + \frac{t^3}{3!} E( X^3 )+...$

양변을 t로 미분합니다. 

$\frac{dM_{X}(t)}{dt} = E( X ) + \frac{2t}{2!} E( X^2 )  + \frac{3t^2}{3!} E( X^3 )+...$

t에 0을 넣어봅시다.

$\frac{dM_{X}(0)}{dt} = E( X ) $

아래와 같은 결과를 얻습니다. 

적률생성함수를 1번 미분하고 0을 넣은 값 = $X$의 기댓값

적률생성함수를 한번 더 미분해봅시다. 

$\frac{d^2M_{X}(t)}{dt^2} =  E( X^2 )  + \frac{6t}{3!} E( x )+...$

t에 0을 넣어봅시다.

$\frac{d^2M_{X}(0)}{dt^2} =  E( X^2 )$

아래와 같은 결과를 얻습니다.

$\frac{d^2M_{X}(0)}{dt^2} =  E( X^2 )$

적률생성함수를 2번 미분하고 0을 넣은 값 = $X^2$의 기댓값

이걸 계속하면 아래 수식을 얻습니다. 

$\frac{d^nM_{x}(0)}{dt^n} =  E( X^n )$

따라서 적률생성함수를 한번 구해놓으면, $X^n$ 의 기댓값을 쉽게 구할 수 있습니다. 

---

적률생성함수 예시 : 정규분포

정규분포의 적률생성함수는 아래와 같이 구합니다. 

$M_{X}(t)=E(e^{tX})=\int_{-\infty }^{\infty }e^{tx}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx$

계산 결과는 아래와 같습니다. 유도는 이후에 다른 강의에서 하겠습니다. 

$M_{X}(t)= e^{t\mu + \frac{1}{2} \sigma^2 t^2}$

예를들어 정규분포에서 3차적률을 구하고 싶다고 합시다. 적률생성함수가 없었을 때는 아래 수식을 계산해야됩니다. 

$E(X^3)=\int_{-\infty }^{\infty }x^{3}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx$

적률생성함수를 알고 있다면 세번 미분해서 t에 0만 넣어주면 끝납니다.

 

#강의 영상