[손으로 푸는 통계] 4. 표본분산의 기댓값이 모분산과 같은 이유

지난 글에서 표본평균의 기댓값은 모평균과 같다는 것을 보였습니다. 오늘은 표본분산의 평균이 모분산과 같다는 것을 증명해봅시다. 

표본에서 구한 어떤 통계량의 기댓값이 모수와 같을 때 이 통계량을 불편추정량이라고 합시다. 표본평균은 불편추정량이구요. 표본분산은 n으로 나눠서 계산하면 모분산과 달라고, 모분산과 같게 해주려고 n-1 로 나눠서 계산합니다. 이 내용은 2강에서 설명했습니다.

---

표본분산의 평균이란? 

모집단이 하나 있다고 가정합시다. 모집단의 평균을 $\mu$, 분산을 $\sigma^2$이라고 놓겠습니다. 이 모집단에서 크기가 n인 표본을 뽑아서 분산을 구했습니다. 표본을 또 뽑고 분산을 구합니다. 표본을 또 뽑고 분산을 구합니다. 이렇게 무수히 많은 표본을 뽑아 분산을 구합니다. 이제 우리에게는 무수히 많은 표본분산들이 있습니다. 이 표본분산의 평균을 구합니다.

---

표본분산의 평균=모분산 증명

표본분산은 아래와 같이 계산됩니다. 편차의 제곱의 평균입니다. 

$S^2=\frac{\sum_{i=1}^{n}\left ( x_{i}-\bar{X} \right )^2}{n-1}$

표본분산의 기댓값은 아래와 같습니다. 

$E\left ( S^2 \right )=E\left ( \frac{\sum_{i=1}^{n}\left ( x_{i}-\bar{X} \right )^2}{n-1} \right )$

n-1은 상수이므로, 밖으로 꺼낼 수 있습니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E\left (\sum_{i=1}^{n}\left ( x_{i}-\bar{X} \right )^2 \right )$

한가지 수학적 처리를 하겠습니다. 아래와 같이 모집단의 평균 $\mu$를 빼고 더해줍니다. 0을 더한 것 과 같기 때문에 등호에 영향을 주지 않습니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E\left (\sum_{i=1}^{n}\left ( x_{i}-\mu+\mu-\bar{X} \right )^2 \right )$

아래와 같이 전개합니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2+2 \left ( x_{i}-\mu \right ) \left ( \mu-\bar{X} \right ) + \left ( \mu-\bar{X} \right )^2 \right ]  \right ) $

시그마로 묶여있는 각 항을 분리합니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] 
+ \sum_{i=1}^{n} \left [ 2 \left ( x_{i}-\mu \right ) \left ( \mu-\bar{X} \right )  \right ] 
+ \sum_{i=1}^{n} \left [  \left ( \mu-\bar{X} \right )^2 \right ] 
 \right ) $

둘째항에서 시그마와 무관항 항을 밖으로 꺼냅니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] 
+ 2\left ( \mu-\bar{X} \right ) \sum_{i=1}^{n} \left [\left ( x_{i}-\mu \right )   \right ] 
+ \sum_{i=1}^{n} \left [  \left ( \mu-\bar{X} \right )^2 \right ] 
 \right ) $

마지막 항은 아래와 같이 바꿀 수 있습니다. n번 더한 것입니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] 
+ 2\left ( \mu-\bar{X} \right ) \sum_{i=1}^{n} \left [\left ( x_{i}-\mu \right )   \right ] 
+ n \left [  \left ( \mu-\bar{X} \right )^2 \right ] 
 \right ) $

두번째 항도 아래와 같이 변형합니다. $\mu$를 n번 더하여 시그마를 벗겨준 것입니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] 
+ 2\left ( \mu-\bar{X} \right ) \left [ \sum_{i=1}^{n} \left ( x_{i}\right )-n\mu  \right ]
+ n \left [  \left ( \mu-\bar{X} \right )^2 \right ] 
 \right ) $

표본평균의 정의를 이용하면 아래와 같은 변형이 가능합니다. 

$\bar{X}=\frac{\sum_{i1}^{n}x_{i}}{n}
n\bar{X}=\sum_{i1}^{n}x_{i}$

따라서 우리가 유도하던 수식을 아래와 같이 바꿀 수 있습니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] 
+ 2\left ( \mu-\bar{X} \right ) \left [ n\bar{X}-n\mu  \right ]
+ n \left [  \left ( \mu-\bar{X} \right )^2 \right ] 
 \right ) $

둘째항을 n으로 묶어줍니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] 
+ 2n\left ( \mu-\bar{X} \right ) \left ( \bar{X}-\mu  \right )
+ n \left [  \left ( \mu-\bar{X} \right )^2 \right ] 
 \right ) $

-1을 꺼내고 완전제곱식으로 만들어줍니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] 
- 2n\left ( \mu-\bar{X} \right )^2
+ n \left [  \left ( \mu-\bar{X} \right )^2 \right ] 
 \right ) $

둘째항과 셋째항을 계산합니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] 
- n\left ( \mu-\bar{X} \right )^2
 \right ) $

둘째항을 아래와 같이 써줍니다. 자리를 바꿔써도 무관합니다. 

$E\left ( S^2 \right )=\frac{1}{n-1}E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] 
- n\left ( \bar{X}-\mu \right )^2
 \right ) $

기댓값을 아래와 같이 둘로 분리합시다. 

$E\left ( S^2 \right )=\frac{1}{n-1} \left \{  
E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] \right)
+E \left(- n\left ( \bar{X}-\mu \right )^2 \right ) \right \}$

-n을 밖으로 꺼내줍니다. 

$E\left ( S^2 \right )=\frac{1}{n-1} \left \{  
E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] \right)
-n E \left(\left ( \bar{X}-\mu \right )^2 \right ) \right \}$

두변의 두번째 항은 표본평균의 분산입니다. 표본평균의 분산은 모분산/n 이라는 성질을 사용하겠습니다. 다음강의에서 증명할 내용입니다. 

$E\left ( S^2 \right )=\frac{1}{n-1} \left \{  
E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] \right)
-n \frac{\sigma^2}{n} \right \}$

n을 약분합시다. 

$E\left ( S^2 \right )=\frac{1}{n-1} \left \{  
E \left (\sum_{i=1}^{n} \left [ \left (x_{i}-\mu \right )^2 \right ] \right)
-\sigma^2 \right \}$

괄호 안의 시그마를 풀어서 쓰면 아래와 같습니다. 

$E\left ( S^2 \right )=\frac{1}{n-1} \left \{  
E\left [ \left (x_{1}-\mu \right )^2 + \left (x_{2}-\mu \right )^2+...++ \left (x_{n}-\mu \right )^2 \right]
-\sigma^2 \right \}$

기댓값들을 아래와 같이 나눠서 쓰겠습니다. 

$E\left ( S^2 \right )=\frac{1}{n-1} \left \{  
E\left [ \left (x_{1}-\mu \right )^2  \right]
+
E\left [  \left (x_{2}-\mu \right )^2 \right]
+...+
E\left [ \left (x_{n}-\mu \right )^2 \right]
-\sigma^2 \right \}$

각 기댓값들은 모분산과 같습니다. 이유는 3강에서 설명했습니다. 따라서 아래와 같이 변형됩니다. 

$E\left ( S^2 \right )=\frac{1}{n-1} \left \{  
n \sigma^2
-\sigma^2 \right \}$

시그마 제곱으로 묶어줍시다. 

$E\left ( S^2 \right )=\frac{1}{n-1} \left \{  
n -1 \right \}\sigma^2$

약분합시다. 

$E\left ( S^2 \right )=\sigma^2$

표본분산의 기댓값이 모분산과 같다는 것을 보였습니다. 

 

#강의 영상