[조건부확률의 이해] Law of iterated expection (조건부 평균의 평균에 관한 법칙)

조건부 평균의 성질 중 아래 성질을 유도해봅시다. 

 

E(E(X|Y))=E(X)

 

Law of Iterated Expectations 라고 부릅니다. X와 Y는 확률변수입니다. 두 확률변수가 독립인 경우와 종속인 경우로 나눠서 이해해봅시다. 예시를 통해 이해해하고 일반화합시다. 

 

 

 

1) 두 확률변수가 독립

 

X는 주사위를 던졌을 때 눈의 수를 변수로 하는 확률변수라고 합시다. Y는 동전을 던졌을 때, 앞면을 0, 뒷면을 1로 하는 확률변수라고 합시다. 

 

먼저 E(X|Y) 를 구해봅시다. 하나의 값으로 나오지 않고, 이 평균 자체가 변수입니다. 왜냐하면 Y가 0일 때와 Y가 1일 때로 나눠지기  때문입니다. Y가 0이 나와도, 주사위 눈금에 영향을 주지 않기 때문에 E(X)와 같습니다.

 

E(X|Y=0)=E(X)

 

Y가 1일 때도 마찬가지입니다.

 

E(X|Y=1)=E(X)

 

따라서 E(E(X|Y)) 는 E(X) 두개를 평균낸 것입니다. 결과는 E(X) 입니다.

 

E(E(X|Y))=E(X)

 

 

 

2) 두 확률변수가 종속

 

X : 주사위를 던져서 짝수(2,4,5)가 나오면 1, 홀수(1,3,5)가 나오면 0

Y : 주사위를 던져서 소수(2,3,5)가 나오면 1, 그외(1,4,6) 0

 

 

먼저 E(X|Y) 를 구해봅시다. 하나의 값으로 나오지 않고, 이 평균 자체가 변수입니다. 왜냐하면 Y가 0일 때와 Y가 1일 때로 나눠지기  때문입니다. 

 

먼저 Y가 0인 경우입니다. Y가 0이 라는 것은 주사위를 던져서 중 하나가 나왔다는 것입니다. 이때 짝수일 확률은 2/3 이고, 홀수일 확률은 1/3 입니다. 

 

E(X|Y=0)= 1*(2/3)+0*(1/3)

 

이번에는 Y가 1인 경우입니다. Y가 0이 라는 것은 주사위를 던져서 중 하나가 나왔다는 것입니다. 이때 짝수일 확률은 1/3 이고, 홀수일 확률은 2/3 입니다. 

 

E(X|Y=1)= 1*(1/3)+0*(2/3)

 

이번에는 E(E(X|Y))를 구해봅시다. Y=0인 사건과, Y=1 이 발생할 확률은 각각 1/2이므로 아래와 같이 계산됩니다. 

 

E(E(X|Y))=E(X|Y=0)*(1/2)+E(X|Y=1)*(1/2)

         =[1*(2/3)+0*(1/3)]*(1/2)+[1*(1/3)+0*(2/3)]*(1/2)

        

1끼리 모으로, 0끼리 모으면 아래와 같습니다.

 

E(E(X|Y))=[1*(2/3)]*(1/2)+[1*(1/3)]*(1/2)+[0*(2/3)]*(1/2)+[0*(1/3)]*(1/2)

 

아래와 같이 묶어줍시다. 

 

E(E(X|Y))=[1*(2/3+1/3)]*(1/2)+[0*(2/3+1/3)]*(1/2)

 

계산하면 아래와 같습니다.  

 

E(E(X|Y))=1*(1/2)+0*(1/2)

 

이는 E(X) 결과와 일치합니다.

 

E(E(X|Y))=1*(1/2)+0*(1/2)=E(X)

 

 

 

3) 일반화

 

확률변수 X와 Y가 있다고 합니다. 확률변수 X와 Y의 원소를 각각 n과 m으로 놓겠습니다. 

 

먼저 확률변수 Y는 아래와 같습니다. 

 

Y	Y1	Y2	...	Yn
P(Y)	P(Y1)	P(Y1)	...	P(Yn)

 

확률변수 X는 아래와 같습니다. 

 

X	X1	X2	...	Xm
P(X)	P(X1)	P(X2)	...	P(Xm)

 

E(X|Y)를 구해봅시다. 하나의 값으로 구해지지 않습니다. Y라는 확률변수가 어떤 값을 갖느냐에 따라 달라집니다. 따라서 E(X|Y)도 또하나의 확률변수입니다. 예를들어 Y가 Y1이라면 기댓값은 아래와 같습니다. 

 

E(X|Y=Y1)=X1*P(X=X1|Y=Y1)+X2*P(X=X2|Y=Y1)+...+Xm*P(X=Xm|Y=Y1)

 

시그마 기호를 이용하여 나타내면 아래와 같습니다. 

 

 

E(X|Y) 라는 확률변수를 표로 나타내봅시다. 

 

Y	Y1	Y2	...	Yn
E(X|Y)

 

확률변수니까 각각의 확률이 있어야 겠죠? 각각의 확률은 각 Y가 발생할 확률과 같습니다. P(Y1), P(Y2), ... , P(Yn) 입니다. 

 

이제 E(X|Y)의 기댓값인 E(E(X|Y))을 구해봅시다. 아래와 같이 구할 수 있습니다. 

 

 

시그마를 이용하여 써봅시다. 

 

 

조건부확률을 변형해봅시다. 

 

 

Y는 시그마와 무관한 수식이므로 약분해줄 수 있습니다. 

 

 

위 시그마를 전개하고 X1 항만 모아봅시다. 

 

 

X1으로 묶어줍시다. 

 

 

괄호 안의 확률은 P(X=X1)과 같습니다. 

 

 

같은 원리를 X2부터 Xm까지 적용하면 E(E(X|Y))은 아래와 같이 변형됩니다. 

 

 

우변은 E(X)와 같으므로, 아래 성질이 유도됩니다. 

 

E(E(X|Y))=E(X)