대수의 법칙(LLN)과 중심극한정리(CLT)

확률, 통계쪽을 공부하다보면 대수의 법칙(Law of large numbers)이나 중심극한정리(Central Limit Theorem)가 참으로 많이 나온다. 학부시절 들었던 수업에서도 이 두개의 이론을 바탕으로 상위 내용이나 응용과정을 전개해 나갔던 적이 많았던 것 같다. 이번 포스트에서는 복습겸 두가지 이론을 간단히 정리하고 간단한 python 시뮬레이션으로 두 이론을 시각화 해본다.

포스트에 나오는 내용과 python 코드는 다음의 Quant Econ 페이지와 서울대학교 황윤재, 고려대학교 김창진 교수님의 계량경제학 수업노트를 주로 참조하였다.

1. 대수의 법칙(Law of large numbers)

$x_{1}$, $x_{2}$ … 와 같은 확률변수가 $\textit{iid}$ 이고, $x_{i}$의 평균이 유한하다고 가정할 때, 대수의 법칙을 한문장으로 표현하면 ‘표본의 평균(sample mean)은 모집단 평균(population mean)에 확률적으로 수렴한다.’와 같다.

이를 수식으로 표현하면 아래와 같다.

\[\bar{x} = \frac{1}{n}\sum^n_{i=1}(x_i) \overset{p}{\to} \textit{E}(x_i) = \mu\]

여기에서 확률적 수렴이라는 개념이 나오는데 이는 일반적인 수열의 수렴과 어떻게 다른 것일까?

non-random한 수열이 수렴한다는 것은 그 수열 자체가 어떤 상수에 수렴한다는 의미이다. 반면에 random한 확률변수의 수열의 확률적 수렴은 어떤 확률변수가 특정한 상수(c)에 수렴할 확률이 1에 가까워진다는 의미로서 수식으로는 아래와 같다.

\[임의의\; 양수\; \epsilon, 확률변수\; y_{n}에 대해, \lim_{n \to \infty}P(|y_{n} - c| > \epsilon) = 0\]

즉, 대수의 법칙은 확률변수인 표본의 평균이 미지의 모집단 평균이라는 상수($\mu$) 에 수렴할 확률이 표본의 크기인 n이 커짐에 따라 1에 수렴한다는 것이다.

이에 대한 증명은 Markov Inequality, Chebyshev Inequality을 이용하는데, 위에 언급한 Quant Econ에 잘 소개되어있다.

이제 이를 python을 통해 그래프로 묘사해본다.

# Module import
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['figure.figsize'] = (11, 5)
import random
import numpy as np
from scipy.stats import t, beta, lognorm, expon, gamma, uniform, cauchy
from scipy.stats import gaussian_kde, poisson, binom, norm, chi2
from mpl_toolkits.mplot3d import Axes3D
from matplotlib.collections import PolyCollection
from scipy.linalg import inv, sqrtm

# 

추후 보완 예정