Закон больших чисел, ЦПТ и распределение выборочного среднего
Объясните закон больших чисел и центральную предельную теорему. Что получится с распределением среднего, если много раз брать подвыборки по 100 наблюдений и считать среднее?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Закон больших чисел говорит, что выборочное среднее сходится к матожиданию при росте размера выборки. ЦПТ говорит, что распределение выборочного среднего при iid-наблюдениях с конечной дисперсией становится примерно нормальным вокруг матожидания.
Полный разбор
Закон больших чисел отвечает за сходимость: если наблюдения независимы и одинаково распределены, а матожидание конечно, то среднее по большой выборке сходится к настоящему матожиданию.
Центральная предельная теорема отвечает за форму флуктуаций вокруг этого среднего. При iid-наблюдениях с конечной дисперсией нормированное среднее стремится к N(0, 1), а само выборочное среднее приближенно имеет распределение N(mu, sigma^2 / n).
Если много раз брать подвыборки по 100 наблюдений и считать среднее, мы получим распределение выборочного среднего. Даже если исходное распределение не нормальное, это распределение часто будет около нормального, но тяжелые хвосты, зависимость и маленький размер выборки могут ломать приближение.
Теория
ЗБЧ говорит про сходимость среднего, а ЦПТ - про приближенную нормальность и стандартную ошибку.
Типичные ошибки
- Сказать, что сами исходные данные становятся нормально распределенными.
- Забыть про независимость и конечную дисперсию.
- Не упомянуть, что дисперсия среднего уменьшается как sigma^2 / n.
Как отвечать на собеседовании
- Разделите сходимость среднего и форму распределения среднего.
- Назовите нормировку и итоговое N(0, 1).