Maximum likelihood для biased coin
Дана серия бросков монеты с H heads и T tails. Как через maximum likelihood оценить probability of heads p и как проверить, что найден maximum?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Likelihood равен p^H(1-p)^T; log-likelihood равен H log p + T log(1-p). Из нулевой производной получаем p_hat = H/(H+T), а concavity подтверждает maximum.
Полный разбор
Для Bernoulli trials likelihood равен L(p)=p^H(1-p)^T. Удобнее максимизировать log-likelihood: l(p)=H log p + T log(1-p). Производная: H/p - T/(1-p). Приравниваем к нулю:
H/p = T/(1-p) => H(1-p)=Tp => H = p(H+T) => p_hat = H/(H+T).
Чтобы убедиться, что это maximum, можно посмотреть вторую производную: -H/p^2 - T/(1-p)^2, она отрицательна для p in (0,1). Значит log-likelihood concave, а stationary point является global maximum. Также интуитивно likelihood на границах плохой, если есть и heads, и tails.
Теория
MLE выбирает параметр, при котором observed data наиболее вероятны. Для Bernoulli это совпадает с empirical frequency positive outcomes.
Типичные ошибки
- Максимизировать raw likelihood и запутаться в степенях вместо log-likelihood.
- Найти stationary point, но не проверить maximum.
- Забыть boundary cases H=0 или T=0.
Как отвечать на собеседовании
- Сразу переходи к log-likelihood: это стандартный и устойчивый ход.
- После derivative обязательно скажи про concavity или вторую производную.