P-value и confidence interval
Как совместно объяснить p-value, уровень значимости и доверительный интервал?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
P-value измеряет экстремальность данных при H0, alpha задает правило отвержения, confidence interval показывает диапазон эффектов, совместимых с данными.
Полный разбор
P-value считается при предположении, что нулевая гипотеза верна. Если p-value ниже заранее выбранного alpha, H0 отвергается по правилу теста. Это не вероятность истинности H0 и не размер эффекта.
Confidence interval дает диапазон plausible values для эффекта при выбранном уровне доверия. Если 95% CI для difference не содержит 0, это согласуется с two-sided тестом на alpha 0.05. Интервал обычно полезнее одного p-value, потому что показывает неопределенность и практический размер эффекта.