Что такое p-value
Как объяснить p-value без ошибки “вероятность, что нулевая гипотеза верна”?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
P-value - вероятность при верной H0 получить статистику не менее экстремальную, чем наблюдаемая. Это не вероятность истинности H0.
Полный разбор
P-value считается в мире, где нулевая гипотеза H0 верна. Он показывает вероятность получить наблюдаемое или более экстремальное значение тестовой статистики. Малый p-value означает, что такие данные плохо согласуются с H0 при выбранной модели теста.
Он не равен вероятности, что H0 верна, и не показывает размер эффекта. Для решения нужны заранее выбранный уровень значимости, мощность/MDE, доверительный интервал и практическая значимость эффекта.