Вероятность, статистика и эксперименты

Используйте теорему Байеса:

P(sick | positive) = P(positive | sick) P(sick) / P(positive).

Здесь P(sick) = 0,01, P(positive | sick) = 0,99 и P(positive | healthy) = 0,01. Знаменатель:

0,99 * 0,01 + 0,01 * 0,99 = 0,0099 + 0,0099 = 0,0198.

Числитель составляет 0,99 * 0,01 = 0,0099, поэтому задний - 0,0099 / 0,0198 = 0,5.

Интуитивная версия подсчета часто безопаснее в интервью. Из 10 000 человек 100 больны и 9 900 здоровы. Тест ловит около 99 больных людей и ложно показывает около 99 здоровых людей. Таким образом, положительный результат с одинаковой вероятностью будет истинным положительным или ложным положительным.

Точность спрашивает, какая доля прогнозируемых положительных результатов является правильной. Модель предсказала 120 спам-сообщений, и 90 из них действительно являются спамом.

точность = TP / (TP + FP) = 90 / 120 = 0,75.

Вспомните, какая доля всех реальных положительных результатов была найдена. Есть 100 истинных спам-сообщений, и 90 были предсказаны как спам.

напоминание = TP/ (TP + FN) = 90/100 = 0,9.

Остальные значения матрицы спутанности — FP = 30, FN = 10, TN = 870.

Каждая последовательность из 10 бросков имеет вероятность (1/2)10. Чтобы получить ровно 6 голов, выберите, какие 6 из 10 позиций являются головами:

C(10, 6) = 10! / (6! 4!) = 210.

Поэтому вероятность C(10, 6) (1/2)^6 (1/2)^4 = C(10, 6)/210 = 210/1024.

Вероятность наблюдения k голов и n-k хвостов пропорциональна:

L(p) = pk (1-p)^(n-k).

Лог-вероятность такова:

l(p) = k log p + (n-k) log(1-p).

Дифференцируйте и установите ноль:

k/p - (n-k) / (1-p) = 0.

Перепланируйте:

k(1-p) = (n-k)p, поэтому k = np, а p hat = k/n.

Второе производное отрицательно для p в (0, 1):

-k / p^2 - (n-k) / (1-p)^2 < 0.

Таким образом, стационарная точка является максимальной. Граничные случаи интуитивно понятны: если k=0, p hat=0; если k=n, p hat=1.

Хорошая настройка A/B начинается до сбора данных. Определите гипотезу продукта, первичную метрику, метрики ограждения, экспериментальную единицу, схему рандомизации, целевую популяцию, правила исключения, уровень альфа / значимости, желаемую мощность, минимальный обнаруживаемый эффект и правило остановки.

Размер или продолжительность выборки зависит от базовой скорости или метрической дисперсии, минимального эффекта, о котором вы заботитесь, альфа, желаемой мощности и доступного трафика. Меньшие эффекты, более шумные показатели и более низкий трафик требуют более длительных экспериментов.

Для метрики преобразования двухпропорциональный z-тест или эквивалентный доверительный интервал являются общими, когда размеры выборки достаточно велики. Для непрерывных метрик t-тест может быть целесообразным, если метрика на уровне единицы и предположения о независимости являются разумными; тяжелые хвосты или агрегация на уровне пользователя могут потребовать загрузочного штампа, выигрыша или другой метрической конструкции.

Значение p не является вероятностью истинности нулевой гипотезы. Это вероятность увидеть данные как экстремальные или более экстремальные, чем то, что вы наблюдали.

Обозначим D — человек болен, а + — тест положительный. Если P(D)=0,01, чувствительность P(+|D)=0,95, а доля ложноположительных результатов P(+|не D)=0,05, то:

P(D|+) = P(+|D)P(D) / (P(+|D)P(D) + P(+|¬D)P(¬D)).

После подстановки получаем 0,95 * 0,01 / (0,95 * 0,01 + 0,05 * 0,99), то есть около 16,1%. Результат кажется низким из-за малой базовой частоты заболевания: здоровых людей намного больше, поэтому даже небольшая доля ошибок создаёт много ложноположительных результатов.

Типичная ошибка — принять чувствительность 95% за искомую вероятность P(D|+) или забыть учесть распространённость заболевания. На собеседовании важно уточнить, что именно означает «5% ошибок»: долю ложноположительных результатов, долю ложноотрицательных результатов или общую долю ошибок.

Полнота отвечает на вопрос: какую долю действительно положительных объектов нашла модель. Формула: TP / (TP + FN). Если чувствительность диагностического теста равна 95%, то полнота для класса заболевших тоже равна 95%.

Точность отвечает на вопрос: какая доля положительных предсказаний действительно положительна. Формула: TP / (TP + FP). Для редкого заболевания это не 95%, а P(болен | тест положительный), которую считают по теореме Байеса. При распространённости 1%, чувствительности 95% и доле ложноположительных результатов 5% точность составляет около 16,1%.

Этот пример показывает, почему общая доля правильных ответов и чувствительность без базовой частоты плохо описывают качество теста. Для редкого положительного класса высокая полнота может сочетаться с низкой точностью из-за множества ложноположительных результатов.

Минимальный размер выборки для A/B-теста конверсии зависит от нескольких величин. Во-первых, от базовой конверсии: дисперсия бернуллиевской случайной величины равна p(1-p), поэтому для разных p потребуются разные размеры выборки. Во-вторых, от минимального обнаружимого эффекта: чем меньше изменение мы хотим заметить, тем больше наблюдений потребуется.

Также важны уровень значимости alpha и статистическая мощность 1-beta. Более строгий уровень значимости снижает вероятность ложноположительного вывода и увеличивает размер выборки. Более высокая мощность снижает вероятность пропустить существующий эффект и тоже требует больше данных. Если группы распределены не поровну, общий размер выборки обычно растёт.

На собеседовании достаточно назвать эти составляющие и объяснить направление их влияния. В приближении z-теста для двух долей размер выборки пропорционален дисперсии и (z_alpha + z_beta)^2 и обратно пропорционален квадрату минимального обнаружимого эффекта.

Для независимых испытаний Бернулли правдоподобие равно L(p)=p^H(1-p)^T. Удобнее максимизировать его логарифм: l(p)=H log p + T log(1-p). Производная равна H/p - T/(1-p). Приравняем её к нулю:

H/p = T/(1-p) => H(1-p)=Tp => H = p(H+T) => p_hat = H/(H+T).

Вторая производная равна -H/p^2 - T/(1-p)^2 и отрицательна при 0 < p < 1. Следовательно, логарифм правдоподобия вогнут, а найденная стационарная точка является глобальным максимумом. Если наблюдались только орлы или только решки, максимум достигается на границе: p=1 или p=0.

Линейная регрессия задаёт прогноз y_hat = Xw + b; свободный член обычно включают в X как столбец единиц. Метод наименьших квадратов выбирает параметры, минимизирующие ||y - Xw||^2. Приравнивая производную к нулю, получаем нормальные уравнения X^T X w = X^T y. Если X^T X обратима, то w = (X^T X)^-1 X^T y.

Аналитическое решение через обратную матрицу недоступно или неустойчиво, когда признаки линейно зависимы, матрица X^T X вырождена или плохо обусловлена. На практике используют псевдообратную матрицу, QR- или SVD-разложение, гребневую регуляризацию либо итерационные методы оптимизации.

Метод максимального правдоподобия приводит к той же целевой функции, если остатки независимы, одинаково распределены и имеют нормальное распределение с нулевым средним и постоянной дисперсией: y_i = x_i^T w + eps_i, eps_i ~ N(0, sigma^2). Максимизация произведения нормальных плотностей эквивалентна минимизации суммы квадратов остатков. При гетероскедастичных, зависимых или ненормальных ошибках метод наименьших квадратов всё ещё применим, но вероятностная модель и оценки неопределённости изменятся.