ML Mentor
К реальным собесам
Реальный собесДата не указана

БЕЛЫЕ САДЫ 29: ROC-AUC и метрики модерации

Audio-only ML-screen с задачей про ROC-AUC после равномерного дублирования положительных и отрицательных объектов, а также discussion по порогам модерации.

Таймлайн собеседования

Компактный список вопросов и задач по ходу записи: раскрывайте только нужные детали.

0:03Код

ROC-AUC после дублирования positive/negative объектов

3:14Вопрос

Два порога модерации: auto-reject и ручная проверка

5:48Вопрос

Почему normal equation редко используют на практике

Выводы и как готовиться

  • ROC-AUC как pairwise ranking metric не меняется при равномерном дублировании всех positive и negative объектов.
  • Для moderation threshold нужно разделять auto-reject и ручную проверку: цена false positive и false negative разная.
  • Кодовая версия задачи фиксирует pairwise AUC с tie = 0.5 и показывает, почему множители классов сокращаются.