Банк вопросов из реальных собеседований

Как объяснить Precision/Recall и что проверять, если модель должна обобщаться на новые регионы или географические признаки?

Что такое квантильная регрессия и когда полезно предсказывать не среднее, а, например, 90-й квантиль?

Как объяснить NDCG/recall и какие online guardrails нужны для ranking model?

Кандидат рассказывает про RL-проект в drug discovery. Как объяснить постановку: состояние, действие, среда, reward и метрики качества?

Что означает ROC AUC и почему его можно понимать как метрику ранжирования?

Как интерпретировать ROC-AUC, что происходит при округлении и совпадении оценок и почему F1 использует гармоническое среднее точности и полноты?

Какие методы снижения дисперсии применимы в продуктовых экспериментах и где место CUPED?

Какие риски создают помощники для написания кода и как встроить их в инженерный процесс команды?

В A/B-тесте динамической доставки прибыль и маржа могут иметь распределения с тяжёлыми хвостами. Когда уместны t-тест, бутстрэп и z-тест?

Как собрать датасет для модели, которая отличает один и тот же автомобиль от визуально похожего другого?

For URL summarization, how would you extract useful content from a web page and remove navigation, ads, boilerplate and irrelevant DOM blocks?

После первой модели нужно понять, какие признаки оставить и стала ли модель лучше. Какие offline-метрики и проверки использовать?

Как выглядит типичная задача от бизнеса или продукта? Что вы уточняете, если приходит верхнеуровневая идея вроде поднять метрику или автоматизировать решение?

Модель получила некоторое значение среднеквадратичной ошибки на будущем периоде. Как понять, достаточно ли это хороший результат?

Есть генератор кандидатов и ранкер. Какие offline и online метрики смотреть для каждого этапа?

Интервьюер спрашивает: какие метрики отслеживали и как понимали, что внедренное ML-решение действительно приносит пользу?

Две модели имеют похожие Precision@K и Recall@K, но одна приносит больше денег за счёт более дорогих релевантных товаров. Как адаптировать офлайн-метрику?

Какими offline и product metrics оценивать модель, которая отправляет подозрительные объявления на модерацию?

How would you measure quality for a model that restores punctuation and capitalization in ASR text?

Какие метрики смотреть для рекомендательной системы треков?

Какие офлайн- и онлайн-метрики нужны рекомендательной системе с визуальными и текстовыми признаками?

Какие метрики использовать для оценки ранжирования в рекомендациях или поиске?

Как понять, что пользователям нравится контент в новостной ленте? Какие данные мониторить и какие смещения могут искажать эти метрики?

For a fraud-detection model, how would you choose validation metrics and a decision threshold when false positives and false negatives have different business costs?