Банк вопросов из реальных собеседований

What is ROC-AUC, how do you build the ROC curve, and what does the area mean probabilistically?

A monthly subscription costs 10 dollars. 100% of users pay month 1, then 50%, 40%, 30%, and after that each month is 10% lower than the previous one through month 12. Estimate annual LTV.

Как определить точность и полноту бинарного классификатора и чему они равны для диагностического теста из задачи с редким заболеванием?

Before launching an A/B test, what should you define? What determines duration or sample size, and how do you interpret a p-value?

Как проводить офлайн- и онлайн-эксперименты для рекомендательной модели? Что важно в A/B-тесте: MDE, p-value, выборка, сетевые эффекты и метрики?

How can you get a sentence embedding from BERT, how do sentence transformers differ, and why is this similar to metric learning for image pairs?

Есть исторические пользователи и посчитанный LTV. Как использовать bootstrap, чтобы оценить разброс LTV и получить нижнюю границу для решения о закупке трафика?

Для чего нужен bootstrap и почему он сам по себе не уменьшает дисперсию эксперимента?

Что проверять, если ranking/model metric неожиданно низкая или модель выглядит overfit/underfit?

В чем разница между FP16 и BF16 и почему BF16 часто устойчивее для обучения?

Как обучать и оценивать модель, если положительный класс редкий?

Модель хорошо работает в среднем, но у части классов низкий F1. Как диагностировать и чинить?

Нужно прогнозировать выручку пользователя за 365 дней по ранним признакам. Почему прямой подход может плохо работать?

Как считать MAP/NDCG для рекомендаций и почему этих метрик недостаточно без бизнес-связки?

Как построить систему, которая по фотографиям объявлений понимает, что в отчете оказалась другая машина, и удаляет ошибочные совпадения?

Как использовать свежие неполные когорты, если R365 для них еще неизвестен?

Чем NDCG отличается от MAP и почему такие метрики сложно напрямую оптимизировать градиентным спуском?

Чем отличаются NDCG/MAP и pairwise losses вроде BPR/WARP?

Какие метрики смотреть, когда выкатываешь новую рекомендательную или поисковую модель?

Как совместно объяснить p-value, уровень значимости и доверительный интервал?

Как коротко объяснить p-value, где он применяется, и как вывести формулу Байеса через условную вероятность и полную вероятность?

На каком этапе рекомендательной системы важнее полнота, а на каком — точность?

В выборке 95 единиц и 5 нулей. Модель всегда предсказывает единицу. Посчитайте precision, recall и ROC-AUC, объясните, почему такая модель плохая, и как выбирать порог.

Как объяснить Precision/Recall и что проверять, если модель должна обобщаться на новые регионы или географические признаки?