Банк вопросов из реальных собеседований

Проведено 100 независимых тестов с уровнем значимости 5%, и два дали p-значение ниже 0,05. Что можно заключить?

Minimizing squared error corresponds to maximum likelihood under what noise distribution, and why?

Describe how you would train and validate a transformer-style reranking model for marketplace recommendations.

How does mixed precision training work in PyTorch, what is the difference between FP16 and BF16, and what else is commonly needed beyond autocast?

Какие онлайн-метрики выбрать для A/B-теста карточки со сгенерированным описанием и какие защитные ограничения задать?

Есть N₀ отрицательных и N₁ положительных объектов, а классификатор выдаёт всем одну вероятность p. Какое p минимизирует бинарную логарифмическую функцию потерь?

В A/B-тесте сравнивают конверсию контрольной и экспериментальной групп. От чего зависит минимальный размер выборки, необходимый для обнаружения статистически значимого эффекта?

Как построить отчетность вокруг LLM-агента, чтобы понимать качество, пользу, ошибки и стоимость?

Какими автоматическими метриками и ручной разметкой проверить качество сгенерированных ответов об объектах перед A/B-тестом?

Как построить воспроизводимую систему офлайн-оценки новой модели рекомендаций и связать её результаты с последующим A/B-тестом?

How would you evaluate candidate generation and reranking offline for an item-to-item fashion recommender before an A/B test?

What does the Central Limit Theorem say and why is it important in statistics and A/B testing?

In PyTorch DDP training, which common layer can behave badly across processes and how do teams usually handle it?

A new perception detector improves some offline metrics but degrades others. How do you decide whether to ship it to production?

Какими свойствами должны обладать embeddings для поиска, рекомендаций или сопоставления объектов?

Как учитывать сезонность в поиске и как запускать новую модель в online-эксперимент?

Explain why statistical significance is needed in A/B tests, what a p-value means, and what affects whether an experiment is significant.

Как выбирать негативные примеры при обучении рекомендательной модели и зачем использовать объекты из того же батча?

A disease has prevalence 1%. A test is 99% accurate for both sick and healthy people. If the test is positive, what is the probability that the person is actually sick?

Заболевание встречается у 1% людей, а диагностический тест ошибается в 5% случаев. Если результат положительный, как посчитать вероятность того, что человек действительно болен, и где чаще всего ошибаются?

A binary image classifier is trained with BCE loss. On validation, accuracy rises but BCE loss also rises. Can this happen and what are plausible causes?

Есть 1000 монет, одна из них с орлом на обеих сторонах, остальные честные. Выбрали монету случайно и получили 10 орлов подряд. Какова вероятность, что выбрана фальшивая монета?

Как связаны центральная предельная теорема, дизайн A/B-теста и MDE?

Как корректно объяснить p-значение, не называя его вероятностью истинности нулевой гипотезы?