Dubai Tech Interview 2: ML, алгоритмы и probability

Состояние - текущая молекула или ее графовое представление, действие - изменение геометрии/структуры, среда считает энергию, reward связан со снижением энергии и устойчивостью состояния.

Хороший ответ начинается с простой формулировки задачи: агент должен последовательностью действий привести молекулу к более устойчивому состоянию. Состояние можно представлять графом молекулы, координатами атомов и историей предыдущих шагов. Действие зависит от среды: сдвиг координат, изменение конформации или другой допустимый шаг в непрерывном пространстве.

Среда или физический симулятор возвращает энергию и другие величины, по которым строится reward. Если энергия уменьшается и состояние становится устойчивее, reward положительный; если агент делает физически плохие или бесполезные шаги, reward штрафуется.

В интервью важно отделить ML-часть от domain simulation: RL не обязан иметь заранее размеченный датасет, если есть среда, в которой можно считать целевую функцию. Метрики - доля достигнутого оптимума, число шагов до сходимости, стабильность результата и сравнение с baseline.

Нужно нормализовать ракурсы, получить embeddings по сопоставимым фото, сравнить пары объявлений и обучить головы/классификатор на признаки визуальных отличий.

Практичная схема начинается с подготовки данных: найти пары объявлений, где известно, одна это машина или разные, нормализовать ракурсы и убрать шумные изображения. Затем модель определяет тип кадра: фронт, бок, салон и другие ракурсы. Сравнивать нужно фото одинакового типа, иначе embedding distance будет отражать ракурс, а не отличие автомобиля.

Дальше строятся embeddings и признаки различия: cosine distance, color mismatch, wheel/interior/options mismatch, агрегаты по нескольким фото. Поверх них можно обучить классификатор или несколько голов, которые отдельно отвечают за цвет, колеса, салон и другие визуальные отличия.

В production такой пайплайн часто запускается batch-скриптом: единоразово чистит исторические ошибки, затем периодически пересматривает новые кандидаты. Важны precision и ручная валидация, потому что ложное удаление полезной истории портит продукт.

Сначала строим мультимодальное пространство товаров, затем по категории выбираем допустимые complementary candidates, ищем nearest neighbors и реранжируем бизнес-правилами.

Для такой задачи одного "похожего товара" мало: нужен complementary matching. Поэтому сначала фиксируются допустимые переходы между категориями, например верх -> низ или обувь -> аксессуары. Затем обучается или донастраивается модель embeddings, которая учитывает изображение, текстовые атрибуты, материалы, размеры и style labels.

Retrieval этап быстро достает кандидатов в нужной категории через vector search. Затем reranker учитывает дополнительные признаки: совместимость стиля, наличие товара, цену, бизнес-ограничения, разнообразие и персонализацию.

Разметка может приходить от стилистов, внешних fashion datasets и VLM-разметки. На интервью полезно проговорить offline metrics вроде Recall@K/nDCG по размеченным парам и online metrics вроде CTR/conversion/add-to-cart.

Нужно зафиксировать API, формат модели, preprocessing/postprocessing, окружение, Docker/requirements, rollout, мониторинг качества и периодическое обновление данных или модели.

Production ownership начинается с контракта: какие поля приходят на вход, какой JSON или protobuf выходит, какие ошибки возможны и какие SLA нужны. Модель сохраняется в воспроизводимом формате, например ONNX или pickle/joblib с явной версией зависимостей, а preprocessing должен быть тем же, что на обучении.

Дальше сервис упаковывается в Docker, получает health checks, logging, метрики latency/error rate и model-specific monitoring. Если модель работает с базой или batch-обновлениями, нужно описать расписание, idempotency и контроль качества обновленных данных.

На интервью полезно показать, что ML-инженер отвечает не только за fit/predict, но и за контракт, воспроизводимость, rollback и наблюдаемость.

Нули появляются от множителей 10 = 2 * 5. Двоек в 100! больше, поэтому считаем пятерки: floor(100/5) + floor(100/25) = 20 + 4 = 24.

В конце десятичной записи появляется ноль каждый раз, когда в факториале есть пара множителей 2 и 5. В факториале двоек всегда больше, потому что каждое второе число дает множитель 2, а пятерки встречаются реже. Поэтому задача сводится к подсчету всех множителей 5.

Для 100! числа, кратные 5, дают 20 пятерок: 5, 10, ..., 100. Но числа, кратные 25, дают дополнительную пятерку: 25, 50, 75, 100. Значит, ответ:

Обобщение для n!: складываем floor(n / 5), floor(n / 25), floor(n / 125) и так далее, пока степень 5 не превысит n.

Bagging обучает независимые модели на bootstrap-подвыборках и снижает variance; boosting строит последовательный ансамбль, исправляющий ошибки, и сильнее зависит от регуляризации.

Bagging, например random forest, обучает много базовых моделей независимо на bootstrap-подвыборках и агрегирует ответы. Это особенно полезно для unstable high-variance моделей вроде глубоких деревьев: усреднение снижает variance.

Boosting обучает модели последовательно: каждая следующая модель фокусируется на ошибках текущего ансамбля или градиенте loss. Он часто дает лучшее качество на табличных задачах, но может переобучаться при слишком большой глубине деревьев, большом числе итераций, высокой learning rate и слабой регуляризации.

Корректный ответ не должен сводиться к "boosting всегда/никогда переобучается". Нужно говорить через bias-variance, сложность базовых моделей, learning rate, early stopping и качество валидации.

P-value - вероятность получить статистику не менее экстремальную при верной H0; Байес следует из P(A|B)=P(A∩B)/P(B) и разложения P(B) по гипотезам.

P-value лучше формулировать аккуратно: это вероятность при нулевой гипотезе увидеть наблюдаемое или более экстремальное значение статистики. Это не вероятность того, что H0 верна. В продуктовой практике p-value часто появляется в A/B-тестах.

Формула Байеса выводится из определения условной вероятности: P(A|B)=P(A and B)/P(B), а P(A and B)=P(B|A)P(A). Если гипотез несколько, знаменатель раскладывается по полной вероятности: сумма P(B|Ai)P(Ai).

На интервью важно не только написать формулу, но и объяснить, что является гипотезой, что наблюдением и какие prior/likelihood участвуют.

По Байесу: P(fake | 10 heads) = 2^10 / (2^10 + 999) = 1024 / 2023, то есть примерно 50.6%.

Обозначим F — выбрали фальшивую монету, H — увидели 10 орлов подряд.

Prior для фальшивой монеты: P(F) = 1 / 1000. Если монета фальшивая, 10 орлов выпадут с вероятностью 1. Если монета честная, 10 орлов подряд выпадут с вероятностью (1/2)^10.

По формуле Байеса:

Подставляем:

Интуитивно 10 орлов подряд сильно повышают вероятность фальшивой монеты, но не делают ее близкой к 100%, потому что честных монет очень много.

Близость должна соответствовать смысловой похожести, пространство должно быть устойчивым, достаточно компактным, хорошо калиброванным под метрику и пригодным для retrieval.

Хорошие embeddings сохраняют важные свойства исходного объекта: близкие объекты оказываются рядом, разные - далеко, а выбранная метрика действительно отражает целевую похожесть. Для image/recsys задач это может быть стиль, категория, визуальные детали или пользовательская совместимость.

Размерность должна быть достаточной для информации, но не чрезмерной: слишком большие embeddings дороже хранить, искать и обновлять. Еще важны нормализация, стабильность при небольших изменениях входа, отсутствие сильных collapsed clusters и качество nearest-neighbor retrieval.

Если пространство нужно для production retrieval, стоит говорить не только про качество модели, но и про ANN index, latency, memory, drift и периодический reindex.

RAG сначала находит релевантные документы, затем добавляет их в контекст LLM, а модель генерирует ответ, опираясь на найденные источники.

RAG можно объяснить как retrieval plus generation. На первом этапе система по запросу ищет кандидатов в базе документов: через embeddings, keyword search или hybrid retrieval. На втором этапе найденные документы добавляются в prompt, и LLM отвечает уже не только из параметрической памяти, а с опорой на контекст.

Аналогия с рекомендациями полезна: retrieval достает top-K кандидатов, reranking или LLM выбирает и интерпретирует лучшие. В production добавляются chunking, metadata filters, reranker, citations, freshness и fallback при пустой выдаче.

Big-O описывает верхнюю асимптотическую границу: f(n)=O(g(n)), если после некоторого n0 существует константа C, такая что f(n)<=C*g(n).

Сначала можно сказать интуитивно: сложность показывает, как растут время или память алгоритма при росте размера входа. Обычно оставляют доминирующий член и игнорируют константы, потому что нас интересует масштабирование.

Формально f(n)=O(g(n)), если существуют C>0 и n0, такие что для всех n>=n0 выполняется f(n)<=C*g(n). Поэтому 3n+10 это O(n), а n log n обычно не O(n), потому что отношение растет.

На интервью хорошо разобрать пример: один цикл - O(n), два вложенных цикла - O(n^2), сортировка - O(n log n), два независимых входа - O(n+m).

Quantile regression предсказывает условный квантиль распределения таргета и использует asymmetric pinball loss, чтобы по-разному штрафовать ошибки выше и ниже.

Обычная регрессия с MSE оценивает условное среднее. Но в задачах риска, сроков доставки, спроса или capacity planning часто важнее не среднее, а гарантийный уровень: например, 90-й квантиль, чтобы покрыть большинство сценариев.

Для этого обучают модель на pinball loss. Для квантили q ошибка недопрогноза и перепрогноза штрафуются асимметрично: модель получает оптимум в q-квантиле условного распределения, а не в среднем.

На интервью можно привести бизнес-пример: если недооценить спрос опаснее, чем переоценить, выбирают высокую квантиль; если перепроизводство дороже, можно выбирать другую квантиль.

LP оптимизирует линейную цель при линейных ограничениях; simplex ходит по вершинам допустимого многогранника; greedy делает локально лучший выбор и требует доказательства корректности.

Линейное программирование формулируется как оптимизация линейной функции при линейных ограничениях. Геометрически допустимая область - многогранник, а оптимум, если он существует, достигается в одной из его вершин. Simplex-метод использует эту структуру и переходит между вершинами, улучшая целевую функцию.

Жадный алгоритм проще по идее: на каждом шаге выбирает локально лучший вариант. Но он корректен не всегда; нужно доказывать greedy choice property или exchange argument. Примеры, где greedy работает: Dijkstra с неотрицательными весами, activity selection, Huffman coding. Пример, где наивный greedy ломается: 0/1 knapsack.

Для ML-интервью достаточно показать понимание постановки, ограничений и того, что optimization algorithms требуют условий применимости.

Бросаем монетку парами. HT и TH имеют одинаковую вероятность p(1-p), поэтому HT можно вернуть как 0, TH как 1, а HH и TT отбрасывать и повторять.

Один бросок нечестной монетки не подходит: вероятность орла p неизвестна и не равна 1/2. Но две разные пары симметричны:

Эти вероятности равны при любом p. Поэтому алгоритм фон Неймана:

1. Бросить монетку два раза.
2. Если выпало HT, вернуть 0.
3. Если выпало TH, вернуть 1.
4. Если выпало HH или TT, отбросить пару и повторить.

Так результат 0 и 1 получается с одинаковой вероятностью. Условие 0 < p < 1 нужно, чтобы разные пары имели ненулевую вероятность и процедура могла завершиться.