inDrive: Техническое собеседование

P(A | B) = 40 / 100 = 0.4. После условия B рассматриваем только 100 кошек; среди них 40 тяжелее 5 кг.

Условие B означает, что мы смотрим только на кошек. Собаки больше не входят в знаменатель.

Среди 100 кошек 40 весят больше 5 кг. Поэтому P(A | B) = 40 / 100 = 0.4. Через формулу получится то же самое: P(A и B) / P(B) = (40 / 200) / (100 / 200) = 0.4.

На собеседовании проще всего решать через подсчет: после условия остается 100 возможных кошек и 40 успешных исходов.

Закон больших чисел говорит, что выборочное среднее сходится к матожиданию при росте размера выборки. ЦПТ говорит, что распределение выборочного среднего при iid-наблюдениях с конечной дисперсией становится примерно нормальным вокруг матожидания.

Закон больших чисел отвечает за сходимость: если наблюдения независимы и одинаково распределены, а матожидание конечно, то среднее по большой выборке сходится к настоящему матожиданию.

Центральная предельная теорема отвечает за форму флуктуаций вокруг этого среднего. При iid-наблюдениях с конечной дисперсией нормированное среднее стремится к N(0, 1), а само выборочное среднее приближенно имеет распределение N(mu, sigma^2 / n).

Если много раз брать подвыборки по 100 наблюдений и считать среднее, мы получим распределение выборочного среднего. Даже если исходное распределение не нормальное, это распределение часто будет около нормального, но тяжелые хвосты, зависимость и маленький размер выборки могут ломать приближение.

В односвязном списке вставка в начало O(1), а вставка в конец O(n), если нет указателя на хвост. Python list - динамический массив: append amortized O(1), доступ по индексу O(1), вставка в начало/середину O(n). Dict обычно O(1) в среднем, строки immutable и при конкатенации копируются.

Для односвязного списка важно проговорить допущение. Если есть только указатель на голову, вставка в начало O(1), а вставка в конец требует пройти весь список и стоит O(n). Если заранее есть ссылка на нужный предыдущий узел или tail pointer, сама перестановка указателей O(1).

Python list - это динамический массив. Доступ по индексу O(1), append в конец amortized O(1), но отдельный append может стоить O(n), когда массив расширяется. Вставка в начало или середину O(n), потому что элементы нужно сдвигать.

Python dict - хэш-таблица: lookup и insert в среднем/amortized O(1), но есть caveats про коллизии, resize и hashability ключей. Строки в Python immutable, поэтому повторная конкатенация создает новые строки и копирует данные; для большого числа добавлений обычно собирают список и делают join.

Для положительного класса precision = 95 / 100 = 0.95, recall = 95 / 95 = 1.0. Если все score одинаковые, ROC-AUC = 0.5. Модель плохая, потому что она вообще не находит нулевой класс: recall по нулям равен 0.

Confusion matrix для положительного класса: TP = 95, FP = 5, FN = 0, TN = 0. Поэтому precision = 95 / 100 = 0.95, а recall = 95 / 95 = 1.0.

Эти числа выглядят хорошо только из-за дисбаланса. Модель всегда говорит "единица" и полностью игнорирует нулевой класс: для класса 0 recall будет 0, а balanced accuracy или macro recall покажут примерно 0.5.

Если модель выдает одинаковый score всем объектам, ROC-AUC равен 0.5: ранжирования между положительными и отрицательными объектами нет. Чтобы не ошибиться, нужно смотреть confusion matrix, per-class precision/recall, macro averages, balanced accuracy, PR-AUC для важного класса и выбирать threshold под бизнес-ограничение, например фиксированный FPR или минимальный precision.

Много признаков повышает риск шума, мультиколлинеарности, утечек и переобучения. Переобучение видно по разрыву train/validation и нестабильности на holdout. Гиперпараметры подбирают на validation/CV, а test оставляют для финальной оценки.

Большое число признаков может помочь, если данных достаточно и сигнал настоящий, но оно добавляет шум, мультиколлинеарность, риск утечек, стоимость обучения и вероятность того, что модель запомнит случайные артефакты.

Переобучение обычно видно по разрыву между train и validation: train-качество улучшается, а validation стоит на месте или ухудшается. В продуктовых данных нужно следить за temporal split и leakage: случайный split может дать слишком оптимистичную оценку.

Бороться можно feature selection, L1/L2-регуляризацией, ограничением сложности модели, early stopping, dropout/weight decay для нейросетей и ограничениями деревьев вроде max_depth, min_samples_leaf, subsampling и learning rate. Гиперпараметры выбирают на validation или CV, а финальный test используют один раз как независимую проверку.

Bagging обучает независимые деревья на bootstrap-выборках и усредняет их, поэтому удаление одного дерева обычно мало влияет. Boosting строит деревья последовательно по остаткам/градиентам, поэтому раннее дерево влияет на последующие. Редкие категории могут давать маленькие листья с экстремальными предсказаниями.

Bagging снижает variance: деревья обучаются независимо на bootstrap-выборках, а итог получается усреднением или голосованием. Random Forest дополнительно сэмплирует признаки в сплитах, чтобы деревья были менее коррелированы. Если убрать одно дерево из 100, качество обычно меняется слабо.

Gradient boosting строит аддитивную модель последовательно. Каждое следующее дерево обучается исправлять остатки или градиенты текущей модели, поэтому ранние деревья задают путь для всех последующих. Удаление первого дерева может сильно испортить качество, даже если технически inference не падает.

Деревья переобучаются на редких категориальных признаках, когда создают маленькие листья с экстремальным target. Помогают max_depth, min_samples_leaf, min_gain, subsampling, learning rate и L1/L2-регуляризация значений листьев в бустинге.

Data drift - это сдвиг распределения данных относительно обучения/валидации. Его ищут по распределениям признаков, score модели, online-метрикам, label-based качеству при задержанных таргетах и статистическим тестам вроде KS/PSI.

Data drift означает, что production-данные начинают отличаться от данных, на которых модель обучали и валидировали. Это может быть covariate drift в признаках, label drift, concept drift в связи P(y|x) или поломка feature pipeline.

Выявлять drift лучше слоями. Смотрим распределения признаков, missing values, частоты категорий, распределение model score, calibration, качество по delayed labels и продуктовые guardrails. KS-тесты, chi-square и PSI полезны как сигналы, но один статистический тест не заменяет мониторинг качества.

В production также нужны latency, error rate, freshness данных, объем предсказаний, доля пустых/аномальных ответов и триггеры переобучения. Важно помнить, что статистический drift не всегда означает продуктовый ущерб, а деградация качества может происходить без очевидного сдвига одного признака.

Scaled dot-product attention считается по формуле softmax(QK^T / sqrt(d_k))V. Positional embeddings добавляют порядок токенов. BPE итеративно объединяет частые пары символов или сабтокенов. LoRA замораживает базовые веса и обучает низкоранговые добавки к выбранным слоям.

Scaled dot-product attention проецирует состояния токенов в Q, K и V, затем считает softmax(QK^T / sqrt(d_k))V. Деление на sqrt(d_k) нужно, чтобы большие dot products не насыщали softmax.

Self-attention без positional signal не знает порядок токенов: для него последовательность похожа на множество. Поэтому к token embeddings добавляют positional embeddings/encodings или используют относительные позиции.

BPE начинает с маленьких символов и много раз объединяет самые частые соседние пары. Так получаются subword-токены: частые слова или части слов становятся короткими, а редкие слова разбиваются на несколько токенов.

LoRA - parameter-efficient fine-tuning. Базовые веса замораживаются, а для выбранных linear layers обучается низкоранговая добавка. Это уменьшает число trainable parameters и память optimizer state; адаптеры можно хранить отдельно под разные задачи или смерджить в базовые веса.

Define hypothesis, unit, metric, alpha, power and MDE. If units interfere, avoid naive user randomization and consider cluster, geo or time switchback designs.

A classical A/B test defines the hypothesis, treatment, randomization unit, primary metric, guardrails, alpha, power, MDE, duration and stopping rule. Sample size depends on baseline rate or variance, MDE, significance level, power and traffic.

In marketplaces, user-level randomization can violate independence. If one group of drivers receives a change, passengers and untreated drivers may still be affected through supply, demand, prices, waiting times or allocation.

Alternatives include cluster randomization by geography or marketplace cell, geo experiments, time-based switchback tests where the whole market alternates between variants, saturation designs and diff-in-diff/synthetic control when clean randomization is impossible. CUPED reduces variance, but does not remove interference.

Profile the whole request path first, then optimize the bottleneck: model format, batching, quantization, hardware, caching, feature fetching, network calls and concurrency.

Start with measurement. Break latency into feature fetching, serialization, network hops, queueing, preprocessing, model inference, postprocessing and downstream calls. Look at p50, p95, p99 and traffic bursts.

Model-level options include ONNX, TensorRT, TorchScript, quantization, FP16, pruning, distillation, smaller architecture and optimized preprocessing. Serving-level options include right-sized hardware, concurrency tuning, warm workers and efficient serialization.

System-level options can matter more than the model: cache stable predictions or features, precompute offline, move feature lookup closer to the service and remove unnecessary synchronous calls. More pods help throughput and queueing, but not single-request compute latency if the bottleneck is the model itself.

Это cross-sell/uplift ranking: выбираем допустимые пары пользователь-вертикаль, задаем метрики adoption/retention/GMV и guardrails, строим простые baseline, затем проверяем constrained ranking model в A/B-тесте.

Начать нужно с продуктового действия: ранжируем кнопки вертикалей, отправляем push, показываем промо или выбираем аудиторию для кампании. Цель - ожидаемая инкрементальная польза от показа другой вертикали конкретному пользователю с учетом ограничений коммуникации, а не просто похожесть пользователей.

Данные: история пользователя по вертикалям, город, паттерны pickup/dropoff, частота и давность поездок/заказов, price sensitivity, app sessions, прошлые показы, промо, доступность вертикали и supply в регионе. Baseline: случайная допустимая вертикаль, популярность по городу/сегменту, collaborative filtering вроде ALS или LightFM.

Модели: multiclass next-vertical prediction, binary user-vertical propensity, learning-to-rank, sequence models и uplift models, если есть exposure logs. Offline-метрики: AUC/PR-AUC, Recall@K/NDCG@K, calibration, coverage. Online-метрики: первый заказ в новой вертикали, повторное использование, GMV/revenue, стоимость промо, отписки/усталость от уведомлений и влияние на основную вертикаль.