Data Curation, Deduplication and Filtering

Data curation: модель учится на распределении, которое ты собрал

Foundation model обучается не “на интернете”, а на конкретной версии датасета: какие источники попали, какие документы извлеклись нормально, что удалили фильтры, какие дубликаты остались, как смешали домены, какие safety/PII правила применили и чем потом проверили результат. Data curation - это не уборка мусора после crawl, а управление обучающим распределением.

Главная ошибка - думать, что больше filtering всегда лучше. Сильный фильтр может убрать boilerplate и токсичный мусор, но вместе с ним вырезать редкие языки, нестандартные диалекты, code/math, длинные технические документы или данные из нужного домена. Поэтому фильтр считается хорошим не потому, что он “выглядит разумно”, а потому что его ablation улучшил модель или снизил риск без неприемлемой потери diversity.

Pipeline: от сырого web crawl до training mixture

Deduplication: зачем удалять повторы

Дубликаты вредят по нескольким причинам. Они тратят compute на повторение уже виденного сигнала. Они повышают memorization: модель чаще дословно воспроизводит частые фрагменты. Они портят честность evaluation, если train accidentally содержит test или очень похожий пример. Но dedup бывает разным: exact hash ловит полные копии, MinHash похожие документы, substring dedup повторяющиеся куски, semantic dedup похожие смыслы. Чем сильнее метод, тем выше риск удалить полезные варианты.

FineWeb, Dolma, DCLM: как читать data case studies

FineWeb хорош как учебный кейс, потому что показывает pipeline decisions, filtering, dedup and eval-driven iteration на открытом корпусе. Dolma/OLMo полезны как пример воспроизводимой исследовательской инфраструктуры: corpus, model, training details, evaluation. DCLM/DataComp-LM показывает важную культуру: dataset design проверяется controlled training runs and benchmarks, а не только ручным просмотром документов.

Из этих кейсов надо вынести стиль мышления: curation change должен иметь hypothesis, versioned pipeline, sampled audit of removed/kept documents and downstream eval. Если после фильтра датасет стал меньше и “чище глазами”, это еще не значит, что модель стала лучше.

Quality, safety и decontamination - разные задачи

Quality filter отвечает на вопрос: есть ли в документе полезный обучающий сигнал? Safety filter отвечает: можно ли это использовать с точки зрения вредного контента, PII, policy and risk? Decontamination отвечает: не попал ли в train benchmark/test material? Эти задачи нельзя склеивать в одну “score”. У них разные false positives, разные владельцы и разные последствия.

Что спрашивают на собеседовании

• “Почему dedup делает модели лучше?” Объясни compute efficiency, memorization, train/test leakage and diversity trade-off.
• “Как проверить, что фильтр помог?” Нужны ablations: одна pipeline change, fixed training recipe, downstream eval, removed-sample audit.
• “Что может пойти не так при aggressive filtering?” Bias, потеря редких доменов, code/math removal, overfitting to polished style, reduced robustness.
• “Чем quality filtering отличается от safety filtering?” Quality про обучающий сигнал; safety про риск использования; decontamination про benchmark leakage.
• “Какие metadata сохранять?” source, crawl date, license/terms if available, language score, filters applied, dedup cluster, token count, safety/PII flags, pipeline version.