Когда нужен fine-tuning, а когда хватает prompt engineering
Как решить, дообучать LLM или ограничиться prompt engineering/RAG, и что меняется при LoRA adapters?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Prompt/RAG выбирают для знаний, формата и быстрых итераций. Fine-tuning нужен, когда нужно устойчиво изменить стиль, доменную процедуру или поведение на большом наборе примеров, и это подтверждено eval set.
Полный разбор
Сначала нужно проверить более дешевые варианты: prompt, few-shot, RAG, reranking, structured output и post-processing. Они проще откатываются, не требуют обучающего пайплайна и часто решают проблему, если модель уже умеет делать нужную операцию.
Fine-tuning имеет смысл, когда нужен устойчивый доменный стиль, формат, классификация, tool-use pattern или специфическая процедура, которую сложно удерживать prompt-ом. Нужны качественные пары input-output, train/validation split, метрики и проверка, что модель не деградировала на общих сценариях.
LoRA/PEFT снижает стоимость адаптации: базовые веса заморожены, обучаются небольшие adapter matrices. Это удобно для нескольких доменов и ограниченного железа, но все равно требует контроля данных, eval и serving compatibility.
Теория
Fine-tuning не является заменой RAG. RAG лучше для меняющихся знаний и ссылок на источники, fine-tuning — для устойчивого поведения модели на повторяемом распределении задач.
Типичные ошибки
- Дообучать модель из-за нехватки внешних знаний вместо RAG.
- Не иметь validation set и regression checks.
- Забыть про стоимость serving и совместимость adapters.
Как отвечать на собеседовании
- Начни с decision tree: prompt/RAG first, fine-tune only with evidence.
- Обязательно скажи, как измеришь улучшение и регрессии.