Prompting, fine-tuning или data-centric improvement
Команда хочет улучшить качество VLM в продукте. Когда достаточно prompt engineering, когда нужен fine-tuning, а когда лучше улучшать данные?
Короткий ответ
Prompting подходит для формата и простых ошибок; fine-tuning - для устойчивого доменного поведения; data-centric работа нужна, если ошибки вызваны coverage/noise в данных.
Полный разбор
Нужно начать с error taxonomy. Если модель знает ответ, но не соблюдает формат, помогает prompt/schema/decoding. Если продукт требует доменной терминологии, устойчивого стиля, tool use или локальных паттернов, нужен SFT/adapters. Если ошибки в редких категориях, разметке, negative examples или evaluation leakage, лучший ROI часто дает улучшение датасета.
Fine-tuning имеет стоимость: infra, regressions, eval, release cadence. Prompting дешевле, но может быть хрупким.
Теория
Способ улучшения выбирают по типу ошибки, а не по модности метода.
Типичные ошибки
- Fine-tune без error analysis.
- Лечить data coverage prompt-ом.
- Не иметь regression suite.
Как отвечать на собеседовании
- Сначала попроси examples ошибок и предложи taxonomy.