RLHF/DPO для product alignment VLM
Когда для мультимодальной модели нужен RLHF или DPO, и как собрать preference data для такого обучения?
Сначала проговорите ответ вслух или тезисами.
Формулы, план решения, риски и примеры.
Откройте разбор только после своей попытки.
Короткий ответ
Preference optimization нужен, когда есть несколько допустимых ответов и важен product preference: краткость, полезность, refusal/safety, формат и grounding.
Подробный разбор
Preference data собирается как пары ответов на один image/query: какой лучше и почему. Источники: human annotators, expert review, production feedback, synthetic candidates с hard negatives. Рубрика должна быть явной: factuality важнее красивого стиля; unsupported claim хуже неполного ответа; формат обязателен.
DPO проще в запуске, RLHF сложнее и требует reward model/online safety. Риски: reward hacking, preference bias, деградация rare cases, переоптимизация под judge.
Типичные ошибки
- Собирать preferences без рубрики.
- Оптимизировать helpfulness ценой hallucination.
- Не держать holdout для регрессий.
Как сказать на собеседовании
- Покажи hierarchy критериев: safety/factuality выше стиля.