RLHF/DPO для product alignment VLM
Когда для мультимодальной модели нужен RLHF или DPO, и как собрать preference data для такого обучения?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.