Как сравнить два LLM для автоматизации поддержки клиентов
Есть реальный вариант использования продуктов: автоматизация поддержки клиентов. Необходимо сравнить два варианта LLM/agent и выбрать, какой запустить. Как спроектировать оценку: данные, офлайн-метрики, человеческое/LLM судейство, системные метрики и онлайн-проверку?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.