Hera Motion AI Technical Follow-up: agent evaluation loop

Нужен не один benchmark, а controlled improvement loop: фиксируем product goal, строим versioned eval set и rubric, генерируем гипотезы, прогоняем offline eval, вручную проверяем спорные случаи, затем выпускаем canary/A-B только для изменений, которые улучшают качество без регрессий по latency, safety и cost.

Начать нужно с границы применимости benchmark. Он должен измерять конкретное product quality: например, correctness, faithfulness, visual/design quality, tool-use success, user satisfaction proxy, latency и cost. Если benchmark состоит только из LLM-as-judge score без калибровки на human labels, его нельзя использовать как единственный оптимизационный сигнал.

Практичный loop выглядит так. Каждая версия prompts, policies, retriever, tool planner, model choice или post-processing получает version id. Для нее запускается offline suite: golden tasks, regression cases из production failures, adversarial cases, latency/cost checks и safety checks. Результаты сравниваются с baseline, но решение принимается не только по average score: нужно смотреть per-slice regressions, confidence judge-а, disagreement between judges и ручную выборку спорных примеров.

Дальше evaluation должен порождать гипотезы: где агент ошибается, какой компонент виноват, что можно поменять. LLM можно использовать для генерации candidate fixes или experiment ideas, но не для автодеплоя. Для каждого fix-а запускается тот же eval suite. Если улучшение устойчивое, оно идет в canary или A/B test с online метриками: user success, escalation rate, rework rate, thumbs up/down, p95 latency, cost per task. Если offline улучшение не подтверждается online, кейсы добавляются обратно в regression set.

Ключевые guardrails: holdout eval set, запрет подглядывания в gold answers при prompt search, human calibration для LLM-as-judge, versioned datasets, rollback plan, quality gates по safety/latency/cost и monitoring после выката. Тогда closed loop ускоряет итерации, но не превращает продукт в систему, которая переобучается на собственный шумный тест.

Лучше начать с hybrid architecture: deterministic pipeline для обязательных стадий и agentic loop только там, где нужна creative iteration. Pipeline дает consistency и latency control, агент добавляет поиск решений. Evaluation должна быть многоуровневой: output quality, instruction following, style/brand extraction, tool/code validity, regression по use cases и human designer review на сложных/новых slice-ах.

Fully agentic подход выглядит гибким, но для продукта с визуальным результатом он рискован: latency непредсказуема, качество трудно стабилизировать, а регрессии по отдельным use cases легко пропустить. Чистый pipeline стабильнее, но может быть слишком жестким для creative tasks. Поэтому сильная архитектура обычно hybrid.

Сначала фиксируем product flow: user brief -> intent/use-case classification -> brand/style extraction -> plan/storyboard -> code/tool generation -> render -> quality check -> repair/iteration -> final editable output. Обязательные стадии лучше держать deterministic и versioned: schema for brief, style tokens, allowed tools, rendering contract, validation of generated code. Agentic loop включается для планирования, creative variants, repair after failed render и улучшения по eval feedback.

Trade-off quality/consistency/latency управляется policy layer. Для low-stakes preview можно дать быстрый single-pass path. Для paid/export quality можно позволить несколько candidate generations, reranking, self-critique, repair loop и human/designer review на sampling basis. Нужно ограничить max iterations, tool calls, render attempts и token budget, иначе агент будет улучшать качество ценой плохого UX.

Evaluation должна покрывать не только финальный video score. Нужны component metrics: корректность brief parsing, style/brand extraction, code validity, render success rate, instruction following, visual quality, editability, latency, cost and failure recovery. Для visual/design quality полезны human designer rubrics и calibrated LLM/VLM judges, но judge нужно проверять на human-labeled examples. Для нескольких use cases строятся отдельные benchmarks и общий regression suite, чтобы улучшение product-launch videos не ломало, например, explainer videos или social ads.

Production loop: логировать prompts, plans, code, rendered outputs, judge scores, human review, user edits and exports. Ошибки из production пополняют regression set. Новые architecture changes проходят offline suite, затем canary/A-B по user success, edit rate, regeneration rate, export rate, latency and cost.