Как встроить LLM-агента в продуктовый pipeline
Нужно добавить LLM-агента в существующий продуктовый pipeline. Как спроектировать границы агента, tools, контекст, проверки и мониторинг?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
LLM должна быть reasoning/tool-selection слоем, а не единственным backend: нужны явные tools, контекст, state, validation, retries, fallback и observability.
Полный разбор
Систему лучше разделить на trigger, context builder, LLM planner, tool executor, validator и response/action layer. Для каждого tool нужен контракт входа/выхода, timeout, retry policy, permission check и логирование.
Контекст должен собираться из разрешенных источников через retrieval и metadata filters, а не безлимитно передаваться в prompt. Для рискованных действий нужны schema validation, deterministic checks, confidence threshold, human approval или fallback. В production отдельно мониторятся task success, tool error rate, hallucination/fallback rate, latency, cost и traces по шагам агента.