Проектирование агентных систем

• Что отличает агента от вызова модели?
• Уровни автономности и цена ошибки на каждом из них
• Атрибуты качества агентных систем: точность, стоимость запроса, задержка, воспроизводимость, объяснимость, управляемость
• Когда достаточно детерминированного кода с одним вызовом модели, а когда действительно нужен агент?

• Управление контекстом: что подать модели, в каком объеме и в каком порядке?
• Поиск по корпоративным знаниям: типовые причины плохих ответов и способы их устранения
• Подготовка источников: сегментация, актуальность, метаданные, права доступа на уровне документа
• Память и состояние: краткосрочное и долгосрочное состояние, сжатие истории и его последствия

• Агент как потребитель корпоративных API
• Стандартизованные протоколы доступа агентов к инструментам и данным
• Идемпотентность и обратимость действий (почему агенту нельзя давать необратимые операции без подтверждения?)
• Разграничение полномочий агента

• Один агент с широким контекстом против набора специализированных агентов
• Детерминированная оркестрация против свободного планирования
• Паттерны агентного проектирования: маршрутизация, последовательная обработка, разделение и объединение, критик-проверяющий, цикл с ограничением числа шагов
• Человек в контуре (human-in-the-loop): точки контроля, эскалация, интерфейс подтверждения действий

• Почему обычное тестирование здесь не работает и что приходит на смену?
• Эталонные наборы примеров: как собрать, как поддерживать, как не переобучиться на них?
• Автоматические проверки: правила, сравнение с образцом, оценка моделью и ее ограничения
• Оффлайн-оценка перед выпуском и онлайн-оценка на реальном трафике
• Как формулировать критерии готовности задачи при вероятностном результате?

• Режимы отказа: уверенная ошибка, зацикливание, деградация при смене версии модели, отказ поставщика
• Радиус поражения и ограничители: лимиты шагов, лимиты расходов, проверка действий перед выполнением
• Внедрение инструкций через данные и другие способы увести агента с курса, изоляция недоверенного ввода
• Утечка данных через контекст и через журналы аудита
• Наблюдаемость: сквозная трассировка шагов агента, воспроизведение сессии, разбор конкретного инцидента
• Модель, инструкции, инструменты и источники знаний как версионируемые артефакты

• Юнит-экономика и разница между стоимостью выполненной задачи и стоимостью запроса
• Подбор модели под задачу, кэширование, маршрутизация, сокращение контекста
• Прогноз расходов при росте нагрузки и контроль превышений

Сборка архитектуры агентного решения и ее защита