Проблема контролируемости и верификации в автономных LLM-агентах

Abstract

Происходит фундаментальный сдвиг от использования больших языковых моделей как пассивных инструментов генерации контента к их применению в качестве ядра рассуждений для автономных AI-агентов, способных к планированию и выполнению многошаговых задач. Однако их стохастическая природа вступает в противоречие с требованиями к безопасности и надежности систем управления. Целью работы является систематизация рисков, присущих LLM-агентам, при помощи использования архитектурных паттернов контроля, известных как «Guardrails». Методика исследования включает анализ и классификацию сбоев на этапах планирования и выполнения действий, а также систематизацию многоуровневых подходов к их предотвращению. В качестве результата предложена трехуровневая модель «Guardrails», обеспечивающая контроль над рассуждениями, действиями и последствиями, что закладывает основу для создания безопасных и предсказуемых AI-агентов.

А fundamental shift is underway from using large language models (LLMs) as passive content generation tools to employing them as a reasoning core for autonomous AI agents capable of planning and executing multi-step tasks. However, their stochastic nature directly conflicts with the safety and reliability requirements of control systems. The aim of this work is to systematize the risks inherent in LLM agents by architectural control patterns known as "Guardrails". The research methodology includes the analysis and classification of failures at the planning and action execution stages, as well as the systematization of multi-level approaches to their prevention. The result is a proposed three-level "Guardrails" model that provides control over reasoning, actions, and consequences, laying the foundation for creating safe and predictable AI agents.