NVIDIA начала предлагать решения для удержания ИИ под контролем

NVIDIA представила Open Agent Safety — платформу для контроля ИИ-агентов, которая сочетает программную изоляцию и аппаратный мониторинг. В компании рассчитывают сделать автономные системы безопаснее, одновременно развивая собственную инфраструктуру.

Основой платформы стал OpenShell — открытый runtime, изолирующий ИИ-агентов на уровне ядра системы. Он ограничивает доступ к файлам, инструментам и внешним сервисам, не раскрывает агентам реальные учетные данные и записывает решения о предоставленных разрешениях. Второй компонент, Sentry, работает на ускорителях BlueField-4 DPU и наблюдает за действиями агента извне хост-системы. При попытке нарушить установленные ограничения устройство способно изолировать его за миллисекунды.

Особенность Sentry заключается в необходимости доступа к цепочке рассуждений модели. Это потенциально проще реализовать с открытыми моделями, тогда как Anthropic и OpenAI ограничивают доступ к подобным данным. Одновременно NVIDIA продвигает использование open-weight моделей, которые компании могут запускать на собственных вычислительных мощностях и контролировать вместе с данными.

Новая система также связывает безопасность ИИ с аппаратными решениями NVIDIA: для работы Sentry необходимы BlueField-4. Глава компании Дженсен Хуанг при этом назвал дистилляцию моделей конкуренцией, а не кражей, отметив, что соперничество способствует развитию технологий. В результате NVIDIA одновременно предлагает новый подход к защите ИИ-агентов и расширяет сферу применения собственной инфраструктуры.