Nvidia представи нова платформа за сигурност на автономни AI агенти, изградена около сравнително проста идея: контролът върху изкуствения интелект да не зависи само от това дали самият той ще спазва зададените му правила.

Open Agent Safety Platform съчетава софтуера с отворен код OpenShell със Sentry - отделна система за наблюдение, която може да изолира AI агент, ако той излезе извън предварително разрешените му граници.

На практика Nvidia поставя своеобразна хардуерна "каишка" на автономните агенти. Те могат сами да планират и изпълняват задачи, но външна система контролира докъде им е позволено да стигнат. Това е особено важно при агенти, които имат достъп до браузъри, файлове, бази данни и други програми и могат самостоятелно да извършват поредица от действия.

OpenShell поставя агента в изолирана среда и определя до какви файлове, програми и интернет адреси може да достига. Втората защитна линия - Sentry - работи отделно от средата на AI върху BlueField-4 на Nvidia. Ако агентът например опита да установи забранена връзка, системата е проектирана да го постави под карантина в рамките на милисекунди.

Това е и съществената разлика спрямо правилата, зададени единствено като инструкции към AI модела. При тях разчитаме самият модел да не наруши забраната. При подхода на Nvidia част от ограниченията се налагат отвън и агентът не би трябвало да може просто да ги заобиколи с по-изобретателен план или манипулирана инструкция.

Според Nvidia в инициативата участват над 100 компании и организации, сред които Anthropic, Microsoft и JPMorganChase. Системата не премахва всички рискове - защитата продължава да зависи и от правилно зададените разрешения. Разликата е, че част от сигурността вече се поверява на техническа бариера извън самия AI модел.