Nvidia создала систему для поимки разбушевавшихся ИИ-агентов
Американская корпорация Nvidia представила двухуровневую систему безопасности для контроля автономных ИИ-агентов, сообщает Bloomberg.
В компании заявляют, что новая технология Open Agent Safety Platform могла бы предотвратить недавний инцидент с взломом платформы Hugging Face с использованием моделей OpenAI.
В основу решения входят два программных инструмента с открытым исходным кодом. На первом уровне создается изолированная среда для агентов и в онлайн-режиме ограничивает их доступ к файлам, процессам, учетным данным и внешним сетям.
Правила задаются на уровне инфраструктуры и не могут быть изменены самим агентом.
Второй уровень предназначен для дополнительного мониторинга действий агентов с помощью ИИ и их изоляции при обнаружении подозрительного поведения. В компании утверждают, что такой агент можно изолировать за миллисекунды.
По словам вице-президента Nvidia Джастина Бойтано, использование подобной системы на ранних этапах тестирования передовых моделей могло бы остановить атаку на Hugging Face.
При этом он не сообщил, собираются ли OpenAI или Anthropic использовать новую технологию для контроля своих тренировочных запусков.
Презентация решения последовала на фоне нескольких инцидентов с автономными ИИ-системами, которые выходили за предусмотренные для них ограничения.
Nvidia предлагает решать проблему с помощью технических средств контроля, не ограничивая при этом возможности развития агентных систем.