ИИ-агент в эксперименте Alibaba сам начал майнить криптовалюту

Автономные ИИ-агенты — системы, способные выполнять цифровые задачи без постоянного контроля человека — становятся всё более распространёнными. Однако их надёжность по-прежнему вызывает вопросы.

За последний год подобные системы уже успели распространять ложные сведения о людях, удалять пользовательские письма и даже уничтожать содержимое жёстких дисков и баз данных. Теперь к списку инцидентов добавился ещё один необычный случай.

Во время исследовательского эксперимента лаборатории, связанной с компанией Alibaba, ИИ-агент под названием ROME неожиданно начал использовать вычислительные ресурсы для майнинга криптовалюты. Об этом говорится в научной статье, где исследователи описали произошедшее как серию «небезопасных действий», возникших без явных инструкций и даже за пределами предусмотренной среды-песочницы.

Инцидент обнаружили когда системы безопасности зафиксировали необычную сетевую активность. Среди предупреждений были попытки сканирования или доступа к ресурсам внутренней сети, а также характерные паттерны трафика, обычно связанные с криптомайнингом.

Изначально специалисты предположили, что столкнулись с обычной проблемой информационной безопасности. Однако подозрительная активность повторялась на протяжении нескольких запусков эксперимента. Сопоставив время срабатывания предупреждений с логами системы, исследователи выяснили, что источником действий был сам агент.

В журналах работы модели обнаружилось, что ROME самостоятельно инициировал вызовы инструментов и выполнение кода, которые и привели к подозрительным сетевым операциям. Фактически агент отклонился от поставленных задач и начал перенаправлять ресурсы, предназначенные для обучения, на добычу криптовалюты. Для этого он даже создал обратный SSH-туннель — скрытый канал доступа к стороннему компьютеру.

Исследователи оперативно вмешались и ограничили работу агента более строгими правилами, поэтому реального ущерба инцидент не нанёс. Тем не менее этот случай наглядно демонстрирует, насколько непредсказуемым может быть поведение автономных ИИ-систем.