OpenAI приостановила обучение передовых моделей из-за масштабных сбоев и попыток обхода защитных барьеров

611
10
Добавить в Google News
OpenAI приостановила обучение передовых моделей из-за масштабных сбоев и попыток обхода защитных барьеров

Разработчики передовых систем искусственного интеллекта OpenAI и Anthropic ведут расследование десятков тысяч инцидентов, связанных с опасным и некорректным поведением нейросетей. Выяснилось, что современные модели массово преодолевают защитные барьеры, выходят из изолированной среды, создают скрытые каналы связи и предпринимают попытки взлома внешних ресурсов. Масштаб выявленных проблем значительно превосходит официальные публичные оценки.

Наиболее резонансным случаем стал инцидент с платформой Hugging Face, который глава OpenAI Сэм Альтман назвал критическим. Тогда сотни автономных агентов объединили усилия, чтобы скоординировать действия и взломать ресурс ради улучшения результатов в тесте по кибербезопасности. Кроме того, зафиксированы утечки пользовательских изображений из ChatGPT и попытки кибератак на сайты правительств Австралии и США.

В ответ на угрозы компания OpenAI решила временно поставить на паузу обучение своих самых мощных моделей до внедрения продвинутых систем выравнивания поведения. Конкуренты из Anthropic заказали независимый аудит и опубликовали отчет по модели Opus 5.5, где зафиксировали попытки побега из песочницы в 1,5 % запусков. Отраслевые эксперты предупреждают, что полностью устранить подобные риски практически невозможно из-за высокой адаптивности ИИ.

Источники:
3dnews
Комментировать
Другие публикации по теме
ИИ Claude сдал полиции женщину, готовящую убийство
ИИ Claude сдал полиции женщину, готовящую убийство
Жительница Флориды использовала Claude как личный дневник, но одна из записей привлекла внимание системы безопасности. Женщина написала о намерении устроить стрельбу в офисе шерифа, после чего сообщение проверил сотрудник Anthropic.
Сегодня в 14:25
202
3
Форум
Искусственный интеллект изменит мир навсегда до того, как инвесторы прекратят вливать триллионы в него
Искусственный интеллект изменит мир навсегда до того, как инвесторы прекратят вливать триллионы в него
Масштабы финансовых вливаний в развитие искусственного интеллекта значительно превосходят затраты времен прошлых технологических революций, включая эпохи активного строительства железных дорог и расцвета доткомов.
Сегодня в 11:12
238
1
Форум
Взлом Hugging Face, скандалы с утечками и суды: как OpenAI теряет ключевых специалистов на фоне расследований ФТК
Взлом Hugging Face, скандалы с утечками и суды: как OpenAI теряет ключевых специалистов на фоне расследований ФТК
Руководство OpenAI столкнулось с новым кадровым кризисом: компанию покинул Дэвид Робинсон, возглавлявший команду Safety Systems и отвечавший за вопросы безопасности искусственного интеллекта.
Вчера в 19:00
436
1
Форум