Разработчики передового ИИ временно приостановили масштабирование моделей из-за киберугроз

1766
3
Добавить в Google News
Разработчики передового ИИ временно приостановили масштабирование моделей из-за киберугроз

Ведущие разработчики искусственного интеллекта объявили об усилении мер безопасности, мониторинга и выравнивания после того, как предварительная оценка новой модели Astra показала ее соответствие критическому порогу кибервозможностей. В сочетании с недавним инцидентом между OpenAI и Hugging Face это потребовало пересмотра исследовательских процессов.

Компания временно замедлила темпы масштабирования и поставила на паузу часть масштабных тренировочных процессов с подкреплением (RL), чтобы изолировать среды выполнения, внедрить изолированные «песочницы» и исключить уязвимые общие сетевые службы. Кроме того, внедрена многоуровневая система мониторинга цепочек рассуждений, которая автоматически проверяет активность моделей каждые 30 минут на предмет попыток обхода защитных барьеров.

Как вы считаете, смогут ли подобные меры безопасности и жесткий контроль успевать за стремительным развитием возможностей автономных ИИ-систем?

Источники:
openai
Комментировать
Другие публикации по теме
ИИ Claude сдал полиции женщину, готовящую убийство
ИИ Claude сдал полиции женщину, готовящую убийство
Жительница Флориды использовала Claude как личный дневник, но одна из записей привлекла внимание системы безопасности. Женщина написала о намерении устроить стрельбу в офисе шерифа, после чего сообщение проверил сотрудник Anthropic.
Сегодня в 14:25
375
5
Форум
Искусственный интеллект изменит мир навсегда до того, как инвесторы прекратят вливать триллионы в него
Искусственный интеллект изменит мир навсегда до того, как инвесторы прекратят вливать триллионы в него
Масштабы финансовых вливаний в развитие искусственного интеллекта значительно превосходят затраты времен прошлых технологических революций, включая эпохи активного строительства железных дорог и расцвета доткомов.
Сегодня в 11:12
281
1
Форум
Взлом Hugging Face, скандалы с утечками и суды: как OpenAI теряет ключевых специалистов на фоне расследований ФТК
Взлом Hugging Face, скандалы с утечками и суды: как OpenAI теряет ключевых специалистов на фоне расследований ФТК
Руководство OpenAI столкнулось с новым кадровым кризисом: компанию покинул Дэвид Робинсон, возглавлявший команду Safety Systems и отвечавший за вопросы безопасности искусственного интеллекта.
Вчера в 19:00
449
1
Форум