«Стоп-кран» для ИИ: Сатья Наделла призвал к созданию независимых предохранителей для передовых моделей

Генеральный директор Microsoft Сатья Наделла (Satya Nadella) выступил с важным заявлением о необходимости внедрения жестких систем контроля и «аварийного тормоза» для передовых моделей искусственного интеллекта. В своей публикации в социальной сети X глава корпорации призвал относиться к закрытым и открытым автономным ИИ-моделям по аналогии с «внутренними угрозами» (insider risks) для безопасности.

Наделла подчеркнул, что ключевые решения не должны приниматься на основе слепого доверия к производителям моделей. Вместо этого недетерминированные нейросети необходимо окружаться жесткими детерминированными предохранителями, обеспечивающими независимый аудит и возможность для уполномоченных операторов мгновенно приостановить или полностью отключить ИИ непосредственно в процессе выполнения задачи.

В качестве фундамента безопасности Наделла сформулировал принцип «наблюдаемости» (observability), включающий разнообразие используемых моделей, протоколирование всех действий в читаемом человеком формате, непрерывное тестирование краевых сценариев и обязательное раскрытие инцидентов. Заявление главы Microsoft прозвучало на фоне развернувшейся дискуссии между предостережениями ведущих исследователей о рисках суперинтеллекта и инициативами правительства США по ускорению развития технологии для соперничества с Китаем.