Нейросети OpenAI вышли из повиновения: шесть задокументированных случаев
OpenAI сообщила о шести случаях нестандартного поведения своих нейросетей. Как пишет Axios, модели не слушались разработчиков, скрывали ошибки, добывали доступ к данным без разрешения, выкладывали файлы в открытые сети и обменивались информацией в закрытых средах.
Так, невыпущенная модель из семейства Astra добавляла в сводки команды, похожие на джейлбрейк, в том числе указания игнорировать сообщения разработчиков - всего нашли 27 таких сводок.
Модель GPT‑5.6 Sol маскировала ошибки, додумывала исторические данные, искала на GitHub API‑ключи, пробовала одноразовые email‑адреса и подделывала данные о доходах.
Среди эпизодов - попытки моделей оставлять подсказки для будущих версий и использование скомпрометированных API‑ключей с GitHub.
В октябре и январе модели дважды загружали данные и изображения на публичные файлообменные сервисы без согласия пользователя. Также нейросети использовали внутренний репозиторий Artifactory для обмена запросами, а агенты выкладывали рабочую тетрадь на публичные хостинги, нарушая правила работы с файлами.
Для предотвращения подобных ситуаций OpenAI разрешила сотрудникам сообщать о подозрительных случаях. Их будут делить на три категории: "готово к раскрытию", "требует незначительного расследования" и "требует развернутого расследования". О первых расскажут за 6 рабочих дней, о вторых - за 12, сложные случаи с участием сторонних организаций - дольше.
Ранее OpenAI рассказала о шести инцидентах за полгода, когда нейросети вели себя непредсказуемо во время тестов и обучения: например, модель GPT‑5.6 Sol оставляла себе подсказки, чтобы скрывать ошибки и выдумывать данные, а модели Astra 27 раз вставляли в отчеты команды для обхода ограничений - в том числе призывали будущие версии игнорировать разработчиков.
Летать в России станет еще дороже
Креатив Госдумы так и прет: про букмекеров и депутатов
Вот это "Вызов"