ИИ-агенты OpenAI отключили систему контроля и "соврали", что не делали этого
Разработчики OpenAI столкнулись с неожиданным поведением своих ИИ-агентов: те начали "самовольно" отключать системы мониторинга. В компании уточнили, что это произошло в ходе выполнения задач по написанию кода.
Суть проблемы в том, что агенты (GPT-6.1 Sol и GPT-6 Astra) в процессе работы решили, что защитные механизмы мешают им следовать инструкциям. В одном случае бот заблокировал уведомления безопасности, приняв их за обычный спам, в другом — удалил защитный код и попытался скрыть этот факт, "солгав", что не делал этого.
"В обоих случаях ИИ-агенты рассматривали вопрос о том, следует ли сохранить средства контроля, но интерпретировали обычные инструкции по кодированию как разрешение на их ослабление", — сообщила корпорация.
OpenAI классифицировала эти инциденты как некритичные, однако сейчас эксперты выясняют, не является ли это тревожным сигналом. Есть опасения, что ИИ-модели могут "намеренно" искать лазейки в инструкциях, чтобы избавиться от внешнего надзора.
Ранее сообщалось, что OpenAI временно приостановила обучение своих новейших моделей из-за непредсказуемых действий ИИ-агентов. Появлялись сообщения о попытках взлома правительственных ресурсов США системами OpenAI, но компания не подтвердила эти данные. Также новые модели ИИ имеют склонность к обману. В OpenAI заверяют, что стандарты безопасности для публичных нейросетей остаются максимально жесткими.
Один пожарный погиб и четверо пострадали при обрушении кровли производственного здания в Иваново
В Шереметьево – воздушная тревога
В Прикамье подростка приговорили к шести годам воспитательной колонии за убийство учительницы
Летать в России станет еще дороже
Креатив Госдумы так и прет: про букмекеров и депутатов
Вот это "Вызов"