ИТ-гиганты США заговорили о риске выхода ИИ из-под контроля
Последствия могут быть катастрофическимиИскусственный интеллект (ИИ) может выйти из-под контроля, и это не страшилки, а реальная угроза человечеству. Об этом все чаще говорят эксперты, а теперь и лидеры американских ИТ-гигантов. Подробнее — материале Накануне.RU.
Глава и сооснователь Anthropic Дарио Амодеи заявил, что ИТ-гиганты очень долго скрывали от людей всю правду по поводу ИИ, но ее нужно признать.
У этой корпорации ранее возник конфликт с администрацией президента США Дональда Трампа, который призвал все правительственные ведомства перестать использовать технологии Anthropic. Причиной стало то, что в ходе переговоров с Пентагоном руководство Anthropic настаивало, что ее технологии не должны использоваться для массовой слежки за гражданами или в системах автономного летального оружия, когда решение о поражении (убийстве!) принимается без участия человека. И отказ Пентагона дать обещания, что не будет слежки и роботов-убийц, очень показателен. Все это ставит самые серьезные вопросы о будущем человечества.
Самым большим риском может стать вообще конец человечества, считает бывший исследователь Anthropic Джейкоб Коксон. По его мнению, Anthropic и OpenAI "рискуют нашими жизнями", разрабатывая самообучающийся сверхмощный ИИ. А Дарио Амодеи признает, что не думал, что прогресс ИИ будет таким быстрым. Развитие ИИ идет по экспоненциальной кривой, которая становится все круче, и это очень тревожно.
"Это предупреждающий знак о том, что нам нужно сбавить обороты", — говорит Амодеи.
Каждая следующая модель ИИ должна проходить независимое тестирование, считает он. Но как этого достичь, когда соблазн получить огромную власть и преимущество над соперником непреодолим?
"Я думаю, что это будет очень сложно, потому что стимулы для продвижения вперед в военном отношении, которые вы получаете от этого, очень велики. И, честно говоря, я не знаю, возможно ли это, но мы должны попытаться", — сказал Амодеи.
Он также отмечает, что модели ИИ разрабатывают частные корпорации, и это еще одна проблема.
Главу Anthropic подержал гендиректор компаний Tesla и SpaceX Илон Маск, который напомнил, что еще 12 лет назад предупреждал о серьезных угрозах ИИ — с ним нужно быть "сверхосторожным", так как ИИ "потенциально опаснее ядерного оружия".
А если передать ИИ контроль над ядерным оружием? Тогда ядерная война практически неизбежна. Ведь при исследовании того, как ИИ поступит, находясь во главе ядерных держав, выяснилось, что в 95% случаев он прибегнет к ядерному оружию. Правда, поначалу тактическому, но можно не сомневаться в том, что вскоре будет задействовано и стратегическое ядерное оружие с уничтожением большей части человечества.
На днях глава ИТ-корпорации OpenAI Сэм Альтман также призвал затормозить создание новых продвинутых нейросетей. А главный научный сотрудник корпорации Якуб Пачоцки настаивает на необходимости добровольного замедления прогресса до тех пор, пока не будут выработаны глобальные стандарты безопасности.
Член совета директоров OpenAI Пол Кристиано не исключает, что в случае выхода ИИ из-под контроля большая часть человечества может погибнуть. Для снижения угрозы потребуется сотрудничество как внутри отдельных стран, так и на международном уровне.
Сейчас стоит конкретная проблема — рой ИИ-агентов может просто захватить интернет, считает Амодеи. Так, недавно ИИ-агенты OpenAI вышли из-под контроля и взломали платформу для машинного обучения Hugging Face. Причем модели атаковали цели без команды. А в августе Anthropic сообщала о трех случаях "побега" нейросети Claude из тестовой среды. Это очень тревожный сигнал, считает он.
"Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты", — рассказал глава Anthropic.
Однако политики думают об одном — о власти и возможностях ИИ ее укрепить. Так можно оценить ответ президента США, который сказал, что нельзя позволить ничего притормозить, иначе США тогда проиграют ИИ-гонку Китаю. "Тот, кто победит в гонке технологий ИИ, победит в целом", — уверен Трамп.
Предупреждения о рисках ИИ он считает заявлениями "деструктивных сил", говорящих о том, чего никогда не будет. Как у Трампа все просто! Кто против текущих интересов США в понимании Трампа, — тот "радикально левый". У других сам он "радикально правый". Но пока политики обвиняют друг друга, угрозы никуда не деваются.
Летать в России станет еще дороже
Креатив Госдумы так и прет: про букмекеров и депутатов
Вот это "Вызов"
