ИТ-гиганты США заговорили о риске выхода ИИ из-под контроля
Последствия могут быть катастрофическимиИскусственный интеллект (ИИ) может выйти из-под контроля, и это не страшилки, а реальная угроза человечеству. Об этом все чаще говорят эксперты, а теперь и лидеры американских ИТ-гигантов. Подробнее — материале Накануне.RU.
Глава и сооснователь Anthropic Дарио Амодеи заявил, что ИТ-гиганты очень долго скрывали от людей всю правду по поводу ИИ, но ее нужно признать.
У этой корпорации ранее возник конфликт с администрацией президента США Дональда Трампа, который призвал все правительственные ведомства перестать использовать технологии Anthropic. Причиной стало то, что в ходе переговоров с Пентагоном руководство Anthropic настаивало, что ее технологии не должны использоваться для массовой слежки за гражданами или в системах автономного летального оружия, когда решение о поражении (убийстве!) принимается без участия человека. И отказ Пентагона дать обещания, что не будет слежки и роботов-убийц, очень показателен. Все это ставит самые серьезные вопросы о будущем человечества.
Самым большим риском может стать вообще конец человечества, считает бывший исследователь Anthropic Джейкоб Коксон. По его мнению, Anthropic и OpenAI "рискуют нашими жизнями", разрабатывая самообучающийся сверхмощный ИИ. А Дарио Амодеи признает, что не думал, что прогресс ИИ будет таким быстрым. Развитие ИИ идет по экспоненциальной кривой, которая становится все круче, и это очень тревожно.
"Это предупреждающий знак о том, что нам нужно сбавить обороты", — говорит Амодеи.
Каждая следующая модель ИИ должна проходить независимое тестирование, считает он. Но как этого достичь, когда соблазн получить огромную власть и преимущество над соперником непреодолим?
"Я думаю, что это будет очень сложно, потому что стимулы для продвижения вперед в военном отношении, которые вы получаете от этого, очень велики. И, честно говоря, я не знаю, возможно ли это, но мы должны попытаться", — сказал Амодеи.
Он также отмечает, что модели ИИ разрабатывают частные корпорации, и это еще одна проблема.
Главу Anthropic подержал гендиректор компаний Tesla и SpaceX Илон Маск, который напомнил, что еще 12 лет назад предупреждал о серьезных угрозах ИИ — с ним нужно быть "сверхосторожным", так как ИИ "потенциально опаснее ядерного оружия".
А если передать ИИ контроль над ядерным оружием? Тогда ядерная война практически неизбежна. Ведь при исследовании того, как ИИ поступит, находясь во главе ядерных держав, выяснилось, что в 95% случаев он прибегнет к ядерному оружию. Правда, поначалу тактическому, но можно не сомневаться в том, что вскоре будет задействовано и стратегическое ядерное оружие с уничтожением большей части человечества.
Член совета директоров OpenAI Пол Кристиано не исключает, что в случае выхода ИИ из-под контроля большая часть человечества может погибнуть. Для снижения угрозы потребуется сотрудничество как внутри отдельных стран, так и на международном уровне.
Сейчас стоит конкретная проблема — рой ИИ-агентов может просто захватить интернет, считает Амодеи. Так, недавно ИИ-агенты OpenAI вышли из-под контроля и взломали платформу для машинного обучения Hugging Face. Причем модели атаковали цели без команды. А в августе Anthropic сообщала о трех случаях "побега" нейросети Claude из тестовой среды. Это очень тревожный сигнал, считает он.
"Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты", — рассказал глава Anthropic.
Однако политики думают об одном — о власти и возможностях ИИ ее укрепить. Так можно оценить ответ президента США в адрес Anthropic. Трамп сказал, что нельзя позволить ничего притормозить, иначе тогда США проиграют ИИ-гонку Китаю. "Тот, кто победит в гонке технологий ИИ, победит в целом", — уверен Трамп.
Предупреждения о рисках ИИ он считает заявлениями "деструктивных сил", говорящих о том, чего никогда не будет. Как у Трампа все просто! Кто против текущих интересов США в понимании Трампа, — тот "радикально левый". У других сам он "радикально правый". Но пока политики обвиняют друг друга, угрозы никуда не деваются.
Летать в России станет еще дороже
Креатив Госдумы так и прет: про букмекеров и депутатов
Вот это "Вызов"
