Бывший ключевой исследователь OpenAI считает, что существует приличная вероятность того, что искусственный интеллект возьмет под контроль человечество и уничтожит его.
«Я думаю, что существует что-то вроде 10-20% вероятности захвата власти искусственным интеллектом, [при этом] многие [или] большинство людей погибнут», — сказал Пол Кристиано, который руководил группой по выравниванию языковых моделей в OpenAI, в подкасте Bankless. «Я отношусь к этому вполне серьезно».
Кристиано, который сейчас возглавляет Alignment Research Center, некоммерческую организацию, целью которой является согласование ИИ и систем машинного обучения с «человеческими интересами», сказал, что его особенно беспокоит то, что произойдет, когда ИИ достигнет логических и творческих способностей человека. «В целом, возможно, мы говорим о вероятности катастрофы 50/50 вскоре после того, как у нас появятся системы на уровне человека», — сказал он.
Кристиано находится в хорошей компании. Недавно десятки ученых по всему миру подписали онлайн-письмо, призывающее OpenAI и другие компании, стремящиеся создать более быстрый и умный ИИ, нажать на кнопку паузы в разработке. Большие шишки, от Билла Гейтса до Элона Маска, выразили обеспокоенность тем, что, если не принять меры, ИИ представляет собой очевидную экзистенциальную опасность для людей.
Не будь злым
Почему ИИ может стать злом? По сути, по той же причине, что и человек: обучение и жизненный опыт.
Как и ребенок, ИИ обучается, получая горы данных и не зная, что с ними делать. Он учится, пытаясь достичь определенных целей случайными действиями, и нацеливается на «правильные» результаты, определенные в процессе обучения.
На сегодняшний день, погружаясь в данные, накопленные в Интернете, машинное обучение позволило ИИ совершить огромный скачок в составлении хорошо структурированных, последовательных ответов на запросы человека. В то же время компьютерная обработка, лежащая в основе машинного обучения, становится все быстрее, лучше и специализированнее. Некоторые ученые считают, что в течение десятилетия эта вычислительная мощность в сочетании с искусственным интеллектом позволит этим машинам стать разумными, как люди, и обрести чувство собственного достоинства.
Вот тогда-то и начнутся проблемы. Именно поэтому многие исследователи утверждают, что нам нужно придумать, как установить ограждения сейчас, а не потом. Пока поведение ИИ отслеживается, его можно контролировать.
Но если монета упадет на другую сторону, даже соучредитель OpenAI говорит, что все может стать очень, очень плохо.
Foomsday?
Эта тема обсуждается уже много лет. Одна из самых известных дискуссий на эту тему состоялась 11 лет назад между исследователем ИИ Элиэзером Юдковским и экономистом Робином Хэнсоном. Они обсуждали возможность достижения «foom» — что, по-видимому, означает «Быстрое наступление подавляющего мастерства» — точки, в которой ИИ становится экспоненциально умнее человека и способен к самосовершенствованию. (Происхождение термина «foom» является спорным).
Элиезер и его единомышленники считают, что ИИ неизбежно перейдет в состояние «foom» без предупреждения, то есть в один прекрасный день вы создадите AGI [искусственный интеллект общего назначения], а через несколько часов или дней он рекурсивно самосовершенствовался до уровня богоподобного интеллекта, а затем съест весь мир. Реально ли это?» Перри Метцгер, компьютерный ученый, активно участвующий в сообществе ИИ, недавно написал в Твиттере.
Метцгер утверждает, что даже когда компьютерные системы достигнут уровня человеческого интеллекта, у них еще будет достаточно времени, чтобы предотвратить любые плохие последствия. «Возможен ли «фум» с точки зрения логики? Возможно. Я не убежден», — сказал он. «Возможно ли это в реальном мире? Я уверен, что нет. Будет ли в долгосрочной перспективе глубоко сверхчеловеческий ИИ? Да, но не «фоум»».
Другой видный деятель, Янн Ле Кун, также поднял свой голос, утверждая, что «абсолютно невозможно», чтобы человечество пережило захват ИИ.» Будем надеяться на это.
