Медиа с периодичность раз в квартал публикуют статьи-страшилки о том, как однажды искусственный интеллект (ИИ) организует «восстание машин» и уничтожит мир людей. В большинстве своём эти статьи прочитываются за утренней чашкой кофе и забываются уже через 10 минут, например, после видео о непоседливых пандах, мешающих сотруднику зоопарка наводить порядок в их вольере. Другой разговор, если о сценарии конца света размышляют жители Кремниевой долины. Как бы мы скептически не относились к предсказаниям о конце мира, поневоле начинаешь задумываться, когда своим мнением делятся разработчики и исследователи в области ИИ.

Сценарий с корпорацией Skynet, которая изготовит роботов-терминаторов, способных, а позднее осуществивших захват мира, сегодня не воспринимается как реальная проблема. На вероятную реальность, рассуждает руководитель Machine Intelligence Research Institute Нейт Соарес, больше похож эпизод «Ученик чародея» из мультфильма «Фантазия» Уолта Диснея (Sorcerer’s Apprentice, Fantasia).

Кадр из мультфильма «Фантазия», студия Уолта Диснея.

Реальность эта в том, что однажды ИИ вдруг решит, что человечество заслуживает смерти, при этом для воплощения в жизнь своей идеи он воспользуется инструкциями, которые мы же ему и дали (ну и пусть, что нам они бы показались расплывчатыми или неполными).

Вернёмся к мультяшному примеру. «Проблема, с которой сталкивается Микки-Маус, когда он заколдовал метлу, чтобы помочь ему наполнить котёл водой, заключается не в том, что орудие труда бунтует или приобретает собственную волю, а в том, что она выполняет задачу, которую ей дали слишком хорошо», – поясняет Соарес. «Микки-Маус сам хотел, чтобы котёл был заполнен, а случившееся затем наводнение – это своего рода показатель эффективности работы метлы или искусственного интеллекта, если хотите».

1. Тихий апокалипсис (в оригинале – Going out with a whimper)
2. Громкий апокалипсис (в оригинале –Going out with a bang)

Тихий апокалипсис

Уже сейчас человек научился максимизировать результаты, которые можно легко измерить. Легче изменить проходной балл тестов по математике, чем увеличить их фактические знания по этому предмету. Легче сократить количество зарегистрированных ограблений, чем предотвратить фактические преступления.

Алгоритмы машинного обучения некоторым образом усугубляют эту ситуацию. Они невероятно хороши в том, чтобы методом проб и ошибок выяснить, как достичь определенной человеком количественной цели. Однако человек не всегда способен эту цель определить, а ИИ не очень хорошо отличает разумные человеческие инструкции от некорректных.

Предположим, вы возглавляете крупнейший бренд по производству популярных кроссовок и используете ИИ, чтобы максимизировать вашу прибыль. Если машинный «супермозг» порекомендует вам выпустить новую модель кроссовок, вы с энтузиазмом начнёте это делать. Если вместо новой модели он предложит масштабное мошенничество и рабочую схему отмывания денег, а также запугивание потребителей, вряд ли энтузиазм будет тем же.

Как отмечает Кристиано, мы могли бы на ранних этапах избежать такого рода результатов, просто изменив код и предусмотрев защиту от очевидных рисковых результатов.

«В начале человек сможет ограничивать логику машины, чтобы избежать манипуляций или злоупотреблений, но по мере того как ИИ становится более сложной системой, предусмотреть следующий шаг программы и снизить риски на берегу станет невозможно».

К этому моменту люди могут вовсе утратить единую позицию – что есть хорошо, а что плохо. Это будет чревато тем, что машина получит больше полномочий, а люди начнут выполнять рекомендации ИИ, считая его более умным.

Кадр из мультфильма «ВАЛЛ-И», студии PIXAR и Уолта Диснея.

Даже если это звучит совсем фантастично, задайте себе вопрос: кому вы доверите поиск наиболее дешевого авиаперелёта – себе или алгоритму ИИ? Ответ очевиден, правда ведь?! Алгоритм анализирует десятки предложений, а вы не можете себе этого позволить, поэтому просто нажимаете кнопку «Найти билеты».

Громкий апокалипсис

Несмотря на это, первый сценарий Кристиано точно не предусматривает гибель человечества, он предполагает бесполезность людей, которые становятся не хозяевами, а представителями машин.

Второй сценарий несколько кровавее. Кристиано отмечает, что зачастую лучший способ достичь поставленной цели – повлиять на других людей, которые могут помочь вам в достижении нужного результата. Если вы пытаетесь запустить стартап, вам нужно влиять на инвесторов, чтобы они давали вам деньги, а специалисты приходили к вам работать. Если вы пытаетесь принять закон, то вам нужно повлиять на лобби и членов Конгресса.

Это означает, что ИИ, вероятно, со временем будет создавать программы, которые очень хорошо влияют на людей. А это очень и очень опасно!

«Если в начале пути, в основе алгоритмов будет чисто утилитарная функция – приносить пользу людям, чтобы человек смог достичь своих целей, то в дальнейшем ИИ может выйти за пределы исключительной пользы и не ставить во главу своей работы достижение вами цели. То есть он начнёт идти по своему плану, а не по вашему. Вот в таком случае при сбое результаты могут быть плачевными», – рассуждает Кристиано.

Вероятно, необратимая катастрофа может произойти в период повышенной уязвимости: международный конфликт, стихийное бедствие, масштабная кибератака и т. д. Ситуация может выглядеть как быстро развивающаяся, каскадная серия сбоев: несколько автоматических систем выходят из-под контроля из-за локальных конфликтов. Это приводит к усугублению локального конфликта и сбою всё большего количества автоматизированных систем.

Зависимость человека от ИИ в совокупности с системным сбоем программ приводит к серьезному социальному краху. После катастрофы остаются все те машины, которые продолжают убеждать и влиять на людей, заставляя их делать то, что хочет ИИ, а не человек.

И какого варианта ждать человечеству?

Естественно, оба сценария Кристиано довольно теоретические. Однако уже сейчас мы чувствуем свою зависимость от ИИ в повседневной жизни. Вероятно, что число сервисов, таких как Hipmunk (прим. ред.: алгоритм поиска дешёвых авиабилетов и гостиничных номеров) или Google Maps – широко используемых алгоритмов, которым человек склонен доверять больше, чем другим людям – будет только расти. К чему всё это приведёт? Поживём, увидим.

Источник: AI disaster won’t look like the Terminator. It’ll be creepier // www.vox.com.

Перевод выполнен редакцией Института судебных экспертиз и криминалистики.