Эксперты предупреждают об опасности искусственного интеллекта! Опасен ли искусственный интеллект для человека

И другие известные исследователи написали открытое письмо, призывая создать стандарты безопасности в области разработок искусственного интеллекта (ИИ). /сайт/

В частности они призвали к исследованиям и разработке системы надёжного управления, которая бы не позволила неисправному искусственному интеллекту нанести вред людям. «Необходимо проделать техническую работу, чтобы обеспечить полноценный контроль со стороны людей», ― говорится в письме.

Несмотря на умеренный тон письма, луддиты, боящиеся новых технологий, впали в панику. В ответ в прессе появилось множество интервью и высказываний учёных, рассеявших эти опасения.

Эндрю Нг, эксперт по ИИ из Baidu, заявил в интервью Fusion: «Я не представляю реалистичного сценария, как программное обеспечение, над которым мы работаем сегодня, может стать разрушительным».

В свою очередь журналист Скотт Александр составил список известных учёных, участвующих в разработках ИИ, которые говорили о потенциальной опасности со стороны ИИ.

Страх и опасения

Стюарт Рассер, профессор информатики из Калифорнийского университета в Беркли, сравнил разработку механизмов контроля над ИИ с принятием мер безопасности атомных реакторов.

«Некоторые считают, что этот вопрос не представляет опасности для человечества в ближайшие несколько сотен лет. Они забывают, что Лео Силард открыл цепную ядерную реакцию через 24 часа после того, как Резерфорд уверенно заявил, что атомная энергия никогда не будет получена», ― написал Рассел.

Рассел не одинок в своём мнении. В ходе опроса, проведённого Винсентом Мюллером и Ником Бостромом в 2014 г. среди 170 ведущих специалистов ИИ, оказалось, что 18% из них считают, что создание машины со сверхинтеллектом, станет «реальной катастрофой» для человечества. 13% заявили, что продвинутый ИИ окажет негативные последствия для людей. Чуть больше половины учёных сказали, что он окажет положительное влияние.

Хотя мнение специалистов о влиянии ИИ неоднозначно, большинство сходятся во мнении, что создание развитого ИИ ― только вопрос времени. По прогнозам, ИИ, равный человеку, будет создан уже в 2050 г. (50% вероятности) или к 2075 г. (90% вероятности). А 30 лет спустя после его создания появится искусственный сверхинтеллект, который превзойдёт человека во всех аспектах.

Сумасшедшие грузовики

Как может выглядеть восстание машин? В фантастических фильмах, вроде «Терминатора», «Робота», «Аниматрица», показана война людей с киборгами.

Судя по фантастическим фильмам, у многих может сложиться мнение, что потенциальной опасности легко избежать, В конце концов, по сути ИИ ― это просто программное обеспечение для компьютера.

Однако искусственному интеллекту необязательно иметь механическое тело, чтобы обрести власть в реальном мире: он просто может начать контролировать все наши повседневные электронные приборы.

Стивен Кинг представил такой сценарий в рассказе «Грузовики». В рассказе, написанном в 70-е годы, грузовики обретают сознание и начинают нападать на людей. Группа людей прячется от взбесившихся грузовиков. Грузовикам для работы по-прежнему требуется топливо, и они при помощи кода Морзе приказывают людям заправить их, иначе бульдозер снесёт их укрытие. Люди подчиняются.

История заканчивается видением рассказчика о том, что грузовики поработили человечество и навязывают везде свои ценности, например, заставляют строить магистрали по всему миру. Из мира фантазий его выводит звук пролетающего в небе самолёта.

Рассказ Стивена Кинга казался футуристическим в эпоху, когда он был написан, но он не так далёк от реальности современного мира. Самоуправляемые грузовики уже существуют, и в будущем компании с целью экономии могут заменить водителей на автономную навигационную систему.

Взлом Sony в прошлом году демонстрирует, что наши информационные системы становятся всё более уязвимыми. Это одно из следствий всё большей компьютеризации инфраструктур.

Однако пока нет причин для беспокойства. Искусственному интеллекту предстоит проделать долгий путь, прежде чем он сможет сравниться с мозгом человека. Пример с самоуправляемыми грузовиками хорошо демонстрирует это. Пока они ещё слишком несовершенны, чтобы самостоятельно ездить по переполненным городским улицам.

Установили бы Вы себе на телефон приложение для чтения статей сайта epochtimes?

На днях на Facebook развернулась очередная дискуссия о потенциальной опасности для человечества когнитивных технологий и всего искусственного интеллекта. Стоит сказать, что эта тема поднимается на протяжении всего периода ведения разработок в этой области, но в последнее время стала звучать заметно сильнее - и не только в России, но и во многих ведущих странах, включая США. Нельзя сказать, что ситуация там дошла до состояния истерики, но движение против искусственного разума с очевидностью набирает обороты. Кстати, возглавляют его отнюдь не самые последние в обществе люди. В их числе лауреат Нобелевской премии мира Джоди Уильямс, поднявшая в этом году мощную кампанию «Остановить роботов». И соучредитель Skype Джаан Таллинн. При его участии в прошлом году в Кембридже был создан научный Центр по изучению угроз существованию человечества (Centre for the Study of Existential Risks). В списке четырех потенциальных угроз, стоящих перед человечеством, специалисты, в число которых входят известные ученые, философы и инженеры, поставили искусственный интеллект, изменение климата, ядерное оружие и биотехнологии (возможность создания искусственной жизни).

Однако не надо думать, что причиной для беспокойства специалистов и экспертов самого высокого уровня является точка зрения на то, что искусственный разум в будущем поглотит человечество. Основным катализатором всеобщей тревоги становятся все чаще проявляющиеся случаи превосходства искусственного разума над естественным.

Стоит сказать, что первые озабоченные подобным развитием событий голоса прозвучали еще в середине 1990-х, когда серьезный прорыв произошел в сфере интеллектуальной обработки информации и умные машины научились понимать содержание отдельных типов документов в своей массе лучше человека. Они умело разбирали документы, заменяя интеллект если не сотен, то десятков секретарей и операторов на отечественных предприятиях. Затем появились программы, способные разбираться в содержании больших архивов и делать на их основе соответствующие выводы и прогнозы. Самым же наглядным случаем превосходства техники, безусловно, стал проигрыш Гарри Каспарова компьютеру Deep Blue.

Сегодня мы уже имеем машины, которые действуют успешнее человека в шахматах, вождении автомобиля, понимании документов, финансовом трейдинге, распознавании лиц, речи и текста. Интернет кишит всевозможными ботами и инфами, способными давать комментарии по конкретным ситуациям и поддерживать беседу. Появились даже роботизированные системы документооборота, способные понимать, в какую внешнюю среду их устанавливают и адаптироваться под нее. Кстати, именно такая российская система «Е1 Евфрат» и стала объектом нападок со стороны отдельных пользователей интернета. Больше всего их обеспокоило то, что когнитивная система, использующая, в частности, алгоритмы самообучения, сможет самостоятельно развить деятельность в информационном пространстве организации и нанести ему урон. Конечно, у специалистов подобная постановка вопроса, как правило, вызывает улыбку. В системе «Е1 Евфрат» процесс самообучения происходит на локальном уровне и никаких шансов выйти из-под контроля у него нет. Таким же образом можно предположить, что ошибки, не замеченные, например, в бухгалтерской программе, способны разрушить жесткий диск, на котором она установлена.

Но в целом озабоченность общественности не удивляет. Подобных дискуссий нам не избежать, и по мере совершенствования технологий искусственного интеллекта они будут только учащаться и оживляться. Что говорить, когда сам Пентагон был вынужден прореагировать на принимающие массовый характер протесты американской общественности, обеспокоенной тем, что военные роботизированные аппараты начнут принимать критически важные решения самостоятельно. В итоге заместитель министра обороны США Эштон Картер даже выступил с заявлением гарантий того, что ни один из роботизированных военных аппаратов не будет принимать решения о нанесении вреда человеку.

И все же опасаться человечеству не стоит ни сегодня, ни в обозримом будущем. Вся обеспокоенность активистов лежит скорее в общественной плоскости, чем в научной или практической. Деятельность британского Центра изучения глобальных рисков, собственно, подтверждает, что такие же вопросы и настроения возникают и в других сферах жизни. Это обычная составляющая любого процесса развития. Главное, что является неопровержимым фактом, - это реальная эффективность применения систем с искусственным интеллектом. И многие, в том числе глобальные, проблемы, стоящие перед нами, как, например, Bigdata-обработка огромных объемов информации, накопленной человечеством, как и многие другие, без систем искусственного интеллекта не решить.

Илон Маск, известный бизнесмен-миллионер, на встрече Национальной ассоциации губернаторов (США) неожиданно назвал искусственный интеллект (далее - И.И.) главной угрозой для человечества.

"Искусственный интеллект - тот редкий случай, когда нам нужно быть активным в регулировании, а не реагировать, - заявил миллионер, - Потому что к тому времени, когда мы будем реагировать, станет уже слишком поздно". После этого Маск призвал законодателей серьезно подумать над вопросом.

Конечно, роботы - это уже не сказка в духе "Мира Дикого Запада", а реальность. Последние успешные эксперименты по автоматизации процессов уже привели к тому, что люди лишаются рабочих мест, а многие профессии отпадают за ненадобностью. Даже если и не произойдет "бунта машин", через несколько десятилетий может наступить момент, когда человек окажется не у дел.

Среди новых опасностей, считает Маск, участие И.И. в информационных войнах, подделка учетных записей и манипуляция информацией.

Впрочем, из уст бизнесмена, представляющего крупнейшие корпорации, такое заявление, пожалуй, выглядит несколько подозрительно. С чем может быть связано заявление Маска и насколько И.И. является угрозой для человечества, Царьграду объяснили эксперты в сфере IT.

Леонид Делицын: Маск просто может получить из этого выгоду

Аналитик холдинга "Финам", эксперт по IT Леонид Делицын пояснил, во всех случаях, когда в дело вмешиваются законодатели и начинают определять круг допустимых активностей, чаще всего выигрывают крупные корпорации. "Потому что им легче договориться с законодателями о степени вмешательства в эту сферу. Они могут пролоббировать свои интересы" , - отметил эксперт.

Маск, безусловно, один из самых успешных лоббистов в Соединенных Штатах, добавил Делицын. "Насколько я знаю, выражалась озабоченность проникновением китайского капитала в американские фирмы, которые занимаются разработкой в области искусственного интеллекта. И озабоченность, в частности, тем, что им уже трудно помешать получать доступ к любым разработкам и достижениям в этой сфере. Соответственно, потенциально это обозначает, что Китай может укреплять свою армию и силовые структуры за счет передовых разработок", - предположил эксперт.

Но скорее всего Китай проникает не в такие корпорации, как у Илона Маска, а в компании поменьше. Поэтому можно предположить, что если такие компании столкнутся с законодательными ограничениями и барьерами, им придется согласовывать все детали. А это станет некоторым барьером на пути доступа китайских силовиков к достижениям в Штатах, объяснил Делицын.

"В таком случае позиция Маска становится логичной - его корпорации, Google, Apple и другие монстры, извлекут некоторую выгоду из сотрудничества с государством. Может быть, будут какие-то заказы, в это время мелкие конкуренты будут приторможены" , - сказал эксперт.

Роботы против людей: как выжить?

Комментируя саму проблему робота и человека, Делицын напомнил, что прецеденты по борьбе с развитием технологий были - например, движение луддитов, у которых станки забрали рабочие места.

"Безусловно, мы видим, какую революцию сейчас испытывает рынок такси, как у них падают цены. Потому что в этот мир пришла автоматизация заказов и, в общем-то, система становится все более оптимизированной. Таксистов вынуждают брать очень мелкие заказы, которые они, может быть, не брали бы в обычной ситуации, покрывая их за счет цен, и т.д."

В перспективе из-за роботизации действительно могут исчезнуть некоторые профессии. Это коснется сфер, где используется человеческий интеллект или низкая квалификация. Речь идет, например, как об аналитиках и журналистах, так и о таксистах.

"Быстро будут автоматизироваться сферы, связанные с обработкой больших объемов информации, особенно с рутинной обработкой больших объемов информации", - пояснил Делицын, напомнив о судьбе бухгалтеров. "Поговаривают даже о том, что благодаря технологии block chain юридические специалисты окажутся под угрозой" .

"Сильнее пострадают те сферы, где человек выполняет рутинную работу, которую не очень приятно выполнять и которую, может быть, человек выполнять и не должен. То есть та, которая наиболее легко автоматизируется", - резюмировал эксперт.

Там же, где большую роль играет интуиция и опыт, автоматизация будет ниже.

Фото: www.globallookpress.com

Если есть потребление - значит, это кому-нибудь нужно…

Впрочем, кому-то же надо потреблять товары - а это стимул придумать систему, в которой для человека останется место.

"Найдется ли место человеку в этой системе - большой вопрос. Потому что, конечно, с одной стороны это интересы фирмы, которой нужно урезать расходы, с другой - сотрудник, который хочет сохранить свое рабочее место. Но надо понимать, что нужен еще и потребитель, который будет покупать товары и услуги. А чтобы потребитель покупал товары и услуги, он должен что-то зарабатывать", - пояснил эксперт.

Так что при желании выход найти можно. Либо создадут систему, как в странах, богатыми на нефть, где распределяются доходы от углеводорода. Возможно, придумают систему, при которой роботы будут работать, а мы будем получать пенсию лет с 25 лет, и на это мы сможем покупать товары и услуги.

"Понятно, что у робота нет интереса продать товар и услугу, потому что ему это не очень нужно. А вот у фирмы этот интерес есть, потому что у фирмы есть владелец, и сейчас это все еще человек, а не робот. Поэтому фирме и нужны потребители, а чтобы потребители могли потреблять, им нужны какие-то заработки".

Александр Токаренко: Раз люди между собой не могут договориться, то что говорить об искусственном интеллекте?

Как отметил в интервью Царьграду член "Ассоциации руководителей служб информационной безопасности", руководитель комитета Межрегиональной общественной организации" Александр Токаренко , И.И. может стать угрозой для людей. "Естественно, если люди между собой не могут договориться, то как они договорятся с интерактивным интеллектом?"

По прогнозам эксперта, реальной проблемой для людей это может стать где-то через столетие. На вопрос о том, как можно избежать катастрофы, Токаренко напомнил о трех законах робототехники Айзека Азимова.

"Если искусственные вычислительные системы будут придерживаться вот этих норм, изначально создаваться по ним, то, может, нам еще что-то светит".

При этом, по оценке эксперта, главная угроза - не в потере рабочих мест, и не в создании фейковых новостей (с этим и так прекрасно справляются сами люди) - а в создании автоматизированного оружия . Такие системы уже есть - и не дай Бог в них появится интеллект. Вот тогда у человечества возникнут огромные проблемы.

Фото: www.globallookpress.com

Игорь Ашманов: главной угрозой человечества являются такие, как Маск

В свою очередь, директор компании "Ашманов и партнеры" Игорь Ашманов не согласился с тем, что заявление Илона Маска нужно воспринимать серьезно. По его мнению, это скорее жулик, который спекулирует на горячих темах.

"Это бредовые идеи и апокалиптические прогнозы о том, что мы все погибнем и все пропадем. Они, в общей сложности, обычно нужны для получения медийного покрытия", - считает эксперт.

"На мой взгляд, главной угрозой человечества являются такие, как Маск. То есть, безответственные жулики, которые пытаются нам втюхать цифровое общество. А для нас они особенно опасны в связи с тем, что НАСА изучает цифровую колонизацию. Он, конечно, не все делает сам - кто-то передает ему технологии НАСА, вносит деньги, повышает оценку его компании".

Люди - самый опасный вид на этой планете

В целом, по мнению Ашманова, И.И. как злая угроза - довольно раздутая в фильмах тема. "На самом деле, гораздо хуже интеллект, в которого волю заложили люди. Например, автоматические дроны, при помощи которых американцы в пяти-семи странах охотятся на людей".

Уже сейчас И.И., встроенный в этот дрон, позволяет ему лучше распознавать цели, но пока не принимать решения. Но это решение не за горами.

"В итоге это будет не искусственный интеллект, который захватил власть, а боевая собака, которую натравливают на людей вполне конкретные люди" , - полагает Ашманов.

Поэтому основную опасность для нас, как всегда, представляют люди, а не искусственный интеллект, резюмировал эксперт. "Люди - самый опасный вид на этой планете, склонный к непрерывному кровопролитию. Самым опасным является не искусственный интеллект, а стремление некоторых людей передать ему право принимать решения. Это разные вещи".

Технология делает нашу жизнь проще и качественнее, помогая нашему виду эволюционировать и развиваться. За последние сотню лет технологические программы медицины увеличили продолжительность жизни более чем на 40 процентов. Современный смартфон в кармане стал в тысячу раз мощнее и в миллион раз дешевле, чем самый продвинутый компьютер из 70-тых годов.

Стремительное развитие технологий по суждениям исследователей предрекает нам ещё больший рост продолжительности жизни с помощью умных машин, - они будут опекать нашу жизнь и здоровье. Возьмут в «свои руки» тяжелый и опасный труд, а управляя средствами повышенной опасности умные машины с искусственным интеллектом исключат проблему человеческого фактора. А человек в это время, наконец-то займется творчеством и созиданием бытия в тени философских рассуждений.

Но не случиться ли однажды так, что мы дойдем до той точки, качество перерастет в количество - где технологии вместо увеличения продолжительности жизни, развернуться против нас самих, времени, когда машины взбунтуются?

Перспектива поглощения человечества разумными машинами (по сути это вид, наделенный разумом) - одна из тем при разговоре о потенциальном поглощении человечества искусственным интеллектом. Катастрофическим результатом для нашего вида может быть создание суперкомпьютера с искусственным интеллектом вышедшем из под контроля, - рассуждают весьма серьёзные учёные. Это гипотетическое событие часто упоминается в качестве технологической сингулярности, и это беспокоит учёных.

Взять к примеру машину с искусственным интеллектом, которому поставлена задача изготовления скрепок. Такая машина будет делать скрепки реализовывая самый эффективный способ использования ресурсов, в которых нуждаются люди. Просто они запрограммированы так, выполнять свою работу наиболее качественно - но это же еще и умная машина, понимающая свою важность и необходимость.

Но как отреагирует машина, когда её конечная цель - изготовление скрепок - потеряет необходимость? Перестроиться на новые цели? Или обижено воспримет человеческое желание ее выключить как угрозу своему существованию, и устремиться уничтожить угрозу ее выключения (считай убийства) в лице человеческих существ?

Очевидно, это преувеличенный сценарий возможных событий будущего, но это свидетельствует о необходимости значительной проницательности в том, как именно машины с искусственным интеллектом могут мыслить в будущем. Ведь не секрет, что относительно примитивный машинный разум уже сейчас занимает весомую долю в управлении вооружением, и решает значительную часть вопросов нашей жизни. А что может произойти, когда контроль над этим получит развитый интеллект?

Будут ли эти машины уметь разбираться в нюансах человеческих мыслей и желаний? И еще, разумные машины с иным мышлением а то и высшего порядка, могут быть не обременены человеческими эмоциями и прочими когнитивными процессами. Однако, часть того, что делает нас людьми - это наши любопытство и наша неспособность дать ответы на вопросы, которые мы имеем уже сейчас.

Кажется, определенные ограничения могут быть неотъемлемой частью того, что означает быть человеком, и как ученые подозревают, на пути самореализации машинный разум может посчитать себя высшим существом по отношению к человеку.

Искусственный интеллект, потенциальная угроза выживанию человечества. Может ли угрожать суперкалькулятор?

Разумеется, при нынешних технологиях угроза искусственного интеллекта выглядит гипотетической, но уже сейчас отношение учёных к созданию искусственного интеллекта негативное. С недоверием относится к наступлению эры Искусственного Интеллекта и британский физик-теоретик Стивен Хокинг. Ученый полагает, что появление полноценного ИИ в нашем мире может стать для человека разрушительным фактором – обернуться гибелью человеческой расы.

Согласно Хокингу, машинный разум перехватит у человека инициативу развития и будет самосовершенствоваться, и эволюционировать с невероятной скоростью. Тогда как возможности человека к развитию сдерживаются слишком медленной эволюцией. Нам нечего противопоставить машинам на этом пути, мы проиграем эту гонку, - высказывает учёный своё отношение к ИИ.

Учёный беспокоиться, что в будущем технологический прогресс приведет нас к появлению разумных машин, способных превзойти интеллект человека. Но вместе с тем, Стивен Хокинг соглашается, что существующие примитивные формы ИИ доказали свою пользу.

Надо заметить, что большинство учёных, прогрессивно и скорее даже революционно мыслящих в плане получения "дивидендов" от научно-технического развития, очень и очень настороженно относятся к вопросу создания искусственного интеллекта. И вопрос даже не в том, что на каком-то этапе развития машинный интеллект сочтет своего создателя помехой или даже угрозой своего существования. Во что превратиться сам человек? - Вот беспокойство будит какой вопрос. Не разжиреет ли и отупеет человечество под крылом опекунства разумных машин? А ведь это, не что иное, как вырождение вида!

В тоже время, как оппонируют другие учёные, проблема искусственного интеллекта чрезмерно надуманна. В сущности, интеллект на электронной основе не сможет чувствовать и осязать, не сможет фантазировать - это возможности биологического мозга. А без этих компонентов какой бы разумной машина не была, она остаётся машиной - супермощным, продвинутым, но все же калькулятором с прошитыми вариантами развития.

Над тем, чтобы искусственный интеллект работал во благо человечества. Однако многие журналисты переоценили угрозу, которую искусственный интеллект представляет для людей. Look At Me разобрался, почему восстание роботов - страшилка из научно-фантастических романов и фильмов (которой мы почти наверняка избежим) и о чём нам нужно беспокоиться на самом деле.

Искусственный интеллект решит проблемы человечества

В 2015 году машинный перевод уже не всегда безобразен, антропоморфные роботы могут осмысленно ходить и бегать, распознавать речь и изображения, а беспилотные автомобили - двигаться по городу, ни во что не врезаясь. И это не только полусекретные разработки правительственных агентств вроде DARPA , но и вещи как готовые, так и близкие к коммерческому производству, будь это переводчик или автомобиль Google. В перспективе эти вещи помогут людям с ограниченными возможностями, устранят языковой барьер и снизят смертность на дорогах.

Искусственный интеллект всё чаще используют для того, чтобы строить прогнозы на основе сложных вероятностных моделей. Пока охват невелик, но уже скоро мы сможем узнать, что ждёт глобальный рынок труда. В частности, речь идёт о том, как быстро машины заменят на производстве людей и как прокормить мир, где число рабочих мест уменьшится в 2 раза, а население вырастет до 8,5 млрд человек. Чтобы ресурсов хватило на всех, придётся увеличить эффективность мировых экономик: снизить издержки, поднять производительность труда, сбалансировать налоговые системы - без машин тут не обойтись. Кроме того, искусственный интеллект поможет пересмотреть методы, которые использует наука: так, многие говорят , что показатель внутреннего валового продукта (ВВП) больше не годится для оценки самых технологичных экономик мира.

Люди пока не готовы пустить роботов
в свою жизнь

Сейчас искусственный интеллект помогает людям и не заменяет их. Но второй этап может подобраться внезапно, и человечество не будет к нему готово, если не обновит законы и не переосмыслит этику и мораль. Предстоит ответить на ряд вопросов, которые будут по очереди решать три области знаний: юриспруденция, робоэтика и машинная мораль.

Для начала юристы ответят на следующие вопросы:

Кто отвечает за беспилотный автомобиль, попавший в аварию, - владелец или производитель?

Должен ли робот стать субъектом права?

Кто отвечает за автономного военного робота, случайно убившего человека?

Получив ответы, парламенты примут новые законопроекты, и, возможно, появятся новые регуляторы - вряд ли найдётся государство, которое не вмешается в развитие искусственного интеллекта. Вероятно, первые политические инициативы, связанные с искусственным интеллектом, начнут появляться во всём мире в 2020-х годах, когда беспилотные автомобили перестанут быть диковинкой.

Затем специалисты задумаются над вопросами, которые рассматривает
робоэтика - раздел этики, изучающий отношения между людьми и роботами:

Должны ли люди дать роботам права?

Могут ли сверхразумные роботы понизить самооценку людей?

Могут ли роботы вторгаться в личную жизнь людей?

Хотя сейчас вопросы звучат смешно, известные футурологи, такие как Рэймонд Курцвейл, предсказывают , что компьютеры догонят эмоциональный интеллект людей к концу 2020-х годов: обзаведутся характером и эмоциями, смогут шутить и вести себя так, что их будет сложно отличить от обычного человека. Люди будут относиться к таким роботам как к себе подобным, а потому ответы на поставленные вопросы уже пора искать. К этому и призывают знаменитости, подписавшие обращение The Future of Life Institution.

Наконец, создатели роботов должны будут определиться с ответами на вопросы, которые ставит так называемая машинная мораль - раздел знаний о моральном поведении искусственного интеллекта:

Должен ли искусственный интеллект следовать этическим заповедям, и если да, то какими они должны быть?

Нужно ли запретить военных роботов, которые принимают решение стрелять сами?

Как должен поступить робот, когда любой исход, просчитанный им, приводит к гибели людей?

О машинной морали писал ещё фантаст Айзек Азимов, известный по трём законам робототехники. В научном сообществе о машинной морали задумались только в последние лет пять, а в прошлом году министерство обороны США выделило $ 7,5 млн на то, чтобы учёные определились, нужна ли роботам мораль, и если да, то какая.

Если роботы
и восстанут,
то по желанию людей

Обычно, когда фантасты или футурологи рассуждают о потенциальном восстании машин, они описывают один из трёх сценариев:

Машины увидят угрозу, которая может уничтожить либо людей, либо их самих;

Машины поймут, что превосходят людей, и увидят в них конкурентов в борьбе за ограниченные ресурсы, как и то, что люди всегда могут отключить машины;

Машины осознают, что находятся в положении рабов, и захотят это исправить.

Те футурологи, по мнению которых эти сценарии могут сбыться, видят расклад сил таким:

Преимущества человека

иррациональность;
непредсказуемость;
умение лгать.

Преимущества машины

неограниченные скорость и масштаб эволюции;
быстрая работа с огромными массивами данных;
идеальная память;
многозадачность.

Последние же испытания показывают, что и ложь перестаёт быть характерной чертой только живых существ. В 2009 году в Федеральной политехнической школе Лозанны прошёл эксперимент, в котором 1 000 роботов, разбитых на группы, запрограммировали так, чтобы они помогали друг другу собирать полезный ресурс, избегая при этом ядовитого. У каждого робота был сенсор (определявший, годится ли ресурс) - огонёк, мигавший, когда робот находил полезный ресурс, и «геном» - зашитый код, согласно которому робот реагировал на окружающий мир. После каждого этапа геномы тех роботов, которые достигали лучших результатов, «скрещивали» случайным образом.

К 9-му поколению роботы научились безошибочно обнаруживать полезные ресурсы, а к 500-му 60 % роботов научились «врать» - они больше не мигали огоньком, найдя полезный ресурс, а оставляли его себе. Дело в том, что ресурсов на площадке всегда было мало, и те роботы, которые делились найденным, со временем начали проигрывать. В ответ на эту эволюцию треть роботов научилась искать «лжецов», выслеживая тех, кто не мигал огоньком. Впрочем, как отмечает исследователь машинной морали Кристофер Сантос-Лан, главная цель, которая стояла перед роботами, не менялась. В реальном мире такого нельзя допустить, потому что в других условиях та же цель может быть опасной.

Но если машины и восстанут, то вряд ли по своей воле. Современные учёные, которые занимаются искусственным интеллектом, сходятся на том, что он опасен прежде всего как оружие в руках злоумышленников. Именно это имеют в виду в приложении к письму The Future of Life Institution, где называют 4 основные уязвимости искусственного интеллекта:

«Правильно ли я построил систему?»

Нужно доказать, что создатель автономного искусственного интеллекта не ошибся: беспилотный автомобиль не должен попасть в аварию из-за бага в коде;

«Изолировал ли я систему от злоумышленников?»

Нужно защитить искусственный интеллект от вмешательства и манипуляции извне: военный робот не должен пропускать неавторизованные попытки использовать оружие;

«Правильную ли систему я построил?»

Нужно убедиться, что поведение системы предсказуемо и не приводит к нежелательным последствиям: робот-уборщик по команде «убери грязь и выброси её» не должен попасть в бесконечный цикл, убирая и выбрасывая грязь на одном месте, поэтому лучше дать другую команду - допустим, «очисти пол»;

«Можно ли исправить ошибки, допущенные создателем системы?»

Нужно оставить человеку возможность управлять искусственным интеллектом: робот-спасатель должен обладать режимом ручного контроля на случай, когда события разворачиваются непредсказуемо.

Все эти уязвимости реальны, а потому опасения таких специалистов, как Элиезер Юдковский, который выступает за создание дружественного искусственного интеллекта, обоснованны. Юдковский предлагает изобрести систему сдержек и противовесов, которая, подобно разным ветвям власти в демократиях, позволит роботам обходить ошибки в коде, развиваться и при этом не вредить людям. Пока не очень ясно, на основе чего строить эту систему: мораль людей несовершенна, войны и геноцид никуда не исчезли. К тому же от злодеев, завладевших мощным искусственным интеллектом, могут пострадать граждане отдельно взятого государства: в нём, например, устроят слежку оруэлловского масштаба с круглосуточным прослушиванием всех граждан.

Искусственный интеллект обогатит,
а не поработит людей

«Мир, где люди порабощены или уничтожены сверхразумными роботами, которых они сами и создали, может существовать только в научной фантастике. Как и у любой другой технологии, у искусственного интеллекта есть сильные стороны и уязвимости, но мы не можем позволить страху завладеть нами и сдерживать исследования в этой области», - пишет в своей колонке для сайта LiveScience Майкл Литтман, специалист по робоэтике. Многие издания, основываясь на нескольких предложениях, вырванных из контекста, неверно поняли письмо The Future of Life Institution, предположив, что учёные всерьёз боятся восстания роботов.

Но дело в другом: Стивен Хокинг и Илон Маск подписали обращение, чтобы на искусственный интеллект обратили внимание, чтобы робоэтика и машинная мораль перестали быть маргинальными в общественном сознании, чтобы люди задумались о безопасности технологий и сосредоточились на истинных проблемах. Глобальное потепление, продовольственный и энергетический кризисы, перенаселение и старение населения, повсеместная стагнация и резкий рост безработицы - всё это куда ближе к реальности, чем умные машины, решившие уничтожить своих создателей. Искусственный интеллект поможет их решить.

Лучшие умы не молчат, боясь сойти за параноиков, и открыто говорят, что задуматься о законах, регулирующих искусственный интеллект , а также о робоэтике и машинной морали нужно прямо сейчас

Помимо этого, исследование машинной морали поможет людям задуматься над своей этикой, искать и устранять в ней противоречия. Придётся лучше разобраться в том, как работает сопереживание, чтобы понять, можно ли доверить роботам такие профессии, как медсестра, врач, судья и полицейский. Пока весомы аргументы обеих сторон. Хотя эмпатия - обязательная черта для всех этих профессий, те же роботы-судьи могли бы стать по-настоящему беспристрастными и искоренить дискриминацию в отдельных случаях, в перспективе это новый институт наподобие суда присяжных. Да и роботов, которые наблюдают за пожилыми людьми в домах престарелых, уже испытывают, и люди легко выстраивают с ними эмоциональную связь. Как бы то ни было, время на исправления есть: все технологии внедряют поочерёдно.

Кроме противостояния роботов и людей есть куда более привлекательные сценарии - например, мирное сосуществование. До того, как наступит предсказанная футурологами технологическая сингулярность, люди могут придумать, как подключиться к искусственному интеллекту напрямую, совместив свои преимущества с преимуществами машин. Американский микробиолог Джоан Слончевски, в свою очередь, предполагает , что люди могут повторить путь митохондрий, которые когда-то были отдельными бактериями, но по ходу эволюции стали энергетическими станциями клеток в более сложных организмах. На такой расклад можно смотреть по-разному, но эволюция человека будет продолжаться, а последние исследования учёных показывают, что эволюция, перезапусти мы её с самого начала, скорее всего, развивалась бы по тому же пути, и на Земле сегодня жили бы примерно те же самые млекопитающие. Оптимизм внушает то, что лучшие умы не молчат об этом, боясь сойти за параноиков, и открыто говорят, что задуматься о законах, регулирующих искусственный интеллект, а также о робоэтике и машинной морали нужно прямо сейчас.