Искусственный интеллект — одна из главных тем научной фантастики. Со времён взлома «Энигмы» и Дартмутского семинара (а то и с машины Бэббиджа и жаккардового станка) человечество движется к его созданию. На этом пути инженеры и философы встретили ряд сложнейших проблем, научных и этических. И здесь им вторили мастера слова — писатели-фантасты.
За десятилетия в научной фантастике появилось множество историй об искусственном интеллекте. Писателей он пугал и завораживал, смешил и раздражал. Такие истории часто появлялись и в малой форме. Из самых значимых рассказов своих эпох можно построить саму историю работы над искусственным интеллектом — и отношения человечества к нему.
Айзек Азимов «Логика» (1950)
Вы ухаживали за Господином, — отвечал Кьюти, — пока не был создан я. Теперь это моя привилегия, и единственный смысл вашего существования исчез. Разве это не очевидно?
На отдалённой космической станции два простых рабочих пытаются жить рядом с роботом новой модели, который явно сошёл с ума. Этот робот путём строго логических рассуждений пришёл к выводу: люди его вовсе не создавали, солнца и планет не существует, а Бог — это точка на звёздной карте. Возражения он отвергает с энтузиазмом плоскоземельца — в пределах известных ему данных его логика безупречна.
Главный автор золотого века фантастики по искусственному разуму подмечает: при недостатке информации даже самая совершенная система способна на человеческие ошибки. Работая только с уже известными параметрами, она не сможет осмыслить что-то принципиально неизвестное — и с готовностью заменит отсутствующую силу воображения примитивной культовой схемой.
Зачем читать сейчас? Как и весь цикл «Я, робот», этот рассказ Азимова — остроумная заметка о проблемах машинного мышления, с которыми мы сталкиваемся и сегодня — например, сочиняя промпты для нейросетей.
Ещё один важный рассказ Азимова по теме: «Двухсотлетний человек».
Роберт Шекли «Страж-птица» (1953)
Никто с самого начала не объяснил страж-птицам, что вся жизнь на Земле опирается на строго уравновешенную систему убийств.
На Земле будущего создают идеальных роботов — «страж-птиц», летающие дроны, способные остановить любое преступление. Больше никаких убийств, никакого насилия — потенциального преступника остановит разряд тока, соразмерный его преступлению. Проблема в одном: самообучающиеся машины неуклонно расширяют трактовку «преступления».
Классиком фантастики Шекли стал именно благодаря рассказам, и «Страж-птица» — одна из главных его работ. В этой истории машинный разум эволюционирует согласно заданной программе — и ставит всё человечество под угрозу вымирания. Выводы, к которым он приходит, подобны абсурдным заблуждениям современных нейросетей, запутавшихся в понятиях и смыслах хаотичного человечества.
Зачем читать сейчас? В век автоматических военных дронов и этических вопросов об ответственности, когда они ошибаются с распознаванием целей, этот рассказ особенно актуален.
Ещё один рассказ Шекли по теме: «Конфигуратор».
Харлан Эллисон «У меня нет рта, но я должен кричать» (1967)
ЯМ так же безжалостен к себе, как и к нам. Это особенность его характера: он борется за совершенство во всём, начиная с уничтожения непроизводительных элементов в своей структуре, заполнившей весь мир, и кончая усовершенствованием пыток для нас.
Для многих ранних фантастов ИИ был неловким инструментом, опасным лишь в некомпетентных руках. Для Харлана Эллисона ИИ — мизантропичный и хладнокровный убийца с садистскими наклонностями. Его описание зацементировало в массовом сознании образ враждебного компьютерного разума, впоследствии воплощённый ещё не раз, от HAL 9000 до S.H.O.D.A.N.
В «У меня нет рта…» компьютер расчётливо доводит героев до безумия. Он поразительно изобретателен и почти эстетичен в своих злобных и бессмысленных пытках. Компьютер Эллисона — зловещий бог смерти, совершенный продукт мирового конфликта, созданный для управления ядерным арсеналом. Его ад — и следствие ада на Земле, и его бесконечное расширение.
Зачем читать сейчас? Этот короткий рассказ — возможно, важнейшее произведение об электронном разуме как абсолютном, совершенном зле. Грех не знать!
Ещё один рассказ Эллисона по теме: «Люди для технического обслуживания».
Брайан Олдисс «Суперигрушек хватает на всё лето» (1969)
— Тедди, я думаю, мамочка и папа — настоящие, правда?
— Какие глупые вопросы ты задаёшь, Дэвид. Никто не знает, что на самом деле значит «настоящие». В обществе будущего — строгий контроль над рождаемостью, только это удерживает мир от коллапса. Вместо реальных детей семьям предоставляются дети-роботы. Они способны чувствовать, сопереживать и любить, но неизбежно устареют или станут не нужны. Они лишь суррогат человеческих желаний — но в своих чувствах могут оказаться человечней любого жителя мрачного будущего.
С течением прогресса в фантастике всё больше укоренялась идея: искусственный интеллект может стать путём к новой разумной личности. Её послушность откроет новый вид рабства, её страдания не будут услышаны. История Брайана Олдисса — один из важнейших «гуманитарных» текстов об отношении к ИИ. Именно этот рассказ стал основой фильма «Искусственный интеллект» 2001 года.
Зачем читать сейчас? В массовой культуре было много попыток «очеловечить» машинный разум. Эта — одна из лучших.
Похожие истории: роман «Клара и Солнце» Кадзуо Исигуро.
Роберт Силверберг «Добрые вести из Ватикана» (1973)
— …В его поведении присутствует какая-то глубокая меланхоличность, чем он немного напоминает нашего друга епископа. Он отличается изяществом движений и остротой ума.
— Но ведь он на колёсах? — настаивает Кеннет.
— На гусеницах.
Папой Римским избран кардинал-робот! На этом пересказ можно и завершать. Нетерпеливое ожидание, настороженные споры и наконец торжественное явление составляют большую часть этой истории.
И всё же есть в этом рассказе что-то, заслужившее премию «Небьюла»: едкий комментарий о наступлении новой эры, где машины сольются в одной культуре с человечеством. Образ машины здесь вызывает доверие и поклонение — в том числе и у других машин. Обретя разум, они находят место во всех слоях общества — в том числе и в религии.
Люди доверчивы, их влечёт мистическое и невероятное. Они легко готовы поверить в утончённый разум, лежащий за простой программой, пока она преподаёт привычные людям истины.
Зачем читать сейчас? Этот рассказ поможет понять, как некоторые умудряются слепо верить в скрытые смыслы нейросетевых ответов.
Уильям Гибсон «Зимний рынок» (1985)
— А он, между прочим, всё ещё пишет. И самое интересное, будет писать и дальше — если кто-нибудь не подорвёт его машину.Я вздрагиваю, трясу головой.
— Но это ведь не он, верно? Всего лишь программа.
— Любопытная мысль… Трудно сказать с уверенностью.
Лайза — прикованная к экзоскелету девушка с врождённой болезнью. Она способна видеть потрясающе живые сны и успешно продаёт их в мировой сети. Но Лайзу тяготит больное умирающее тело, её неотвратимо влечёт стать чем-то большим в стране снов, возврата из которой не будет.
В 1980-х ко всем страхам и ожиданиям от машинного разума добавилась ещё одна идея — стремление самого человека загрузить себя в сеть, стать программой, работающей на основе скопированного мозга. «Зимний рынок», один из важнейших рассказов отца-основателя киберпанка, раскрывает эту идею в печальном, меланхоличном ключе. Тяга к избавлению от боли, да и самой необходимости быть человеком, понятна и объяснима — но плата за это решение окажется высочайшей. Гибсон не осуждает решение героини, не проклинает получившийся результат, но ни в коем случае не побуждает следовать по этому пути.
Зачем читать сейчас? «Зимний рынок» — один из сильнейших рассказов про загрузку сознания, тему, не теряющую популярности у современных авторов.
Брюс Стерлинг «Манеки-неко» (1998)
…Они стали появляться везде, куда бы я ни пошла. Фарфоровый кот в моей сумочке. Три глиняных кота в моём рабочем кабинете. Куча котов во всех витринах антикварных лавок Провиденса. Радио в моём автомобиле принялось мяукать!
В Японии развивается тайная экономика взаимных услуг, которая постепенно подменяет экономику явную. Управляет этим загадочное приложение с аватаркой котика — ритуальной фигурки манеки-неко. Она благодарна тем, кто следует её указаниям. Она безжалостна, но совершенно не жестока к тем, кто пытается ей помешать.
Киберпанк и посткиберпанк вдохнули в ИИ независимый и самостоятельный разум, отошедший от своих творцов. В «Манеки-неко» искусственный интеллект действительно любит людей — и в то же время действует сам по себе, аккуратно и незаметно изменяя экономику всего мира. Его комичные формы и бескровные методы скрывают за собой радикальные изменения — с которыми, когда они наступят, большинство гарантированно смирится.
Зачем читать сейчас? ИИ в «Манеки-неко» — мягкая и незаметная сила, постепенно сжимающая хваткой своих идей человеческое общество. Некоторые важные процессы происходят слишком медленно, чтобы мы их замечали, — и в сегодняшнем сверхбыстром мире важно помнить об этом.
Аластер Рейнольдс «Зима. Голубой период» (2006)
— А теперь? — осмелилась спросить я, заранее боясь ответа.
— Теперь я возвращаюсь домой.
Богатый эксцентричный художник, киборг Зима Блю, прожил удивительную жизнь — тем удивительнее для него оказалось узнать, что его самого… никогда не существовало. Расследование своего прошлого шаг за шагом приводит его к проекту всей жизни — финальной точке в бурной и странной карьере.
К 2000-м слияние биологии и технологии стало общим местом в фантастике — на страницах фантастических историй расплодились киборги всех мастей. Но такого, как Зима Блю, там ещё не было. Это существо создали для простой практической задачи, а оно эволюционировало до задач эстетических. Поднялось на вершину доступной человечеству эволюции — и решило спуститься обратно. Искусственный разум, познавший могущество мысли и тонкость человечества — и решившийся на поступок, достойный лишь великого художника или великого безумца.
Зачем читать сейчас? Этот сюжет известен по экранизации в антологии «Любовь. Смерть. Роботы». Но и у самого рассказа выдающиеся художественные качества. Современная версия «Двухсотлетнего человека» Азимова и «Цветов для Элджернона» Киза — такой характеристики достойно только исключительное произведение.
Грег Иган «Кристальные ночи» (2008)
— Но что именно вы от нас хотите? — спросил Примо.
— Чтобы вы построили новый компьютер, в котором нуждаетесь. Чтобы вас стало больше, чтобы вы стали сильнее. Чтобы вы помогли стать сильнее и мне — чтобы помогли мне, как я помог вам.
Учёный разрабатывает сверхмощный компьютер, собранный из искусственного кристалла. Это открытие происходит на фоне настоящей технологической гонки — сразу несколько фракций на Земле пытаются построить первый реальный ИИ. Учёный пойдёт своим путём — и получит вовсе не то, что ожидал.
Для Грега Игана, автора сложной и интеллигентной научной фантастики, очевидно: к мыслящему искусственному интеллекту мы пока не подошли и близко. Для его создания нужно нечто большее, чем простое усложнение логических систем, — а нейросетевые модели мыслящим ИИ зваться не могут по определению. В «Кристальных ночах» он предлагает провести зачаток интеллекта сквозь ускоренный путь человеческой эволюции. Увы, эволюция лишает её создателя возможности этот интеллект контролировать.
Зачем читать сейчас? «Кристальные ночи» ясно показывают: ради создания мыслящего машинного разума нам придётся отказаться от попыток использовать его в своих целях. Истинная разумность не предполагает покорности даже для самой благородной цели. Урок, полезный каждому технооптимисту!
Тед Чан «Жизненный цикл программных объектов» (2010)
— Ты меня не выключишь, правда?
— Правда.
К облегчению Аны, Джакс удовлетворен её ответом. Ему ещё не знакома концепция «обещания», и она со стыдом чувствует, что рада тому, что никаких обещаний давать не пришлось.
Бывшую сотрудницу зоопарка нанимают для странной работы — контроля роста и развития дигитантов, виртуальных сущностей, созданных на основе имитации биологического генома. Компания хочет продавать их как виртуальных помощников, сперва вырастив, обучив и протестировав на ошибки. Сущности разумны, но по природе своей неловки, не очень умны и крайне уязвимы. Найти им место в мире окажется неожиданно сложной задачей, неправильных решений у которой слишком много.
Тед Чан — ещё один признанный мастер фантастики, знаменитый короткой формой (по его рассказу снят фильм «Прибытие»). В «Жизненном цикле…» он рассматривает ИИ не как всемогущего бога или дьявола, а как недоразвитых инвалидов, обречённых зависеть от несовместимости движков, колебаний рынка, примитивного хакерства и множества других опасностей. В мире человека машинный разум придётся охранять и защищать.
Зачем читать сейчас? Тед Чан предлагает один самых оригинальных взглядов на искусственный интеллект — как на что-то бесконечно хрупкое, зависящее от перемен в обществе и инфраструктуре. В этой истории ИИ нужно не бояться, а оберегать, заботиться и воспитывать.
Десятилетиями фантасты пытались понять: каким будет машинный разум? И какие проблемы, с ним связанные, будут нас преследовать? Авторы давали ему роли: работник, защитник, убийца, обуза. Придумывали оригинальное происхождение — от загруженного в сеть сознания до имитации эволюции. Пытались определить этику, предел манипуляций над разумным существом. В мире бесконечных догадок фантастам остаётся работать хаотичными прожекторами, подсвечивать нам идеи, на которые мы не обращали внимания.
Кто знает, может, всесильные машины будущего оценят какую-то из этих идей и вспомнят нас добрым словом?
Если вы нашли опечатку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.