Исследователи разрабатывают «красную кнопку» для отключения ИИ

6 июня 2016
Фото аватара
06.06.2016
1882
1 минута на чтение

Группа исследователей из лаборатории DeepMind (принадлежит Google) и Оксфордского университета начала разработку системы аварийного отключения самообучающихся алгоритмов. Об этом сообщает издание Business Insider.

На сегодняшний день компьютерные системы и самообучающиеся алгоритмы способны выполнять очень сложные задачи: от написания осмысленных текстов и диалогов в компьютерных играх до «просмотра» и воспроизведения кинофильмов. Однако концепция «сильного ИИ» — того, который способен понимать полученную информацию — пока далека от реальности. Но что? если ИИ, невзирая на незыблемые законы Азимова, начнёт вредить человеку? Как раз эту проблему и пытаются решить исследователи.

Если такой агент [искусственный интеллект] работает в режиме реального времени под наблюдением человека, то может возникнуть ситуация, при которой оператор будет вынужден нажать на «большую красную кнопку», чтобы остановить агента от выполнения действий, опасных для самого агента или его окружения.

Исследователи отмечают, что рано или поздно самообучающиеся алгоритмы смогут обнаружить какой-либо способ обойти штатный сигнал стоп-команды. Ключевая цель разработчиков как раз заключается в том, чтобы создать фреймворк, который не позволит ИИ найти такой способ. «Красная кнопка» также должна обеспечить гарантированное прерывание текущей деятельности алгоритма и обезопасить как самого робота, так и его окружение.

Вопросами о безопасности в сфере искусственного интеллекта задавались и ранее. Так, в 2015 году было создано открытое письмо, в котором знаменитые учёные, исследователи, бизнесмены и специалисты в области робототехники призывали отказаться от создания автономного вооружения. Под документом поставили свои подписи Илон Маск, Стивен Хокинг, Стив Возняк и многие-многие другие.

Статьи

Какие фильмы смотреть в апреле 2024 в кино? Кирдык Америке, взрослая Алиса и французская романтика 9
0
7402
Какие фильмы смотреть в апреле 2024 в кино? Кирдык Америке, взрослая Алиса и французская романтика

В апреле российский прокат богат на интересные инди-фильмы.

«Задача трёх тел»: какой получилась западная экранизация китайского романа 3
0
18374
«Задача трёх тел»: какой вышла западная экранизация китайского романа

Неровная, но интересная попытка экранизировать сверхпопулярный роман китайского фантаста

Мир фантастики. Спецвыпуск № 14 (2024). Фантастическая музыка 2
0
80962
Мир фантастики. Спецвыпуск № 14 (2024). Фантастическая музыка

О том, как музыканты передают образы Средиземья, будущего или стимпанка, и об историях, которые они рассказывают в своих песнях.

Сериал Halo, второй сезон: идеальная посредственность 4
0
64247
Сериал Halo, второй сезон: идеальная посредственность

На каждую интересную сюжетную находку найдётся своя банальность.

Mass Effect 5: чего мы ждём? Намёки, загадки и надежды фанатов 2
0
112557
Новый Mass Effect: чего мы ждём? Намёки, загадки и надежды фанатов

Будущее Млечного Пути, каноничный финал и возвращение Капитана

Настольная игра «Побег из Вистара»: тактика и стратегия гениальных лабораторных крыс 1
0
181706
Настольная игра «Побег из Вистара»: тактика и стратегия гениальных лабораторных крыс

Атмосферный еврогейм о построении колонии грызунов

Лю Цысинь «О муравьях и динозаврах». Тяжкая жизнь в симбиозе
0
171379
Лю Цысинь «О муравьях и динозаврах». Тяжкая жизнь в симбиозе

Пёстрый сборник знаменитого китайского фантаста

Мультсериал X-Men ’97: возвращение Радиоактивных людей. Первые впечатления 1
0
299162
Мультсериал X-Men ’97: возвращение Радиоактивных людей. Первые впечатления

Как минимум не хуже оригинала!

Спецпроекты

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: