3

Исследователи разрабатывают «красную кнопку» для отключения ИИ

6 июня 2016
Кот-император
06.06.2016
272
1 минута на чтение

Группа исследователей из лаборатории DeepMind (принадлежит Google) и Оксфордского университета начала разработку системы аварийного отключения самообучающихся алгоритмов. Об этом сообщает издание Business Insider.

На сегодняшний день компьютерные системы и самообучающиеся алгоритмы способны выполнять очень сложные задачи: от написания осмысленных текстов и диалогов в компьютерных играх до «просмотра» и воспроизведения кинофильмов. Однако концепция «сильного ИИ» — того, который способен понимать полученную информацию — пока далека от реальности. Но что? если ИИ, невзирая на незыблемые законы Азимова, начнёт вредить человеку? Как раз эту проблему и пытаются решить исследователи.

Если такой агент [искусственный интеллект] работает в режиме реального времени под наблюдением человека, то может возникнуть ситуация, при которой оператор будет вынужден нажать на «большую красную кнопку», чтобы остановить агента от выполнения действий, опасных для самого агента или его окружения.

Исследователи отмечают, что рано или поздно самообучающиеся алгоритмы смогут обнаружить какой-либо способ обойти штатный сигнал стоп-команды. Ключевая цель разработчиков как раз заключается в том, чтобы создать фреймворк, который не позволит ИИ найти такой способ. «Красная кнопка» также должна обеспечить гарантированное прерывание текущей деятельности алгоритма и обезопасить как самого робота, так и его окружение.

Вопросами о безопасности в сфере искусственного интеллекта задавались и ранее. Так, в 2015 году было создано открытое письмо, в котором знаменитые учёные, исследователи, бизнесмены и специалисты в области робототехники призывали отказаться от создания автономного вооружения. Под документом поставили свои подписи Илон Маск, Стивен Хокинг, Стив Возняк и многие-многие другие.

Оставляя комментарии на сайте «Мира фантастики», я подтверждаю, что согласен с пользовательским соглашением Сайта.

Статьи

Заносим деньги на крауд-кампании в 17-м выпуске «Фантастического подкаста»
0
1050
Заносим деньги на крауд-кампании в 17-м выпуске «Фантастического подкаста»

Двадцать кило непонятно чего на почте!

Мир фантастики. Спецвыпуск №5. Киберпанк
0
5380
Мир фантастики. Спецвыпуск №5. Киберпанк

High tech, low life.

Автор комикса «Поросёнок-Мышь»: о концепции, вдохновении и фантастики
0
41865
Автор комикса «Поросёнок-Мышь»: о концепции, вдохновении и фантастики

Заодно публикуем несколько кадр, обложку и эксклюзивный рисунок.

Обзор «Человек-паук: Майлз Моралес». Настоящий некстген! 12
0
50686
Обзор «Человек-паук: Майлз Моралес». Настоящий некстген!

Заурядное продолжение или главный супергеройский блокбастер года? Зависит от того, на чём играть!

Надежда Рудик «Выпевание»
0
143325
Надежда Рудик «Выпевание»

Что делать, если ты прибыл на чужую планету, потерял часть экипажа и не можешь восполнить недостаток из-за агрессивных местных жителей? Что приведет к успеху: конфронтация или попытка найти общий язык?..

«Леди Баг и Супер-Кот» смотрят даже взрослые. Почему? 38
0
100139
«Леди Баг и Супер-Кот» смотрят даже взрослые. Почему?

Поговорили с создателем сериала, выяснили его историю (он мог стать аниме!) и разобрались, почему божья коровка и мальчик-кот так популярны.

Э. Дж. Смит «Красный принц»
0
114036
Читаем героическое фэнтези Э. Дж. Смита «Красный принц»

Долгая Война в самом разгаре, но на поле боя еще не явился Красный Принц. Все умершие восстанут, а ныне живые падут.

Фриц Лейбер «Корабль отплывает в полночь»: фантастика одного из отцов героического фэнтези
0
120165
Фриц Лейбер «Корабль отплывает в полночь»: фантастика одного из отцов героического фэнтези

Сборник для любителей классической американской фантастики.

Спецпроекты

Top.Mail.Ru

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: