sell_off (sell_off) wrote,
sell_off
sell_off

Ученые создадут "красную кнопку", предназначенную для отключения искусственного интеллекта

Оригинал взят у psyont в Ученые создадут "красную кнопку", предназначенную для отключения искусственного интеллекта
Оригинал взят у dmgusev в Ученые создадут "красную кнопку", предназначенную для отключения искусственного интеллекта




Исследователи из Оксфордского университета и принадлежащей Google компании DeepMind приступили к разработке системы аварийного отключения самообучающихся алгоритмов.

"Если такой агент [искусственный интеллект] работает в режиме реального времени под наблюдением человека, то иногда может возникнуть ситуация, при которой оператор будет вынужден нажать на большую красную кнопку, чтобы остановить агента от выполнения действий, опасных для самого агента или его окружения", - приводит N+1 цитату из статьи, посвященной созданию аварийной системы.

Авторы исследования отмечают, что самообучающиеся алгоритмы в перспективе могут обнаружить способ обхода или игнорирования штатной стоп-команды оператора. Цель анонсированной работы состоит в том, чтобы создать фреймворк, который не позволит искусственному интеллекту найти способ игнорирования команды отключения.

Так называемая большая красная кнопка при необходимости должна будет гарантированно прервать текущую деятельность робота и максимально обезопасить его и окружающих при потенциально опасной ситуации. Еще одно предназначение кнопки заключается в предотвращении действий, которые могут привести к "необратимым последствиям".

Отметим, что возможный выход искусственного интеллекта из-под контроля не раз ложился в основу сюжетов фантастических книг и фильмов. Кроме того, вопросы безопасности, связанные с разработкой систем ИИ, поднимали известные ученые и предприниматели. Например, о потенциальной опасности ИИ предупреждали основатель компаний Tesla и SpaceX Элон Маск и известный физик-теоретик Стивен Хокинг.
Subscribe

Buy for 30 tokens
Buy promo for minimal price.
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 0 comments