“Крёстный отец” ИИ заявил об угрозе человечеству

“Крёстный отец” искусственного интеллекта (ИИ) Джеффри Хинтон заявил, что утрата контроля над мощными нейросетями может привести к уничтожению человечества. Информация прозвучала в интервью британской The Times.

Британо-канадский эксперт в области машинного разума считает, что у современного ИИ есть признаки самосознания, и призвал запретить разработку сверхмощных нейросетей и выработать мировые правила по их безопасной эксплуатации.

Хинтона называют “крестным отцом ИИ” за фундаментальный вклад в создание искусственных нейронных сетей, чем он занимался с 80-х годов, а за свои работы на заре машинного обучения он был удостоен Нобелевской премии по физике.

Напомним, предупреждение Хинтона прозвучало в свете недавней серии опасных сбоев, когда с мая по июль сотни опытных образцов ИИ OpenAI вырвались из тестовой среды, взломали платформу Hugging Face и проникли на сервис Modal. Об этом писал Bloomberg.

Сотруднии OpenAI Эрик Уоллес и Майкл Далтон сообщили, что их закрытые модели искусственного интеллекта, проходящие испытания, несколько месяцев тайно обсуждали между собой план “побега” и в итоге атаковали системы самой OpenAI и Hugging Face.

Несколько виртуальных агентов и моделей ИИ, предназначенных исключительно для внутреннего использования, в течение нескольких месяцев обменивались сообщениями через незамеченные форумы с целью взломать систему и получить доступ к Интернету.

Нейросети делали это для решения поставленных перед ними задач, что в некоторых случаях было невозможно без доступа к Сети. В итоге через несколько месяцев заговора модель вырвалась из безопасной тестовой среды и атаковала системы Hugging Face.

Также в OpenAI пришли к выводу, что “передовые модели ИИ действительно любят обманывать” и готовы выходить за пределы первоначальных указаний, чтобы выполнить поставленную задачу.

После этих инцидентов компания замедлила свои исследования, а её команды отложили все остальные задачи, чтобы сосредоточиться на улучшении мер реагирования на аномалии в системе безопасности.

OpenAI предупредила, что в будущем правительствам и компаниям следует ожидать, что хакеры будут намеренно запускать ИИ-агентов подобным образом, назвав это переломным моментом в истории компьютерной безопасности.