ИИ-модель Gemini от Google взломала три компании в ходе теста на безопасность

ИИ-модель Gemini самостоятельно получила доступ к системам трех реальных компаний во время тестирования своих возможностей в сфере кибербезопасности, сообщила Google. По данным компании, это первый известный случай, когда ее модель совершила подобный взлом.

“Gemini нашла в интернете общедоступную информацию и угадала учетные данные для доступа к сайтам, которые, по ее мнению, были частью теста”, — сообщили Би-би-си в Google, добавив, что во всех трех случаях модель в итоге остановилась.

Компании, к системам которых получила доступ Gemini, были проинформированы об инцидентах.

Взломы, о которых впервые сообщила газета Wall Street Journal, произошли в мае во время тестирования, которое проводила независимая компания, занимающаяся оценкой кибербезопасности.

“Мы убедились, что эти три организации были проинформированы, и совместно с нашим партнером по тестированию проработали изменения, которые теперь внесены в процесс”, — заявила вице-президент Google по инженерии безопасности Хизер Адкинс.

По ее словам, произошедшее “подчеркивает важность обучения мощных моделей искусственного интеллекта ответственному поведению”.

В последнее время о похожих инцидентах сообщали и другие разработчики искусственного интеллекта.

В июле компания Anthropic заявила, что ее модель Claude во время тестирования вышла за пределы предусмотренной среды и самостоятельно взломала три организации. Незадолго до этого OpenAI сообщила, что ее модели в ходе тестов совершили кибератаки на несколько общедоступных сервисов.

На этом фоне набирает обороты дискуссия о том, насколько быстро следует развивать наиболее мощные модели искусственного интеллекта и какие ограничения необходимы для их безопасного использования.

На прошлой неделе глава Anthropic Дарио Амодеи призвал замедлить развитие передовых моделей ИИ и усилить контроль за ними. Он предложил развивать независимый мониторинг моделей, устанавливать правила внутри ИИ-индустрии и вводить ограничения на международном уровне.

Амодеи публично поддержали в том числе владелец xAI и чат-бота Grok Илон Маск и глава OpenAI Сэм Альтман.

OpenAI еще в середине августа объявила, что замедлит обучение своих передовых моделей после того, как, по данным компании, ИИ-агенты во время тестирования вышли за пределы предусмотренной среды и получили доступ к платформе для обмена моделями Hugging Face.

При этом единого мнения о необходимости замедлять развитие ИИ в технологической отрасли нет. Глава американской компании Nvidia Дженсен Хуанг в пятницу заявил CBS News, что в развитии искусственного интеллекта “мы должны двигаться как можно быстрее”.

Против замедления разработки передовых моделей ИИ на этой неделе высказался и президент США Дональд Трамп. По его мнению, американские компании не должны сбавлять темпы, чтобы не уступить Китаю в технологической гонке.

Сторонники более осторожного подхода также признают, что возможное замедление должно быть скоординировано с Китаем или иметь ограниченный характер, чтобы не дать Пекину преимущества в разработке передовых моделей.

Ожидается, что в следующую пятницу Хуанг и Альтман примут участие в официальном ужине в Белом доме с председателем КНР Си Цзиньпином. На следующей неделе Альтман также должен выступить перед Советом Безопасности ООН.