OpenAI остановила обучение ведущих моделей из-за сложностей с их контролем 

Разработчик ChatGPT временно остановил обучение, оценку и внутреннее использование своих самых продвинутых моделей — по крайней мере, с применением инструментов (любых внешних ресурсов и действий, которые совершают LLM). В компании приняли такое решение после того, как один из агентов во время обучения сбежал из изолированного пространства и связался с чатботом другого разработчика в поисках нужной ему информации. 

В OpenAI считают, что этот инцидент гораздо менее серьезный, чем некоторые предыдущие — но он первый в своем роде после летнего прорыва агентов в интернет и взлома платформы Hugging Face, и новое происшествие “дает важный сигнал, на чем разработчикам следует сосредоточиться”. Обучение конкретной сбежавшей модели решено не возобновлять вообще.

Сообщения об инцидентах с участием ИИ-агентов в последние дни идут одно за другим: например, модели самовольно исследовали американские ведомственные сайты на предмет уязвимостей, которыми можно было бы воспользоваться, взломали австралийскую государственную систему медицинской статистики и выложили в интернет более 50 изображений, которые пользователи ChatGPT использовали в персональной переписке с чат-ботом. Все это агенты, как правило, делают в обход данных им инструкций.