OpenAI остановил обучение передового ИИ

OpenAI на две недели полностью остановила обучение с подкреплением (RL) для готовящихся к релизу моделей и ужесточила требования к изолированным средам — в частности, убрала потенциально уязвимые процессы и еще больше сократила права доступа. Крупнейший запланированный RL-эксперимент также остается на паузе.

Вместе с тем компания расширила мониторинг подозрительных действий моделей и одобрила схему быстрого реагирования. При выявлении вредоносной активности предупреждения будут направляться в течение 30 минут, и если специалисты за это время не смогут признать тревогу ложной, то они должны будут приостановить выполняемые процессы.

Инициатива связана с предварительными испытаниями модели Astra, которая, по утверждению компании, достигла “критического порога кибербезопасности”. Замедление разработки этой модели было анонсировано еще 7 августа. Еще одним поводом для осторожности стал инцидент со взломом Hugging Face, после которого OpenAI признала, что должна усилить меры безопасности.