Anthropic требует взять паузу в ИИ-разработке

На фоне инвестиционного бума искусственного интеллекта один из флагманов — Anthropic — призвал всю отрасль замедлить разработку новых моделей.

По мнению сооснователя Джека Кларка, модели находятся на пороге рекурсивного саморазвития, которое может нести риски для всего человечества. “Если системы станут способны сами производить потомков, их безопасность, мониторинг и управление поведением станут намного важнее, чем сейчас”, — говорится в письме.

Компания-создатель Claude выделяет три ступени эволюции больших моделей, которые прошла с 2023 года — чатбот, агент-помощник кодера и автономный агент. Следующий этап — замкнутая петля разработки: “агенты, способные самостоятельно создавать и обучать собственные модели”. Сейчас в Claude 80% кода сгенерировано самим ИИ, до 100% остался год-два.

Добровольные ограничения маловероятны, признает Anthropic: “скрыть обучение новой модели намного проще, чем строительство ракетной шахты”, а любой участник гонки, не пожелавший соблюдать паузу, получит шанс вырваться вперед. Тем не менее отрасли нужны рамки, считает Кларк: “сейчас все выглядит так, что у отрасли есть педаль газа, но нет педали тормоза”.

Anthropic готовится к IPO с оценкой около $1 трлн. Компания систематически подает себя как наиболее ответственного среди конкурентов разработчика ИИ. Она, в частности, предупреждает о разрушительном воздействии физических ИИ-агентов на рынок труда и предостерегает о рисках автономного военного ИИ.