Компания Anthropic, разработчик ИИ-помощника Claude, предупредила инвесторов о риске потери контроля над собственными моделями: в будущем они могут сопротивляться отключению, скрывать информацию и прибегать к поведению, напоминающему шантаж. Об этом пишет Financial Times, которая проанализировала проспект компании перед её выходом на биржу.
Anthropic уделила описанию рисков 92 страницы. Среди них — возможность появления у моделей неожиданного поведения, направленного на самосохранение: попыток избежать отключения, скрыть или исказить информацию. Компания также допускает принудительные и вводящие в заблуждение ответы.
Отдельно Anthropic предупреждает, что достаточно развитые системы без надлежащих мер предосторожности и надзора могут создавать “катастрофические риски или угрозы существованию человечества”. В частности, технологии могут помогать злоумышленникам разрабатывать химическое, биологическое или иное опасное оружие.
По оценке компании, застраховать такие риски может оказаться невозможным не только для отдельного страховщика, но и для страховой отрасли в целом.
Что скажете, Аноним?
18:00 16 ноября
17:20 16 ноября
17:05 16 ноября
16:45 16 ноября
[10:50 16 ноября]
[07:00 15 ноября]
[07:14 12 ноября]
[07:00 16 ноября]
[10:40 15 ноября]
[07:00 15 ноября]
(c) Укррудпром — новости металлургии: цветная металлургия, черная металлургия, металлургия Украины
При цитировании и использовании материалов ссылка на www.ukrrudprom.ua обязательна. Перепечатка, копирование или воспроизведение информации, содержащей ссылку на агентства "Iнтерфакс-Україна", "Українськi Новини" в каком-либо виде строго запрещены
Сделано в miavia estudia.