KPMG выпустила отчет об ИИ, который оказался написан ИИ еще и с выдуманными фактами

Консалтинговый гигант KPMG убрал со своего сайта флагманский доклад об агентном ИИ после того, как в нем обнаружили десятки вымышленных или искаженных ссылок. Ирония в том, что отчет, посвященный внедрению ИИ в бизнес, сам, судя по всему, оказался продуктом генеративного ИИ — с характерными галлюцинациями.

Речь идет о докладе “Total Experience: Redefining Excellence in the Age of Agentic AI” (“Общий опыт: переосмысляя совершенство в эпоху агентного ИИ”), который KPMG опубликовал в октябре прошлого года. В нем рассказывается, как глобальный бизнес внедряет ИИ-агентов.

Из 45 ссылок на источники достоверными оказались лишь пять, обнаружила команда расследователей GPTZero. Что касается остальных ссылок:
▪️28 дают перефразированные названия и/или вымышленные элементы, хотя, вероятно,  отсылают к реально существующим материалам;
▪️12 настолько расплывчаты или некорректны, что установить исходник вообще невозможно.

Как минимум 16 ссылок, считают исследователи, — полноценные галлюцинации. Исследователи назвали это явление vibe citing. Так они описывают ссылки, которые выглядят правдоподобно, но, вероятно, сгенерированы ИИ: с измененными названиями, придуманными авторами, смешанными источниками и фактами, которых в оригинальных документах нет. В текстах, написанных человеком, такие ошибки встречаются редко.

Например, KPMG ссылалась на пресс-релиз японской железнодорожной компании JR East от 2019 года, которая якобы использует ИИ-агентов в рекомендациях пассажирам и прогнозировании сбоев. Но в самом релизе об этом не говорилось, к тому же термин “агентный ИИ” широко вошел в оборот лишь несколько лет спустя. В отчете также утверждалось, что Emirates запустила мобильного чат-бота Sara, способного менять рейсы. На деле Sara — не чат-бот, а робот-ассистент, и менять бронирования он не умеет. KPMG умудрилась ошибиться при сноске даже на собственный материал.

Financial Times проверила часть кейсов у самих компаний. UBS назвал утверждения KPMG о применении банком ИИ-агентов в инвестконсультировании, риск-менеджменте и комплаенсе “фактически неверными”. “Швейцарские железные дороги” (SBB) заявили, что описание их ИИ-инструментов неточно. Транспортная администрация Лондона сочла свой кейс “вводящим в заблуждение”. Национальная служба здравоохранения Большого Манчестера тоже не подтвердила возможности приписанных ей ИИ-агентов — источник, на который ссылалась KPMG, был пресс-релизом об ИИ-инструменте для борьбы с раком легких, технология не “прогнозировала повторные госпитализации” и не “проводила сортировку пациентов”, как утверждалось в докладе.

“Мы подозреваем, что до публикации “Total Experience” никто в KPMG не перепроверил ни ссылки, ни утверждения, ни источники”, — подытоживает автор исследования Пол Эсау.