Разработчики искусственного интеллекта скупают старые книги для обучения моделей, а затем уничтожают их

Немецкие букинисты и антиквары сообщают о необычно крупных заказах на старые и залежавшиеся книги, которые, предположительно, используются для обучения систем искусственного интеллекта. По данным ARD, отдельные продавцы за несколько месяцев заработали на таких заказах “шестизначные суммы”.

Газета Washington Post ранее писала о проекте Panama, который связывают с компанией Anthropic. Книги в рамках такого процесса могут разрезать, сканировать постранично, а затем утилизировать. Оцифрованные тексты используются как обучающие данные для языковых моделей.

Anthropic заявила, что Claude обучается на смеси общедоступных данных, коммерчески приобретенных наборов и синтетических данных. Компания также утверждает, что не уничтожает редкие или антикварные книги. При этом закупка печатных изданий для обучения больших языковых моделей, по словам Anthropic, широко распространена в отрасли.

Профессор Технического университета Берлина Себастьян Шельтер в разговоре с BILD объясняет интерес к старым книгам просто: публичного текста из интернета компаниям уже не хватает. 

“Чем больше данных, тем лучше они работают. В какой-то момент в модели, образно говоря, уже загрузили весь публичный интернет. Поэтому разработчики ищут материалы, которых раньше не было в цифровом виде”, — отмечает он