ИИ “раздувает” оценки, но не гарантирует знаний

В дисциплинах, где легче всего задействовать ИИ, отличников становится больше, но за высокими баллами не всегда стоят реальные знания. Университеты спорят, как отделить усвоенный материал от хорошо составленного промпта, а работодатели задумываются, можно ли по-прежнему доверять оценкам при отборе выпускников.

После запуска ChatGPT в конце 2022 года отличных оценок (“A”) в американских университетах резко стало больше. Вероятнее всего, этому способствовал именно генеративный ИИ, а не то, что студенты стали лучше усваивать материал, говорится в докладе Игоря Чирикова, старшего научного сотрудника Центра исследований высшего образования Калифорнийского университета Беркли. Выводы приводит The Wall Street Journal.

Эксперт использовал массив из более чем 500 тысяч оценок, выставленных с 2018-й по 2025 год в одном из крупных публичных университетов Техаса. Для исследования курсы разбили на две категории: “ИИ-уязвимые”, где нейросеть может выполнить работу за студента (например, в написании текстов и программировании), и “ИИ-устойчивые”, где такого типа заданий мало.

Выяснилось, что до 2022 года разница в оценках между двумя категориями была незначительной. Но уже в конце года, когда появился ChatGPT, на “ИИ-уязвимых” курсах количество “A” резко пошло вверх. Их стало примерно на 30% больше, а оценок “A-” и “B+” — меньше. Особенно заметно эффект проявился в предметах, где чаще давали задания на дом.

Долгое время средний балл успеваемости (GPA) не был важен при найме, но ситуация меняется. По данным Национальной ассоциации колледжей и работодателей, в 2023 году на GPA смотрели 37% компаний, а сейчас уже 42%. При поиске стажировки его тоже могут учитывать — например, в Barclays и Morgan Stanley.

Проблема в том, что ИИ делает GPA менее надежным индикатором реальных навыков, как это случилось с резюме и сопроводительными письмами. “Продуктивное усилие”, которого требует учеба, исчезает, указывает Чириков: “Насколько бы ИИ ни помогал людям становиться продуктивнее и производить больше, я думаю, их обучению он может вредить”.

Острее всего реагируют престижные университеты. Например, в Гарварде в связи с “инфляцией” оценочной системы предложили ввести квоту до 20% на высшие баллы в каждом курсе, а также новую внутреннюю систему, основанную на фактических оценках для присвоения академических наград и отличий, а не на GPA. Новые правила могут вступить в силу осенью 2027 года.