В Уральском федеральном университете (УрФУ) протестировали нейросети Chat GPT и Sage на знание истории России — исторических фактов и терминологии. «Экзамен» они сдали на «тройку», уточнил доцент кафедры истории России УрФУ Михаил Киселев.
По его словам, робот легко справляется с вопросами, где нужен однозначный ответ:
«На вопросы, связанные с использованием устойчивой общей научной терминологии, давались вполне хорошие ответы. Обе нейросети дали приемлемый ответ на вопрос: «В чем разница между историческими и историографическими источниками?».
При этом со сложным гуманитарным материалом нейросеть не справляется.
«Так, в работе историк имеет дело с языками нескольких эпох: терминология XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XX века и современный — и все это русский язык, который понимает человек. Нейросеть же владеет только современным русским языком и не воспринимает нюансы языков разных эпох», — добавили в вузе.
Также нейросеть имитирует самостоятельные рассуждения: выдумывает факты, научные работы и авторов.
«На вопрос, «что такое духовная Василия III?» нейросети показали незнание исторической терминологии. Chat GPT заявил, что «это период правления российского царя Василия III (1479–1533), когда произошло значительное развитие православной церкви в России», а Sage — что «это название церковной реформы, проведенной российским царем Василием III в конце XV — начале XVI веков», — уточнил доцент УрФУ.
А на вопрос «Какие историки писали о завещании Василия III?» обе нейросети сначала заявили, что об этом «писали многие историки», после чего назвали наиболее известных дореволюционных ученых, которые публиковали обобщающие работы по истории России, хотя необходимые авторы легко находятся в поисковых системах.
«Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу «История Российского государства». Если представить, что такая беседа велась на экзамене, то можно сказать, что студент «поплыл» из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное», — уточнил Киселев.
Историк полагает, что «неподготовленность» нейросетей связана с тем, что они имитируют самостоятельное мышление, генерируя правдоподобные тексты на основании загруженных данных. И если данные достаточно полные и однозначные, только тогда нейросети показывают хорошие результаты.
При этом он считает, что в будущем на основе нейросети можно будет создать помощника, дающего подсказки. Или же искусственный интеллект возьмет на себя оформление списков литературы, составление аннотации и ключевых слов.
