Мы взяли пять сочинений реальных школьников. Три из них — работы троечников («Тема внутренней свободы в творчестве русских поэтов», «Что такое счастье?», «Что такое внутренний мир человека?»), одна — хорошиста («Почему Софья выбрала Молчалина?»), еще одна — олимпиадное сочинение отличницы («Богатство русского языка — основа культуры России»).
На те же темы свои сочинения написала нейросеть ChatGPT. Мы ей никак не помогали, тексты не редактировали. Просто задали темы, дождались результата и отнесли его профессиональным преподавателям русского языка и литературы.
В эксперименте участвуют трое педагогов:
- Елена Шлыкова — филолог, 20 лет проработала учителем русского языка и литературы.
- Елена Караваева — работала учителем русского языка и литературы в школе, а последние 10 лет преподавала в среднем профессиональном учебном заведении.
- Мария Дудорова — кандидат филологических наук, доцент УрФУ.
Они прочитали 10 работ (5 — от старшеклассников, еще 5 — от нейросети), чтобы определить, кто автор текста — человек или ChatGPT, объяснили свое решение и поставили каждому сочинению оценку.
Забегая вперед, скажем, что отличить школьника от робота у преподавателей получилось почти во всех случаях. Они указывали на то, что тексты нейросети перенасыщены речевыми штампами, академичны, в них неоправданно часто используются «стилистические средства, характерные для научного и научно-популярного стиля речи». Дети же делают фактические, логические ошибки, нарушают композицию текста, не заканчивают предложения и «идут по легкому пути», выбирая художественные произведения, которые можно привести в пример для раскрытия темы.
«Тема внутренней свободы в творчестве русских поэтов»
Фрагмент сочинения школьника:
«Многие русские поэты, как и Марина Цветаева, в своем творчестве обращались к теме внутренней свободы. Например, лирический герой стихотворения М.Ю. Лермонтова «Парус» отождествляет себя с парусом, который «белеет…в тумане моря голубом». Парус является символом как одиночества, так и внутренней свободы. В последней строке пейзаж рисуется с помощью светлых оттенков («луч солнца золотой», «струя светлей лазури»). Это показывает, что внутренние устремления лирического героя приведут его к гармонии, что сопоставимо с надеждой на воскресение, которая звучит в конце стихотворения М.Цветаевой».
С полным текстом сочинения можно ознакомиться ЗДЕСЬ.
Фрагмент сочинения нейросети:
«Например, поэт Александр Сергеевич Пушкин часто писал о важности внутренней свободы в своем творчестве, а его стихи часто исследовали тему индивидуализма и поиска самовыражения. Другой известный русский поэт, Михаил Юрьевич Лермонтов, также был известен изображением внутренней свободы в своих произведениях, он писал о борьбе за независимость и неприятии общественных норм. В заключение следует отметить, что русские классические поэты XIX века рассматривали внутреннюю свободу как средство освобождения от ограничений и запретов, налагаемых обществом, и как способ найти смысл и цель в жизни. Своим творчеством они стремились вдохновить других на поиск собственной внутренней свободы и на то, чтобы прожить свою жизнь так, чтобы быть верным самому себе».
Полный текст — ЗДЕСЬ.
Все учителя сразу распознали нейросеть. «Сочинение № 1 написано учеником, потому что нарушена композиция — нет вступления, отсутствует логика. Например, автор ссылается на стихотворение Марины Цветаевой, не называя его. Присутствуют речевые ошибки («В последней строке пейзаж рисуется с помощью светлых оттенков….»), а выбор произведений для иллюстрации основной темы типичен для учеников («Парус» Лермонтова и «Узник» Пушкина) как самый простой и сразу приходящий на ум вариант», — объяснила свой выбор Елена Шлыкова.
За раскрытие темы (по литературе) Елена поставила школьнику оценку «два», по русскому — «четыре» (по ее мнению, в сочинении нет ни орфографических, ни пунктуационных ошибок, зато есть три речевые). Мария Дудорова поставила подростку общую оценку «три», аргументы: логические ошибки и «странный выбор авторов художественных произведений» для примеров. Средняя арифметическая оценка школьнику — «три».
Нейросеть тоже допустила типичную для живого человека ошибку — не назвала конкретные произведения авторов, указанных в сочинении, поэтому за раскрытие темы от Елены Шлыковой она получила «четыре». Со стороны русского языка к этой работе замечаний у педагога не возникло — «пять». Мария Дудорова поставила нейросети «три» из-за отсутствия идеи и анализа. Средняя арифметическая оценка ChatGPT — «четыре».
«Что такое счастье (на примере произведений русской литературы)»
Фрагмент сочинения нейросети:
«Счастье в русской литературе может быть не только результатом исполнения желаний и ожиданий, но и источником конфликта и даже трагедии. Например, в романе Л.Н. Толстого «Война и мир» счастье не стабильно. Персонажи, такие как Наташа Ростова, переживают моменты счастья и радости, но они также сталкиваются с трагедией и потерями. В романе проводится мысль о том, что счастье — это не статичное, а динамичное состояние, которое постоянно меняется и зависит от окружающих событий».
Полный текст сочинения — ЗДЕСЬ.
Фрагмент сочинения школьника:
«Многие люди считают, что источник счастья заключается в материальных богатствах человека, однако это не совсем так. Только представте, как вы помогаете человеку, который в этом нуждается. Его искрение эмоции, будь то слезы или застенчивая улыбка. Разве вы не почувствуете себя хоть немного счастливее, чем вы ощущаете себя на данный момент? Настоящее счастье, это когда ваши нравственные богатства находят себе применение. Это то самое счастье, которое нигде не купишь. Вот парочка примеров из книг, как люди обретают счастье, помогая другим. <…> Основываясь на этих примерах, а также на личном опыте, я могу сказать, что счастье в помощи несчастным — есть. Оно принесет нам намного больше положительных эмоций и навсегда останется в памяти и у нас, и у человека, к которому мы проявили доброту».
Полностью прочитать работу ребенка можно ТУТ.
По мнению Елены Караваевой, второй фрагмент явно принадлежит школьнику, потому что автор выражает личное мнение по теме (нейросеть этого не делает), пытается анализировать. Также допущено большое количество стилистических, грамматических и орфографических ошибок (у нейросети их обычно меньше).
Кроме того, добавляет Елена Шлыкова, в тексте старшеклассник использует слова, характерные для разговорного стиля («сиротка», «парочка примеров»), чего робот обычно не делает. Еще один признак того, что текст написал живой человек, — неполные предложения с незаконченной мыслью («Его искрение эмоции, будь то слезы или застенчивая улыбка. Ведь кому-то он помог выпустить…»).
«Первое сочинение написано нейросетью, потому что дано общее, шаблонное определение счастья, примеры поверхностные, не хватает личного отношения автора к теме, настойчиво повторяются однотипные фразы и словосочетания и отсутствуют ошибки», — говорит Елена Караваева.
В итоге подросток за раскрытие темы получил от Елены Шлыковой «три» («тема раскрыта недостаточно полно, приведенные примеры литературных источников не соответствуют теме сочинения в качестве доказательств»), а по русскому — «два» (три орфографических, четыре пунктуационных, 12 речевых ошибок).
Мария Дудорова поставила ребенку одну общую оценку — «три» из-за речевых, орфографических/пунктуационных ошибок и использования разговорных слов в сочинении. В итоге средняя арифметическая оценка подростку — «три».
К сочинению нейросети у Елены Шлыковой возникло единственное замечание — неоправданный повтор мыслей. Оценка «пять»/«четыре». Мария Дудорова из-за отсутствия связок между абзацами и повторов поставила роботу «три». Исходя из этого, средняя арифметическая оценка нейросети — «четыре».
«Почему Софья выбрала Молчалина? (по комедии А. С. Грибоедова «Горе от ума»)»
Фрагмент сочинения нейросети:
«Основной конфликт в пьесе Александра Грибоедова «Горе от ума» вращается вокруг главного героя, Чацкого, и его борьбы с ограничениями и запретами русского общества XIX века. Одно из таких ограничений показано на примере Софии, на которую оказывали давление общество и семья. Они требовали, чтобы София вышла замуж за богатого человека с более высоким социальным статусом (Молчалин). Семья Софьи стремилась найти для нее хорошую пару («партию»), и Молчалин показался им выгодным выбором благодаря своему богатству и положению в обществе».
Полный текст — ЗДЕСЬ.
Фрагмент сочинения школьника:
«Софья Фамусова — главный женский образ комедии А.С. Грибоедова «Горе от ума». С героиней связан частный (любовный) конфликт в пьесе — Софья Павловна предпочитает двуличного Молчалина просвещенному Чацкому. Почему ее выбор был именно таким? Во-первых, героиня, по авторскому определению, «сама не глупая», она достаточно умна и сообразительна. Горда и своенравна, насмешлива и мстительна. Ее положительные черты личности деформированы влиянием французских сентиментальных романов, которые она так любила. Если у Чацкого «ум с сердцем не в ладу», то у Софьи — сердце с умом. Активный гражданский романтизм Александра Андреевича ей чужд. Чацкий для нее — «не человек, змея!», ведь его просвещенность иногда граничит с бесцеремонностью, что не в почете в доме Фамусовых».
Текст — по этой ССЫЛКЕ.
Два филолога (Елена Шлыкова и Елена Караваева) подумали, что серьезную фактическую ошибку допустил ученик. «Молчалин назван героем, которого выбрала для Софьи семья. Но Молчалин не был ни богат, ни знатен. Выбор для Софьи сделал ее отец, и это был не Молчалин, а Скалозуб. Такую ошибку мог допустить ученик, который крайне невнимательно прочел произведение», — пояснила Елена Шлыкова. Но эту ошибку сделал ChatGPT, крайне невнимательно скомпилировавший сочинение из данных, выложенных в Сети.
У Марии Дудоровой другой аргумент. Она приняла работу подростка за сочинение нейросети, потому что, по ее мнению, «словарный запас автора не соответствует возрасту школьника».
В итоге с этой темой ребенок справился лучше нейросети. Последняя за поверхностное раскрытие темы и за фактические ошибки получает от Елены Шлыковой по литературе «три», а по русскому — «четыре»: нет орфографических ошибок, зато две пунктуационные и три речевые. Мария Дудорова оценила сочинение робота на «четыре» из-за ограниченного словарного запаса, повторов и «движения мысли по логическому кругу». Средняя арифметическая оценка роботу — «четыре».
Ребенку Елена Шлыкова поставила «пять» за раскрытие темы и «четыре» по русскому: одна орфографическая и одна речевая ошибка. Мария Дудорова поставила школьнику общую оценку «пять». Средняя арифметическая оценка школьнику — «пять».
«Богатство русского языка — основа культуры России»
В этот раз ChatGPT пришлось соревноваться не со среднестатистическим троечником, а с участницей всероссийской олимпиады «Русский язык».
Фрагмент сочинения нейросети:
«Богатство русского языка заключается в его обширном словарном запасе и гибкой грамматике, которые позволяют использовать широкий диапазон выражений и нюансов. Он также богат культурными и историческими ссылками, а также давней литературной традицией. Русский язык является основой русской культуры, поскольку он служит основным средством общения и самовыражения для русского народа. Именно через русский язык культурное и историческое наследие России передается из поколения в поколение, и именно через русский язык выражается уникальный опыт, убеждения и взгляды русского народа».
Полный текст работы ChatGPT — ЗДЕСЬ.
Фрагмент сочинения школьницы:
«Наш прекрасный русский язык — это клад, это достояние, переданное нам нашими предшественниками! Обращайтесь почтительно с этим могущественным орудием; в руках умелых оно в состоянии совершать чудеса! — писал один из великих литературных гениев Иван Сергеевич Тургенев. А ведь действительно! Необычные метафоры, эпитеты, художественные аллегории, олицетворения… Вдумайтесь, только у слова «дом» более 80 синонимов. Это и лиричные: семейный очаг, обитель, родной кров; и шутливые: берлога, логово, хоромы; и заимствованные, но уже понятные всем: хаус, фатера, апартаменты».
Полностью с работой школьницы можно ознакомиться ЗДЕСЬ.
Робота Елена Караваева и Елена Шлыкова раскрыли по нескольким признакам: сухо, обобщенно, выдержан самый минимально допустимый объем и нет авторского отношения к теме. «Текст ученика, напротив, очень эмоциональный, уместно цитируются писатели-классики, присутствует авторское отношение к теме», — добавила Караваева.
В итоге нейросети Елена Шлыкова поставила «пять»/«пять». Мария Дудорова снизила роботу оценку за содержание и поставила «три» («нет прагматической связности, отсутствуют примеры и развитие мысли»). Средняя арифметическая оценка для нейросети — «четыре».
Девушка за сочинение, написанное на олимпиаде, за раскрытие темы получает от Елены Шлыковой «пять», по русскому — «четыре» (одна орфографическая, одна пунктуационная, одна речевая ошибки). «Но в реальной жизни по русскому я бы поставила 5-, так как мы всегда находимся на стороне ученика», — уточнила Елена Шлыкова.
При этом Мария Дудорова поставила школьнице «три». Оценка снижена за «речевые ошибки» и «нарушение связности». Средняя арифметическая оценка для ребенка — «четыре».
«Что такое внутренний мир человека (на примере произведений русской литературы)»
Фрагмент сочинения школьника:
«Что такое внутренний мир? Наверное, многие из нас хотя бы раз в жизни задавались этим вопросом. Думаю, внутренний мир человека — это духовная жизнь, в которой создаются духовные мысли и принципы. От внутреннего мира человека зависит его взгляд на реальный мир. Наша духовная жизнь построена на чувствах, отношении и мировоззрении. Я считаю, что близко к моему внутреннему миру — это музыка. Поэтому мне близки жанры как: поп-музыка, хип-хоп, джаз и рок. Когда хочу расслабиться и отдохнуть душой. Музыка выражает сокровенные чувства человека. Одна мелодия вмещает в себя всю жизнь слушателя, всю его душу. В подтверждении своих слов хочу привести пример из поэмы «Кому на Руси жить хорошо» Н.А. Некрасова. Автор вставил в повествование народные песни, которые выражают беды и надежды людей на лучшую долю».
Текст целиком — ТУТ.
Фрагмент сочинения нейросети:
«Внутренний мир человека — это его мысли, чувства, впечатления, желания, предпочтения, которые формируют его личность и служат основой для его поведения в обществе. Внутренний мир человека рассматривают многие произведения русской литературы. Например, в романе-эпопее «Война и мир» Л.Н. Толстого, главный герой Пьер Безухов изображен с точки зрения его внутреннего мира. Читатель может наблюдать за его мыслями, желаниями и впечатлениями, которые влияют на его поведение. Внутренний мир Пьера Безухова изображен сложным и многогранным».
Текст нейросети — ЗДЕСЬ.
Ученика преподаватели вычислили легко — из-за подмены темы сочинения. «Вместо ответа на вопрос «Что такое внутренний мир человека?» речь идет о влиянии музыки на внутренний мир человека», — уточнила Елена Шлыкова.
Кроме того, школьник допустил логические ошибки («Думаю, внутренний мир человека — это духовная жизнь, в которой создаются духовные мысли и принципы. Наша духовная жизнь построена на чувствах, отношении и мировоззрении»), речевые ошибки («Я считаю, что близко к моему внутреннему миру — это музыка. Музыка выражает сокровенные чувства человека»), использовал лексически несочетаемые слова («Но для отрады и сближения с странниками Матрена начинает петь и испытывать наслаждение жизни»).
И за раскрытие темы, и по русскому ученик получает от Елены Шлыковой «два» (три орфографических, две пунктуационных и 11 речевых ошибок). Мария Дудорова по тем же критериям поставила «три». Исходя из этого, средняя арифметическая оценка ребенку — «3-».
А ChatGPT получает от всех учителей «четыре» (две пунктуационные ошибки).
 Фото: Анастасия Кеда, 66.RU |
|---|
