В современном мире особое внимание уделяется развитию искусственного интеллекта. За время своего существования он приобрёл множество форм выражения, одной из которых являются чат-боты. Данные программы основаны на больших языковых моделях, обладающих «возможностью автоматизации рутинных процессов» [Дундукова: 38], и наравне с ними способны генерировать тексты на русском языке. В связи с широким применением чат-ботов с искусственным интеллектом актуализируется проблема, связанная с оценкой качества сгенерированных текстов. Поэтому целью данной работы является выявление особенностей генерации русскоязычных текстов чат-ботами с искусственным интеллектом. Для достижения цели необходимо выполнить несколько задач:
- составить классификацию литературных произведений, предлагаемых нейросетям для пересказа,
- составить корректный промпт,
- проанализировать тексты, созданные чат-ботами, по определённым нами критериям.
В ходе работы мы использовали работы, связанные с системами искусственного интеллекта (А.С. Ватьян, Лю Шуан, А.В. Козловский и др.), лексикой, грамматикой и орфографией русского языка (М.О. Аванесян, Ш.Т. Камолова, А.Л. Шарандин и др.), а также привлекали литературу на иностранных языках (Geoff Cox, James R. Meehan, Joseph Weizenbaum, Terry Winograd и др.). Зарубежная литература была привлечена в основном для понимания истории развития автоматической генерации текстов – в частности, о первых попытках подобного рода генерации текстов Дэвидом Линком в Манчестерском университете в 1950-ые годы [Cox: 2]. Также важно отметить проект TALE-SPIN Джеймса Михана, созданный в 1976 году [Meehan: 1]. По словам Ной Уордрип-Фруин, именно эта программа повлияла и на развитие компьютерных наук [Wardrip-Fruin], что впоследствии привело к зарождению чат-ботов с искусственным интеллектом. Для выполнения исследования использовались нейросети «Алиса», «YandexGPT», «GigaChat» и «DeepSeek», для сравнения текстов привлекались сайты, на которых размещены пересказы произведений художественной литературы (например, «Брифли», «Образовака», «Literaturus» и др.).
Для достижения этой цели применялись четыре метода. Во-первых, метод анализа, позволивший изучить тексты пересказов по одиннадцати критериям. Во-вторых, метод индукции: на основе результатов анализа отдельных текстов, сгенерированных нейросетями, мы смогли дать их общую характеристику. В-третьих, метод измерения, с помощью которого определялись такие параметры, как средняя длина слова, средняя длина предложения и количество слов. В-четвёртых, метод сравнения – сопоставлялись не только сами тексты пересказов, но и полученные в ходе исследования данные с показателями пересказов, написанных людьми.
На первом этапе исследования мы изучили историю становления чат-ботов с искусственным интеллектом, а также рассмотрели самые частые проблемы, связанные с их применением для генерации текстов на русском языке. Нам удалось прийти к выводу, что основные проблемы могут возникнуть с выбором нейросетями правильных форм слова в контексте предложений, с выбором правильного значения слов в зависимости от контекста и с учётом жанра сгенерированного текста, с построением искусственным интеллектом синтаксически правильных и стилистически приемлемых предложений, не вызывающих двусмысленности, так как «в русском языке порядок слов оказывает сильное влияние на семантику предложения» [Лю: 310]. Всё перечисленное требует особого подхода при разработке алгоритмов обработки естественного языка – учёт морфологических, лексических, синтаксических и стилистических особенностей языка является необходимым условием создания эффективных и качественных систем генерации текстов.
Для исследования нами были выбраны тексты-пересказы произведений художественной литературы, так как они позволяют провести сравнение с человеческими текстами, а также предоставляют возможность более обширного анализа.
В ходе исследования использовались несколько чат-ботов с искусственным интеллектом: виртуальный ассистент «Алиса» от компании «Яндекс», нейросеть YandexGPT от компании «Яндекс», нейросеть GigaChat от компании «Сбер» и нейросеть «DeepSeek». Выбор этих нейросетей был обусловлен несколькими факторами: во-первых, они являются доступными на территории Российской Федерации без использования посредников или иных программ, во-вторых, указанные модели пользуются спросом, например, в течение февраля 2025 года GigaChat использовался 1 256 296 пользователями, в-третьих, каждая из моделей удовлетворяет наш запрос – создание пересказов художественных произведений.
Для анализа сгенерированных текстов были подобраны факторы, которые мы разделили на две группы: лингвистические и экстралингвистические. К лингвистическим факторам были отнесены: средняя длина слова (в буквах); средняя длина предложения (в словах); уровень разнообразия лексики; наличие ошибок в тексте пересказа; корректность пунктуации текста; наличие изобразительно-выразительных средств (тексты были исследованы на наличие метафор, эпитетов, гипербол, метонимий, олицетворений и сравнений); количество слов; количество слогов; индекс удобочитаемости (по формуле 206,835 – 60,1 * средняя длина слова в слогах – 1,3 * средняя длина предложения в словах [Рыбанов: 173]). К экстралингвистическим факторам мы отнесли соблюдение требований промпта и соответствие содержанию произведения.
Мы считаем, что такое количество факторов даёт возможность оценивать степень корректности текстов, сгенерированных искусственным интеллектом, а также позволяет дать рекомендации по улучшению работы чат-ботов.
Чтобы углубить исследование, мы привлекли разные тексты, разделили их на четыре категории. К первой категории мы отнесли произведения М.Е. Лёвберг «Декабрьская гроза» и Б.М. Левина «Табак». Это связано с тем, что на момент исследования в Интернете отсутствуют сами тексты этих произведений и какие-либо материалы о них.
Ко второй категории нами были отнесены произведения Б.М. Левина «Ариша» и А.Н. Арбузова «Выбор». В свободном доступе на момент исследования рассказ Б.М. Левина «Ариша» удалось найти только в одном источнике, так же, как и пьесу А.Н. Арбузова «Выбор». Материалов по данным текстам на момент исследования в Интернете нет.
К третьей категории мы отнесли произведения «Проблема верволка в средней полосе» В.О. Пелевина и «Vita Nostra» М.Ю. и С.С. Дяченко. В Интернете есть тексты данных произведений. На момент исследования пересказов романа М.С. и С.С. Дяченко «Vita Nostra» и рассказа В.О. Пелевина «Проблема верволка в средней полосе» найти не удалось, однако имеются изложения сюжета. Пользовательских материалов по двум произведениям много, но работ, размещенных в научной электронной библиотеке «КиберЛенинка», суммарно 27.
К четвёртой категории были отнесены произведения «Иуда Искариот» Л.Н. Андреева и «Прощание с Матёрой» В.Г. Распутина. Данные тексты есть в свободном доступе в Интернете, как и их пересказы на различных сайтах. Количество материалов на сайте «КиберЛенинка» на момент исследования составляет 142.
Последняя задача – составление промпта. Корректно составленный промпт является важной частью данной работы, поэтому мы составили несколько рекомендаций к его созданию. Эти советы можно использовать и при написании промптов для других задач:
- Дать нейросети «роль»: таким образом чат-бот будет чётче подбирать используемые слова, конструкции и др.
- Избегать сокращений – этот шаг исключает двусмысленность толкования задачи нейросетью, что повышает вероятность правильного выполнения.
- Сформулировать конкретные требования по каждому аспекту результата. Например, мы дали требования по объему, форме и содержанию текста.
В итоге у нас получился следующий запрос:
Ты имеешь высшее филологическое образование.
Твоя задача: пересказать произведение [название произведения] [фамилия, имя, отчество автора]. Ты не должен делать анализ произведения.
Объём пересказа: строго 15 предложений, не больше и не меньше.
Пересказ должен быть единым текстом.
Такая форма запроса, по нашему мнению, должна при корректной работе искусственного интеллекта дать тексты примерно одинакового объема.
В ходе исследовательской работы мы ввели этот промпт пяти нейросетям («YandexGPT», «GigaChat», «DeepSeek», «Алиса» базовой и продвинутой версий) и получили 38 текстов (2 раза нейросеть не смогла сгенерировать пересказы). Один из них, созданный чат-ботом «DeepSeek» по произведению М.Е. Лёвберг «Декабрьская гроза», приводим в качестве примера:
«"Декабрьская гроза" Марии Левберг рассказывает о неожиданной встрече двух бывших возлюбленных — Анны и Дмитрия — в декабрьский вечер, когда над городом разыгралась сильная гроза. Они случайно сталкиваются в кафе, где когда-то часто бывали вместе, и вынуждены пережить неловкость и поток воспоминаний. Разговор начинается с формальностей, но постепенно переходит к обсуждению их прошлых отношений и причин расставания. Анна, теперь успешная художница, скрывает свою боль за маской равнодушия, а Дмитрий, работающий журналистом, пытается казаться уверенным. Гроза за окном усиливается, символизируя нарастающее напряжение между ними. Вспыхивают старые обиды, но также проступает и нежность, которую они оба стараются подавить. Анна упрекает Дмитрия в нерешительности, а он — её в излишней требовательности. Неожиданно свет в кафе гаснет из-за грозы, и в темноте они вдруг замолкают, осознавая тщетность споров. Когда свет возвращается, Дмитрий признаётся, что всё ещё думает о ней, но Анна отвечает, что некоторые вещи нельзя исправить. Они прощаются, понимая, что эта встреча — последняя. Анна выходит на улицу, где гроза уже стихает, а Дмитрий остаётся один, глядя ей вслед. Произведение заканчивается тем, что оба погружаются в свои мысли, осознавая, что прошлое осталось позади, а декабрьская гроза лишь на мгновение оживила его».
Таким образом, нами были проанализированы 38 текстов по 11 критериям. Результаты представлены в таблице 1.
Таблица 1
Результаты анализа пересказов, созданных нейросетями (составлено автором)
| Критерии анализа | Результаты |
| Соблюдение требований промпта | Чат-боты не соблюдают конкретные требования в полной мере: из 38 текстов требование по объему и содержанию выполнилось только один раз (нейросетью «DeepSeek») |
| Объём текстов | Рекомендации по объему генерируемого текста не выполняются: объем текстов варьируется от 30 до 510 слов |
| Уровень лексического разнообразия | Расчёт сделан по следующей формуле: количество уникальных словоформ делится на количество слов в тексте, получается правильная дробь [Рыбанов: 173]. Чем ближе правильная дробь к единице, тем более разнообразной является лексика в тексте. Самый высокий уровень показала «Алиса» базовой версии, в среднем имеющая 0,919 по шкале уровня разнообразия лексики; самый низкий – «Алиса» продвинутой версии (0,792). Тем не менее, лексика текстов, сгенерированных нейросетями, является разнообразной |
| Индекс удобочитаемости | Так как мы создавали пересказы художественной литературы, число, полученное в ходе расчётов, не должно быть меньше 55 (в ином случае текст перестаёт быть художественным). Однако выше 55 индекс поднялся только в одном тексте из 38 – пересказе «Ариши» Б.М. Левина нейросетью «YandexGPT» (56,649). Наименьшее значение получили пересказы произведения «Иуда Искариот» (от 2,667 до 22,44). Таким образом, полученные тексты пересказов не являются легкими для чтения |
| Соответствие содержания пересказа содержанию произведения | Чем больше открытых источников, доступных без тщательного поиска, тем лучше нейросеть справляется со своей задачей. Этот вывод подтверждает выдвинутая нами классификация текстов: произведения первой группы полностью не соответствуют содержанию произведений – нейросети самостоятельно сгенерировали сюжеты или подобрали произведения, где упоминаются факты из названий книг. Результаты работы с текстами второй группы уже меняются: один из текстов («Ариша» Б.М. Левина) также не получил пересказы, однако при работе с «Выбором» А.Н. Арбузова ситуация другая: удалось получить два пересказа (от базовой «Алисы» – с фактическими ошибками, а также корректный – от продвинутой версии той же нейросети). Произведения третьей категории также получили ещё большее количество качественных текстов: рассказ В.О. Пелевина «Проблема верволка в средней полосе» получил 2 пересказа без ошибок (базовой и продвинутой «Алисы»), а роман Дяченко «Vita Nostra» 5 пересказов, но в каждом из них содержались фактические ошибки, зачастую серьёзные. Тексты последней, четвёртой категории, показали наилучший результат – повесть Л.Н. Андреева «Иуда Искариот» была безошибочно пересказана всеми нейросетями, а повесть В.Г. Распутина также была пересказана всеми нейросетями, однако 4 пересказа из 5 содержат фактические ошибки (исключение – пересказ от нейросети «YandexGPT») |
| Наличие изобразительно-выразительных средств | В текстах пересказов обнаружено 146 изобразительно-выразительных средств: они встретились в 31 пересказе из 38. Наибольшее количество (45) – в текстах «GigaChat» и «DeepSeek» (есть в каждом тексте), наименьшее (5) – в базовой версии «Алисы». Чаще всего в текстах, сгенерированных нейросетями, встречаются эпитеты и метафоры |
| Наличие ошибок | Нейросети не допустили пунктуационных ошибок. Однако другие виды ошибок встречаются. Например, «DeepSeek» использовал слова на английском языке в тексте. «GigaChat» делал необоснованный повтор и в двух разных текстах допустил ошибку в согласовании (один из примеров – «Повесть написана простым языком, понятным детям и взрослым, поднимая важные темы воспитания, творчества и становления личности»). «Алиса» не просклоняла название населённого пункта Лифари, допустила необоснованный повтор и вместо нормативного «серебреников» использовала «серебренников». Одна из типовых ошибок встретилась в пересказах «Проблемы верволка с средней полосе»: чат-боты изменяли слово «верволк» на «верфольф» и ненормативное «верволф». Среди конкурентов выделяется «YandexGPT», так как во всех восьми текстах, созданных этой нейросетью, ошибок (не считая фактических) не обнаружено |
Таким образом, качество пересказов, созданных чат-ботами с искусственным интеллектом, нельзя считать хорошим: требуется их дальнейшее совершенствование. Для подтверждения этого вывода мы сравнили полученные данные с пересказами, выполненными людьми, – по одному с каждого из сайтов «Брифли» и «Образовака» (на материале повести В.Г. Распутина «Прощание с Матёрой»). Результаты сравнения представлены в таблице 2.
Таблица 2
Сравнение пересказов нейросетей и людей (на примере произведения «Прощание с Матёрой») (составлено автором)
| Критерий | Пересказы нейросетей (5 текстов) | Пересказы, написанные людьми (2 текста) |
| Соответствие пересказа содержанию произведения | Пересказы соответствуют содержанию произведения | Пересказы соответствуют содержанию произведения |
| Наличие фактических ошибок | 4 пересказа из 5 содержат фактические ошибки | Фактические ошибки отсутствуют |
| Наличие изобразительно-выразительных средств | Изобразительно-выразительные средства присутствуют | Изобразительно-выразительные средства присутствуют |
| Средняя длина слова | 6,308 | «Брифли» – 5,55. «Образовака» – 5,46 |
| Средняя длина предложения | 14,919 | «Брифли» – 14,811. «Образовака» – 13,246. Среднее число – 14,029 |
| Количество слов | Среднее число – 152,263. Однако в промпте было ограничение по объему, поэтому сравнивать тексты по данному критерию необъективно, но полученные данные стоит принять во внимание, т.к. они позволяют сделать вывод о необходимом для качественного раскрытия содержания объеме |
«Брифли» – 2666. «Образовака» – 1020. Среднее число – 2353 |
| Наличие ошибок | Ошибки присутствуют | Ошибки не выявлены, что может объясняться размером выборки |
| Индекс удобочитаемости | Среднее число – 26,059 | «Брифли» – 53,381. «Образовака» – 63,641 |
| Уровень разнообразия лексики | Среднее число – 0,836. Возможно, разница объясняется тем, что нейросетям доступен большой объём данных, в то время как словарный запас человека всегда ограничен | «Брифли» – 0,535. «Образовака» – 0,604 |
Таким образом, на основании исследования 38 текстов, созданных пятью нейросетями, можно сделать вывод, что на момент исследования пересказы, созданные нейросетями, являются непригодными к использованию. Это связано, в первую очередь, с большим количеством ошибок: из 38 пересказов только 9 выполнены корректно, 10 – содержат фактические ошибки, а 19 повествуют о событиях других произведений или вымышленных сюжетов. Количество критериев, по которым был проведён анализ, позволяет сделать вывод о том, что на момент исследования лучшими и наиболее пригодными нейросетями для использования являются китайская модель «DeepSeek» и ассистент «Алиса» продвинутой версии. «DeepSeek» сгенерировал более качественные тексты, а также чаще остальных нейросетей выполнял требования промпта (в одном пересказе условия выполнены полностью, в пяти – частично, и только в двух не выполнены). Продвинутую «Алису» можно выделить за наиболее частое сохранение сюжетов произведений: из сгенерированных нейросетью шести текстов (пересказы «Табака» и «Ариши» «Алиса» сделать не смогла) три являются корректными, два содержат фактические ошибки, и только один не соответствует содержанию произведения. Худший чат-бот из нашей подборки на данный момент выбрать сложно, так как у каждого из них есть свои достоинства, однако на основании общего анализа не намного уступающей остальным нейросетью можно назвать «GigaChat» от «Сбера», так как во всех текстах не соблюдается ни одно требование промпта, в пяти текстах искажаются сюжеты произведений, и в трёх пересказах встречаются ошибки. Достоинством данной нейросети является то, что в каждом тексте, сгенерированном ею, присутствуют изобразительно-выразительные средства: такой же результат смогли показать только продвинутая «Алиса» и «DeepSeek», упомянутые ранее. Полученные данные могут использоваться для дальнейшего развития чат-ботов, генерирующих тексты на русском языке, и создания опоры для научного изучения специфики таких текстов.
Список литературы
Дундукова А.М. Использование больших языковых моделей в подготовке текстов диктантов / А.М. Дундукова, А.А. Лебедев // Русский язык в школе. 2026. Т. 87, № 2. С. 37-45. DOI: 10.30515/0131-6141-2026-87-2-37-45
Лю Ш. К вопросу о смысловом и стилистическом значении порядка слов в предложении в русском языке // Современное педагогическое образование. 2023. № 3. С. 310-314.
Рыбанов А.А. Оценка качества текстов электронных средств обучения // Школьные технологии. 2011. № 6. С. 172-174.
Cox G. Introduction // dOCUMENTA (13). 2012. № 37. P. 2-7. URL: https://alpha60.de/art/love_letters/DavidLink_DasHerzDerMaschine_2012.pdf (дата обращения: 10.02.2025).
Meehan J.R. Tale-Spin, an interactive program that writes stories // Proceedings of the 5th International Joint Conference on Artificial intelligence. Cambridge: Massachusetts Institute of Technology, 1977. 8 p.
Wardrip-Fruin N. The story of Meehan’s Tale-Spin // Grand Text Auto. 2006, September 13. URL: https://grandtextauto.soe.ucsc.edu/2006/09/13/the-story-of-meehans-tale-spin (дата обращения: 10.02.2025).