Насколько надежны ИИ-детекторы? Эксперты предлагают новые подходы к выявлению текстов, сгенерированных нейросетями

Инструменты для обнаружения искусственного интеллекта обещали эффективное решение проблемы растущего объема низкокачественного контента в интернете. Однако на практике их работа часто сводится к случайным результатам. Академические исследования и независимые тесты неоднократно показывали, что наиболее распространенные детекторы ошибочно идентифицируют тексты, написанные человеком, как сгенерированные ИИ. Это делает такие инструменты контрпродуктивными, при этом проблема усугубляется по мере совершенствования ИИ-систем. В то же время, существуют характерные признаки, отличающие машинную прозу от человеческой, которые обученный читатель может надежно распознать без помощи программного обеспечения.

Искусственный интеллект сегодня воспринимается как идеальный способ выполнять задачи "умнее, а не усерднее". Это особенно заметно в образовательной сфере и на некоторых рабочих местах. Хотя такие инструменты, как ChatGPT, отлично подходят для составления списков покупок или проведения мозговых штурмов, они также способствуют созданию большого объема некачественного, однообразного контента.

Как отличить текст, написанный ИИ?

По словам одного из обозревателей, который ежедневно сталкивается с текстами, созданными при помощи ChatGPT и Claude, подобные работы становятся все легче распознавать. Причиной тому — не "ИИ-детекторы", а предсказуемость стиля письма. Одним из главных тревожных сигналов эксперт называет "википедийный голос": это грамматически безупречный, но абсолютно бездушный текст, который использует расплывчатые, чрезмерно пафосные формулировки и просто повторяет заданную тему.

Если студент, обычно пишущий короткими, простыми предложениями, вдруг представляет "многогранный анализ", используя такие слова, как "гобелен" или "углубиться", это вызывает подозрения. ИИ любит клише и часто завершает каждый абзац аккуратным "итоговым бантом", начинающимся со слов "В заключение". Это письменный эквивалент дипфейка: на первый взгляд он выглядит правильно, но как только начинаешь искать "человеческие" несовершенства, вся конструкция распадается.

Основные признаки, по которым можно определить, что текст был написан искусственным интеллектом:

• Ключевые термины из задания многократно повторяются.
• В тексте присутствуют неточные факты, что является результатом "галлюцинаций" ИИ-бота (термин, описывающий генерацию ложной информации).
• Предложения звучат неестественно.
• Объяснения носят общий и повторяющийся характер, не приводя к конкретным выводам.
• Тон письма отличается от обычного стиля автора.

Например, студент может использовать ChatGPT (чат-бот с ИИ, работающий на основе больших языковых моделей и использующий разговорный формат "вопрос-ответ" для предоставления результатов запросов) для написания короткого эссе, просто скопировав и вставив вопрос задания в инструмент.

Рассмотрим пример задания: "В 300 словах или менее объясните, как этот SWOT-анализ и аудит бренда повлияют на ваше итоговое предложение."

Представленный в обзоре результат ChatGPT показывает, что одним из наиболее очевидных признаков является частота, с которой ключевые термины из задания используются в итоговом тексте. Обычно студенты не повторяют ключевые фразы задания в такой манере, и подобные результаты скорее напоминают старые SEO-оптимизированные тексты, предназначенные для определения терминов, а не уникальное эссе, демонстрирующее понимание предмета.

Как использовать ИИ для выявления мошенничества

Возникает вопрос: могут ли преподаватели использовать инструменты ИИ для выявления студентов, применяющих ИИ? Экспертами были предложены некоторые методы для более эффективного обнаружения текстов, созданных искусственным интеллектом.

Понимание возможностей ИИ

На рынке существуют инструменты ИИ, которые могут сканировать задание и критерии его оценки, чтобы за считанные мгновения создать полностью написанную, цитированную и завершенную работу. Среди таких инструментов можно назвать GPTZero и Smodin. Ознакомление с подобными программами является первым шагом в борьбе с нарушениями академической честности, вызванными использованием ИИ.

Действовать как нарушители

Перед началом семестра рекомендуется скопировать все задания и вставить их в такой инструмент, как ChatGPT, попросив его выполнить работу. Получив примеры результатов, которые ИИ предоставляет в ответ на конкретные задания, преподаватель будет лучше подготовлен к выявлению работ, написанных ИИ. Можно также использовать специализированные инструменты, разработанные для обнаружения текстов, сгенерированных искусственным интеллектом.

Получить образцы подлинного письма

В начале семестра необходимо попросить студентов предоставить простой, интересный и личный письменный текст. Задание может быть таким: "200 слов о вашей любимой игрушке в детстве" или "Расскажите историю о самом веселом событии в вашей жизни". Имея образец подлинного стиля письма студента, его можно будет использовать позже для сравнения с подозрительными работами, которые, возможно, были написаны ИИ.

Попросить переписать работу

Если есть подозрение, что студент использовал ИИ для выполнения задания, можно взять представленную работу и попросить инструмент ИИ переписать ее. Во многих случаях, как отмечается, ИИ-инструмент переписывает свою же работу максимально ленивым образом, заменяя синонимы вместо изменения существенных элементов "оригинального" текста.

Один из примеров такой переработки показал, что фразы изменяются, лишая текст души и заменяя его более ясными и прямолинейными предложениями. Также были добавлены элементы, предположительно для большей ясности.

Всегда ли можно определить, что текст написан ИИ?

Наиболее важным аспектом в выявлении нарушителей, использующих ИИ, является наличие достаточных доказательств, которые можно представить студенту и администрации учебного заведения, если до этого дойдет. Сохранение скептического подхода при проверке работ имеет решающее значение, а способность продемонстрировать легкость использования и понимания этих инструментов значительно усилит позицию преподавателя. Для образовательного сообщества в условиях новой эры искусственного интеллекта важно сделать процесс обучения более привлекательным, чем соблазн списать.