Как работают детекторы ИИ и насколько им можно верить: честное объяснение

Детектор ИИ не читает текст «как человек» и не находит следов нейросети. Он считает, насколько предсказуемы слова и насколько ровен ритм предложений, и сравнивает это с образцами человеческих и машинных текстов. Результат — вероятностная оценка, а не доказательство: она ошибается на коротких, шаблонных, отредактированных текстах и на письме не на родном языке.

Коротко: что делает детектор и чего он не делает

Детектор ИИ — это статистическая модель. Ей показали много текстов, про которые известно, что их написал человек, и много текстов, созданных нейросетями. Модель научилась замечать признаки, которые в этих двух группах встречаются по-разному. Когда вы вставляете свой текст, она сравнивает его признаки с тем, что видела, и выдаёт число или метку: «вероятно, человек», «смешанный», «вероятно, ИИ».

Из этого следуют три вывода, которые полезно запомнить сразу:

1. Детектор не видит происхождения текста. Он оценивает только то, как текст выглядит. Автор-человек, который пишет гладко и шаблонно, похож на машину. Машинный текст, который отредактировали, похож на человека.
2. Результат — оценка, а не вердикт. «Вероятно, ИИ» означает «по признакам похоже», а не «это написала нейросеть».
3. Ошибки неизбежны в обе стороны. Бывают ложные срабатывания (человеческий текст признан машинным) и пропуски (машинный текст признан человеческим). Убрать оба вида ошибок одновременно нельзя: чем строже порог, тем больше обвинённых по ошибке; чем мягче, тем больше пропусков.

Если вам нужен практический итог: относитесь к баллу как к поводу внимательнее прочитать текст и поговорить с автором, но никогда как к единственному основанию для оценки, санкций или увольнения.

На чём основана оценка: предсказуемость и ритм

Большинство подходов опираются на две идеи, которые в англоязычных материалах называют perplexity и burstiness. По-русски проще сказать так.

Предсказуемость слов. Языковая модель выбирает слова, которые чаще всего следуют друг за другом. Поэтому машинный текст часто состоит из «наиболее ожидаемых» продолжений: «в современном мире», «играет важную роль», «стоит отметить». Человек чаще выбирает неожиданные слова: уточняет, использует редкую деталь, оговаривается, шутит. Если каждое следующее слово в тексте легко угадать, детектор склонен считать текст машинным.

Ровность ритма. Люди пишут неравномерно: длинное предложение с придаточными, за ним короткое. Нейросети по умолчанию выравнивают длину предложений и абзацев и строят их по одному образцу: тезис, пояснение, вывод. Детектор измеряет разброс длины и устройства предложений, и «слишком ровный» текст получает более высокий балл.

Современные детекторы не ограничиваются двумя признаками. Они считают частоты слов и коротких последовательностей знаков, повторы зачинов, разнообразие связок, долю причастных оборотов и многое другое, а затем объединяют признаки в одну оценку. Другие детекторы дообучают большую нейросеть отличать человеческий текст от машинного. Но суть та же: это поиск статистических закономерностей, а не обнаружение «водяного знака».

Что это значит для русского языка

Русский язык устроен так, что некоторые признаки «машинности» совпадают с признаками нормы делового и научного стиля. Канцелярит («осуществление деятельности по обеспечению…»), цепочки существительных в родительном падеже, обилие отглагольных существительных, причастные и деепричастные обороты, вводные слова-связки («таким образом», «следовательно», «в связи с этим») — всё это встречается и в текстах нейросетей, и в реферате первокурсника, и в служебной записке. Ровная, правильная, безликая проза — это как раз то, что детекторы не любят.

Есть и обратная сторона: русский язык богат формами, поэтому у моделей в нём больше «степеней свободы», и точность детекторов на русском обычно ниже, чем на английском, где их чаще всего разрабатывали и проверяли. Это общий вывод, а не цифра: конкретные показатели зависят от конкретного детектора, и их нужно смотреть в его описании.

Когда детекторы ошибаются: пять типичных ситуаций

Особенно уязвимы те, кто учился писать «по образцу»: школьники, которых готовили к итоговому сочинению по шаблону, и студенты, которые пишут по методичке с готовыми формулировками. Их текст может быть полностью честным и всё равно «слишком правильным». Если вы работаете с чужими текстами (преподаватель, редактор, HR), помните об этом особенно.

Ещё одна ловушка: текст, исправленный программами для письма. Если вы прогнали собственный абзац через автоматическое перефразирование или правку стиля, детектор может отнести его к «смешанным» или «машинным», хотя мысли и факты ваши. Это относится и к инструментам AdeptWrite: проверка грамматики, перефразирование и хуманайзер меняют текст, а значит, и его статистический «отпечаток».

Как устроена оценка в детекторе AdeptWrite

Мы описываем свой инструмент так, как он работает, и ничего не обещаем сверх этого.

• Что он показывает. Проверка текста на ИИ выдаёт оценку сходства с машинным текстом в виде «≈ NN %» и одну из трёх меток: «вероятно, человек», «смешанный или неопределённый», «вероятно, ИИ». Знак «≈» стоит не случайно: это приблизительная величина. Отдельные предложения, которые выглядят наиболее машинно, подсвечиваются, но это более слабое свидетельство, чем общая оценка.
• Что значит число. Оценка откалибрована на тестовых данных, где людей и машин было поровну. Это не вероятность того, что именно ваш текст написала нейросеть, и она менее надёжна для текстов, не похожих на тестовые.
• Как устроен расчёт. Основная оценка считается статистической моделью по частотам слов и показателям стиля, прямо в браузере. Дополнительно можно включить «глубокий анализ»: тогда текст на время запроса отправляется второй модели, которая высказывает независимое мнение. Глубокий анализ необязателен, помечен как экспериментальный, и страница показывает, какая часть результата получена какой моделью.
• Ограничения ввода. Нужно не меньше 40 слов, максимум 6000 символов за один запуск. Тексты короче 150 слов оцениваются заметно хуже, и инструмент говорит об этом прямо.
• Измеренная точность. Страница инструмента публикует результаты проверки на отложенных тестовых данных: какую долю машинных текстов модель распознала и как часто ошибочно пометила человеческие. Мы не приводим этих чисел здесь, чтобы они не расходились с актуальными данными на странице, и не называем ни «точность 99 %», ни «распознаёт любую нейросеть», потому что это было бы неправдой. Если для языка нет собственных измерений, инструмент пишет «не оценивалось», а если примеры машинного текста для языка получены от одного семейства моделей, предупреждает, что оценка слабее.
• Чего он не видит. Текст, который перефразирован, отредактирован или «очеловечен», обычно проходит как человеческий. Работы, где человеческие и машинные абзацы чередуются, чаще попадают в «смешанные». Простое, шаблонное и неродное письмо может быть помечено ошибочно. Мы пока не измерили для каждого языка, как часто ошибочно помечаются эссе школьников и иностранных авторов, поэтому такие результаты нужно читать с повышенной осторожностью.
• Главное правило страницы. Результат нельзя использовать как единственное доказательство против человека. Мы не рекомендуем применять детектор для выставления оценок или дисциплинарных решений.

Преподаватель или редактор усомнился в авторстве: что делать студенту

Если вам сказали, что «детектор показал ИИ», сохраняйте спокойствие: сам по себе этот довод слаб, и вы вправе попросить более весомые основания. Вот порядок действий, который обычно помогает.

1. Выясните, на чём основано подозрение. Какой сервис, какая версия, какой результат, какие места подсвечены. Попросите показать отчёт. Без него обсуждать нечего.
2. Соберите историю написания. Лучше всего работают версии файла: в Word и Google Документах есть история изменений с датами. Подойдут черновики, планы, заметки на бумаге, конспекты, переписка с научным руководителем, сохранённые источники и выписки.
3. Будьте готовы рассказать свою работу. Устно объясните тему, аргументы, выбор источников, ответьте на уточняющие вопросы. Человек, написавший работу сам, делает это легко; это самое сильное доказательство.
4. Покажите свой стиль на других текстах. Прежние работы, письма, ответы на семинарах помогают показать, что манера письма ваша.
5. Проверьте правила вуза. Положение об академической честности, правила работы с ИИ на вашей кафедре, порядок подачи апелляции. Если использование нейросетей разрешено с указанием, а вы пользовались помощью, честно скажите об этом и покажите, какие части были вашими.
6. Не «обеляйте» текст постфактум. Не пытайтесь в панике переписать работу нейросетевым пересказчиком: это ухудшит текст и добавит вопросов.

И несколько слов тем, кто проверяет. Балл детектора — повод для разговора, а не для санкций. Сопоставьте его с другими признаками: резкая смена стиля по сравнению с прежними работами, ссылки на несуществующие источники, фактические ошибки, которых человек не допустил бы, непонимание собственного текста при обсуждении. Только совокупность таких признаков и объяснения автора дают основание для решения. Правила проверки и санкции устанавливает ваша организация; общих норм для всех вузов нет, и мы не называем их за них.

Как самому проверить свой текст и что делать с результатом

Если вы пишете сами и хотите узнать, как ваш текст может выглядеть для детектора, сделайте так:

1. Вставьте в проверку текста на ИИ не меньше 150 слов, лучше цельный фрагмент одного раздела.
2. Посмотрите на метку и на подсвеченные предложения, а не только на число.
3. Прочитайте подсвеченные места вслух. Если они звучат как штамп («в современном мире», «играет ключевую роль», «необходимо отметить, что»), перепишите их конкретнее: добавьте факт, пример, цифру из источника, своё наблюдение. О том, как это делать, подробно написано в статье «Как очеловечить текст нейросети».
4. Проверьте текст на заимствования отдельно: проверка на плагиат отвечает на другой вопрос, чем детектор ИИ. О разнице читайте в материале «Проверка текста на плагиат».
5. Сохраняйте черновики и историю версий. Это лучшая защита от любых необоснованных подозрений.

Помните, что хорошо пройти детектор не значит хорошо написать. Цель — текст, за который вы готовы отвечать: с вашими мыслями, проверенными фактами и источниками.

Детектор, плагиат и ИИ: не путайте три вещи

Нейросеть может написать текст, которого ни в одном источнике нет, и тогда плагиат-проверка покажет высокую уникальность. И наоборот, человек может добросовестно написать текст, который детектор сочтёт машинным. Эти проверки не заменяют друг друга и не заменяют человеческого прочтения. Про заимствования и правильное цитирование читайте в статье «Как избежать плагиата».

Чек-лист: как читать результат детектора

• Это оценка, а не доказательство: она может быть неверной.
• Текст короче 150 слов оценивается особенно ненадёжно.
• Жанр с жёсткой формой (заявление, отчёт, сочинение по плану) повышает риск ложного срабатывания.
• Перефразированный и отредактированный машинный текст часто не обнаруживается.
• Письмо не на родном языке и простой стиль чаще помечаются ошибочно.
• Для конкретного языка важны измеренные данные детектора, а не общие обещания.
• Ни одно решение о человеке не должно опираться только на детектор.

← Все статьи