Как понять, что текст написан ИИ: признаки и проверка

Достоверно, со стопроцентной уверенностью - нельзя. Ни один признак и ни один детектор не даёт доказательства, только вероятность. Но набор признаков вместе с проверкой фактуры работает: за пять минут чтения обычно понятно, писал человек с материалом на руках или модель по общей теме.

Дальше по порядку: признаки в словах, структуре и смысле, почему ошибаются детекторы, как проверять руками и как подключить к проверке саму языковую модель.

Коротко: можно ли достоверно определить ИИ-текст

Генеративная модель подбирает следующее слово по вероятности, поэтому ИИ-текст в среднем предсказуемее человеческого: меньше редких слов, меньше кривых переходов, меньше личных решений вроде внезапного абзаца в одно предложение.

Но предсказуемость - не подпись. Человек, который пишет по шаблону отчёт или карточку товара, выдаёт такой же ровный текст. А ИИ-черновик, вычитанный редактором и наполненный фактами, отличить почти невозможно, и это нормально: там уже есть человеческая работа. Поэтому практический вопрос звучит не «человек или машина», а «есть ли за текстом человек, который отвечает за факты». Признаки показывают, куда смотреть, а решает проверка фактуры и разговор с автором.

Где подход не сработает: короткие тексты. На абзаце в 400 знаков любые выводы гадание, признаки заметны примерно от одной-двух страниц.

Признаки на уровне слов: лексика, штампы, повторяющиеся связки

Отдельное слово ничего не значит, значение имеет плотность. Пять-шесть оборотов из списка на страницу - уже сигнал.

• Связки-пустышки: «важно отметить», «стоит понимать», «таким образом».
• Оценочные штампы без содержания: «играет ключевую роль», «широкий спектр возможностей».
• Парные конструкции: «не только, но и», «как с точки зрения А, так и с точки зрения Б».
• Ровные однородные тройки: «удобно, быстро и эффективно».
• Мягкие обобщения вместо утверждения: «может значительно повысить».

Второй маркер - однообразный ритм: у машинного текста предложения кучкуются вокруг 12-18 слов, у человека разброс шире. Третий - одинаковое начало абзацев: три абзаца подряд открываются существительным плюс глагол. Живой автор так почти не делает, у него один абзац начнётся с вопроса, другой с «Здесь и начинается проблема».

Признаки на уровне структуры: симметричные абзацы, списки из трёх, кольцевые выводы

Структура выдаёт генерацию надёжнее лексики, потому что её сложнее случайно повторить.

Симметрия. Все разделы примерно одной длины, в каждом по три абзаца, в абзаце по три предложения. Человек пишет неровно: где знает больше, там раздел вдвое длиннее. Сюда же списки ровно из трёх пунктов одинаковой длины: если в тексте четыре списка и все трёхпунктовые, это не совпадение.

Кольцевые выводы. Абзац начинается с тезиса, дальше пояснение, потом та же мысль другими словами. Вырежьте последнее предложение абзаца: если ничего не потерялось, это машинная закольцовка.

Заключение, которое пересказывает статью. «Итак, мы рассмотрели» плюс перечисление уже сказанного - типичный финал генерации. Человек в конце добавляет что-то новое: оговорку, совет, границу применимости.

Признаки на уровне смысла: пустые обобщения, отсутствие деталей и источников

Честный тест: пересказать абзац одним предложением так, чтобы это была новость. Если выходит «инструмент полезен, но нужно учитывать нюансы», абзац пустой. Что искать конкретно:

• Утверждения, верные для чего угодно. «Экономит время и снижает издержки» подходит и к CRM, и к грядкам.
• Цифры без источника и размерности: «на 30% эффективнее» без базы сравнения.
• Названия и термины, которые вводятся и больше не используются.
• Обещания вместо описания: «позволит выйти на новый уровень».
• Отсутствие любых «не»: живой автор почти всегда говорит, где метод не работает.

Отдельный признак - равномерная уверенность. В человеческом тексте видно, где автор твёрдо знает, а где предполагает; в генерации все утверждения звучат одинаково ровно, включая спорные.

Фактура как главный тест: цифры, имена, даты, личный опыт

Проверка фактуры сильнее любого стилистического признака: её нельзя обойти редактурой стиля. Модель без доступа к материалу не знает, сколько стоил ваш подрядчик и какого числа сорвался запуск.

1. Выпишите все конкретные вещи: цифры, даты, имена, названия, ссылки, цитаты. На страницу их должно набраться хотя бы три-четыре.
2. Проверьте поиском два-три самых красивых числа. Круглое число без источника - первый кандидат в выдумку.
3. Проверьте цитаты и ссылки: несуществующие исследования и битые ссылки на «отчёт компании» в генерациях встречаются регулярно.
4. Найдите места, где нужен опыт: сколько заняло, что сломалось, что сделали не так с первого раза. Ноль таких мест - автор темой не занимался.

Стоимость ошибки считается легко: пропущенное выдуманное число в коммерческом тексте это правка после публикации и объяснения с клиентом. Полчаса на проверку фактуры дешевле.

Что говорит не в пользу ИИ: опечатки, кривой ритм, спорные мнения

Что редко бывает в чистой генерации:

• Опечатки, пропущенные запятые, случайно удвоенные слова.
• Резкий обрыв мысли и возврат к ней через два абзаца.
• Личное мнение, с которым можно спорить: «этот способ мне не нравится, и вот почему».
• Локальная конкретика: имя коллеги, название района, марка оборудования.
• Неровный ритм и юмор, привязанный к контексту, а не общая шутка про роботов.

Осторожно с обратным выводом: опечатки легко расставить вручную, а личное мнение модель напишет, если попросить. Один такой признак только снижает вероятность генерации по умолчанию.

Детекторы ИИ-текста: как они работают и почему ошибаются

Детекторы измеряют статистику: насколько предсказуемо каждое следующее слово и насколько ровно распределена эта предсказуемость. Отсюда обе типовые ошибки. Ложное срабатывание: шаблонный человеческий текст (инструкция, юридический абзац, перевод) статистически ровный, и детектор ставит высокий процент, особенно тексту неносителя языка. Пропуск: генерация, которую человек переписал и разбавил фактами, уходит в «человеческую» зону. Для русского языка детекторы обычно слабее, чем для английского, а методику вам не покажут, и одно место разные детекторы оценят по-разному.

Практический вывод: цифра из детектора это подсказка, куда смотреть, а не вердикт. Отчислять, штрафовать или отказывать в оплате на основании процента нельзя, доказательства там нет.

Ручная проверка по шагам: чек-лист из семи пунктов

Порядок отработан на потоке текстов от подрядчиков, занимает 10-15 минут на страницу.

1. Прочитайте текст целиком, не правя, и отметьте места, где стало скучно: там обычно сидят обобщения.
2. Посчитайте штампы-связки. Больше пяти на страницу - сигнал.
3. Посмотрите на скелет: длина разделов, число пунктов в списках, число абзацев. Ищите симметрию.
4. Вырежьте последние предложения трёх случайных абзацев. Текст не пострадал - это закольцовки.
5. Выпишите фактуру и проверьте два-три числа и все ссылки.
6. Найдите хотя бы одно «не»: границу, ошибку, случай, когда способ не работает.
7. Задайте автору два вопроса по конкретным абзацам: откуда цифра и почему выбрана эта формулировка.

Седьмой пункт решает больше, чем первые шесть. Кто писал сам, отвечает сразу и с подробностями; кто сдал генерацию, пересказывает текст теми же словами. Для студенческой работы то же самое: попросите объяснить два спорных абзаца своими словами и показать источники и историю правок.

Как проверить текст с помощью языковой модели и как читать её ответ

Модель плохо отвечает на вопрос «это ИИ?» и хорошо - на вопрос «где здесь пусто». Просить надо не оценку, а разбор по признакам:

Роль: ты редактор, который вычитывает текст перед публикацией.
Задача: найди в тексте ниже штампы-связки, пустые обобщения,
повторяющиеся конструкции, закольцованные абзацы и утверждения
без фактуры. Отдельно отметь места, похожие на генерацию,
и объясни, по какому признаку.
Формат ответа: таблица из трёх колонок - цитата из текста,
что не так, как переписать. Не больше 15 строк.
Ограничения: не переписывай текст целиком, не оценивай тему,
не давай процент «искусственности», не хвали.
Текст:
<вставить текст>
Скопировать

Как читать ответ. Смотрите на цитаты: каждая должна быть настоящей строкой из текста. Если модель цитирует то, чего в тексте нет, разбор ненадёжен и запрос стоит повторить. Замечания без цитаты отбрасывайте. Полезный второй заход: спросить, какие факты в тексте нельзя проверить по самому тексту, - получится список для ручной перепроверки.

Проверить каркас можно на разборе своего текста в Молекуле: запрос уже подставлен, останется вставить текст, актуальную стоимость видно рядом с моделью. Для длинных материалов проверку лучше разбивать на части: разбор одной страницы точнее разбора статьи целиком. Отдельная нейросеть для генерации текста для этого не нужна, разбор делает та же текстовая модель.

Что делать, если текст всё-таки сгенерирован: редактура вместо запрета

Сгенерированный черновик сам по себе не брак. Брак - это текст без фактуры и без человека, который за него отвечает. Починить дешевле, чем возвращать с формулировкой «переделайте, детектор показал 87%».

1. Выводы: убрать пересказ, поставить мысль, которой в тексте ещё не было.
2. Обобщения: каждое «значительно повышает эффективность» заменить на число, срок или пример.
3. Фактура: добавить то, что знает только автор: цифры проекта, имена, даты, что сломалось.
4. Штампы-связки: удалить, текст станет короче и понятнее.
5. Ритм: разбить длинные предложения, где-то оставить короткое в одну строку.
6. Границы: дописать абзац о том, где способ не работает.

Если вы сами пишете с моделью, ошибка обычно на входе: в запросе была тема, а не материал. Дайте факты, свои примеры и готовую структуру, тогда обобщений будет меньше.

С картинками логика похожая: сгенерированное изображение выдают руки, текст на вывесках и слишком чистый свет. Разбор признаков и практика генерации изображений нейросетью - тема отдельная, но принцип тот же: проверяем конкретику, а не общее впечатление.

Материалы по теме

• Проверка договора через ИИ
• ИИ детектор текста
• Проверка диплома на ИИ и антиплагиат