Откуда берётся ошибочный вердикт

Процент на экране кажется убедительным. Его легко принять за доказательство авторства. Детектор ИИ-текста — это программа, которая по признакам письма оценивает сходство текста с материалами, созданными языковой моделью. Её ответ годится как повод посмотреть спорный фрагмент, но для приёмки статьи нужны факты, редакторские критерии и договорённость о допустимых способах работы.

Речь о маркетологе, которому подрядчик сдаёт русскоязычную статью о продукте. До публикации нужно понять, верны ли его характеристики и получает ли читатель ответ на заявленный вопрос. Если начать с процента, весь разговор уйдёт в происхождение фраз, а неточный размер или условие поставки останутся без внимания. В разборе Яндекс Образования объясняется, что детектор использует признаки, которые модель связывает с машинным текстом. Так инструмент может отнести материал к группе по сходству. Историю подготовки файла он при этом не знает.

Для редакционной приёмки я бы сначала попросил показать источники по утверждениям, от которых зависит решение покупателя. Такой запрос можно выполнить и проверить: либо в действующей спецификации есть нужное условие, либо автор открывает другой первоисточник и объясняет, почему это требование относится именно к данной модели.

Что говорит число на экране

Оценка и доля — разные вещи. Когда сервис показывает процент, сначала выясните, что именно называет процентом его разработчик: уверенность классификатора, долю выделенных отрывков или другое внутреннее измерение. Нельзя без инструкции перевести высокий балл в утверждение «столько процентов предложений написал ИИ». Даже пометки по абзацам не объясняют, как появился конкретный фрагмент, какую часть работы выполнил подрядчик и что изменилось после редактуры. По той же причине процент из одного сервиса нельзя напрямую сравнить со шкалой другого.

Поиск заимствований тоже работает иначе. Там встречается сравнение с доступными источниками, и проверяющий может открыть совпавший фрагмент и сам оценить его смысл, источник и правомерность цитирования. Когда задача — найти чужую формулировку в описании продукта, ищите доступное совпадение и историю правок. Проверка на сходство с машинным письмом не покажет, у кого скопировали характеристики или взяли снимок.

Если происхождение действительно важно по условиям работы, запросите у подрядчика сведения о процессе. История версий полезнее одного итогового процента, поскольку по ней можно увидеть, как появились и менялись спорные сведения после ответа автора на замечания, а один служебный балл такой последовательности не содержит.

Два вида неверного ответа

Сервис может обвинить не того. Когда написанный человеком материал попадает в категорию ИИ, это ложноположительный результат. Когда сгенерированный текст инструмент принимает за человеческий, результат ложноотрицательный. В редакционной работе последствия разные: в первом случае можно необоснованно вернуть заказ, во втором — принять слабые доводы, полагаясь на удачную отметку.

Показателен исторический пример. В публикации о классификаторе OpenAI приводится тест на английских текстах: классификатор распознал 26 % сгенерированных материалов и ошибочно отметил как вероятно сгенерированные 9 % человеческих. Тогдашняя версия была снята с доступа в июле 2023 года из-за недостаточной точности. Эти числа описывают один старый инструмент на отдельном наборе. Они не говорят, сколько ошибок даст современный сервис на ваших карточках и статьях.

Обе ошибки считайте раздельно. Если выбирать порог только по тому, как редко человеческие статьи ошибочно получают пометку, можно упустить, что при том же пороге почти все тексты известного машинного происхождения тоже проходят без отметки.

Что проверить у онлайн-детектора

Язык и размер меняют результат. В демоверсии GigaCheck указано ограничение от 20 до 1000 слов. Это рабочий диапазон ввода, а не подтверждение точности у его нижней границы. Если подрядчик прислал короткий анонс, режим, рассчитанный на более объёмный материал, выбирать не стоит. Для длинной статьи деление на куски может изменить то, какие фрагменты сравнивает инструмент, поэтому не усредняйте полученные оценки как долю машинного участия.

Условия у продуктов различаются. При подготовке этого материала страница нейродетектора Яндекса сообщала о временной недоступности. Если сервис снова открывается, посмотрите, какие форматы он принимает и какой способ подсчёта разработчик описывает рядом с оценкой, прежде чем отправлять на пробу текст с неизвестной историей подготовки. Описание принципа из образовательной статьи Яндекса при этом помогает читать оценки других сервисов. Это разные источники: объяснение способа работы не подтверждает, что отдельный инструмент доступен или подходит для закрытых материалов. В рабочей записи полезно сохранить дату обращения к конкретной версии, чтобы позже не сравнивать разные условия.

Внешний сервис получает отправленный текст. Даже если заполнено всего несколько абзацев интерфейса, клиентский договор, описание ещё не выпущенного продукта и фрагмент частной переписки могут попасть к поставщику инструмента.

Для пробы достаточно согласованного набора текстов, который разрешено передать. Не загружайте документ целиком только ради удобства.

Как собрать контрольную выборку

Для проверки нужны известные ответы. Статьи, чьё происхождение вызывает спор, оставьте для редактора, а для испытания соберите материалы, о подготовке которых есть сведения: сохранённая история работы человека и тексты, которые команда отдельно получила от модели для калибровки. Включите категории, реально попадающие в ваш отбор. Если подрядчик сдаёт русскоязычные объяснения по продуктам, сравнение с английскими эссе не скажет, как система разбирает эти объяснения.

В исследовании MULTITuDE авторы сравнивали детекторы на корпусе из 74 081 текста. В него вошли 11 языков, включая русский. Для машинной части корпуса использовали восемь многоязычных моделей. Полезно перенести в свою проверку сам принцип: оценивать языки и способы подготовки раздельно. Выводы исследования 2023 года относятся к его выборке и проверенным тогда системам.

Рабочая карточка сверки

ПолеЧто сохранитьЧем помогает
Источник текстаИзвестное происхождение и подтверждениеПозволяет посчитать ошибки по группам
Тип текстаЯзык, назначение и длинаПомогает найти неподходящие для оценки случаи
НастройкаСервис, версия или дата, балл, трактовка и порогПоказывает, на каких условиях получен ответ
РезультатВывод инструмента и решение редактора по критериям приёмкиРазделяет проверку инструмента и работу над статьёй

Отдельно отметьте смешанную подготовку. Если автор написал основу, затем использовал модель для исправления одной части, а остальное вычитал вручную, не подставляйте этот материал в расчёт, где происхождение известно только в одном из двух чистых вариантов. Такие тексты пригодятся для отдельной пробы и покажут, насколько далеко возможности сервиса от вашей процедуры сдачи.

Что делать с расхождением

Разногласие двух сервисов не разрешается голосованием. На разметку влияют обучающие тексты и выбранные разработчиком признаки, поэтому совпадение результатов двух детекторов может отражать одну и ту же уязвимость к формату, а не два независимых подтверждения происхождения. Полезнее открыть сам текст и выяснить, какой факт или формулировка вызывает сомнение.

Если вердикт получен, обратите внимание на конкретные ошибки контрольной выборки. Когда система часто помечает нормальные инструкции, в которых авторы используют однообразные обязательные формулировки, не переносите высокий балл в претензию к исполнителю. Когда сгенерированные примеры систематически проходят как человеческие, низкой отметкой не оправдывайте материал, в котором редактор нашёл придуманную ссылку. Для маркетолога здесь достаточно заключения о качестве конкретного материала, без предположений о его авторстве.

Осмотрите спорный фрагмент в контексте. Каталожная карточка требует повторять одинаковые названия свойств, а статья требует обозначить, при каком условии они меняют покупку. В первом случае одинаковый порядок фраз помогает сравнению, во втором общий текст может скрывать отсутствие ответа. Этот выбор делает редактор по назначению материала. Если одно и то же замечание повторяется у разных авторов, уточните задание копирайтеру и добавьте пример нужного ответа.

Наглядный разбор

Два вопроса по одной статье

  1. Что видит детектор

    Признаки письма и оценка по правилам конкретной системы.

  2. Что видит редактор

    Ответ для читателя, проверяемые источники, ограничения и исправленные места.

Итог приёмки зависит от содержания и того, что требовал заказчик при подготовке.

Как принять работу по содержанию

Сначала прочитайте материал как покупатель. Если статья о различиях двух товаров обещает помочь выбрать модель, найдите условие, при котором один вариант действительно выгоднее, и посмотрите, приведены ли данные для сравнения обоих. Подрядчик может раскрыть вопрос хорошим текстом даже при технической помощи нейросети. У неудачного текста будут видны собственные недостатки: например, его советы нельзя применить без ответа на простой вопрос о размере или совместимости.

Потом откройте источники. Если ссылка ведёт на каталог вместо спецификации, попросите указать пункт, таблицу или документ для конкретной модели.

Там, где проверить утверждение нельзя, лучше отредактировать его до простого обещания, которое компания действительно выполняет, или убрать из статьи. Разговор о должном качестве полезно вести по той же схеме, что и аудит контента сайта: один фрагмент, обнаруженная проблема и ожидаемая правка.

Способ подготовки обсуждают отдельно. Согласуйте с автором, допустимы ли подсказки для плана, помощь с редактурой или генерация черновика. Зафиксируйте, кто подтверждает данные и какие закрытые сведения нельзя копировать во внешний сервис. Если нужны способы сделать это для команды, ориентиры по задачам и ответственности есть в разборе применения ИИ в создании контента.

Откройте один спорный абзац

Замените оценку детектора редакторским вопросом. Найдите в материале один факт, от которого зависит выбор покупателя, и передайте подрядчику замечание с точным местом, сохранив номер версии или дату, чтобы после правки сравнить тексты. Например: «В абзаце о совместимости укажите, для каких моделей подходит деталь. Приложите страницу инструкции и внесите исключения из неё». Так редактор называет фрагмент, который можно исправить.

Если после правки источники открываются и статья даёт обещанный ответ, редактор может принять решение по этим признакам. Когда же подрядчик не раскрывает оговорённые способы подготовки, обсуждайте это отдельно по условиям заказа и подтверждениям процесса.

Источники и полезные ссылки

  1. Яндекс Образование: как устроены детекторы ↗
  2. OpenAI: тест и прекращение работы классификатора ↗
  3. Сбер: демоверсия GigaCheck ↗
  4. Яндекс: страница нейродетектора ↗
  5. ACL Anthology: исследование MULTITuDE ↗

Интерфейсы и возможности сервисов могут меняться. Перед настройкой сверяйтесь с актуальной документацией.

Игорь Крещенко

Руководитель ШТАБ ИТ. Занимается управлением проектами, веб-разработкой, рекламой и PR. Подробнее об авторе →