В каком месте черновик начинает обманывать
«Выглядит убедительно. Где нейросеть взяла этот параметр?» Галлюцинации нейросети — правдоподобные, но неверные или выдуманные сведения в ответе модели, например несуществующая характеристика товара или ссылка на документ, которого не было. В рабочем тексте такую ошибку ловят сверкой с первоисточником до отправки покупателю.
В этой статье речь о черновике описания оборудования для каталога. Маркетолог даёт текстовой нейросети утверждённую инструкцию и просит объяснить параметры простыми словами. В итоговом черновике может появиться режим, которого нет в файле, или срок из документа о другой модели, хотя предложение звучит гладко, содержит знакомое название и написано тем же языком, каким изготовитель описывает эту линейку. Цена такой ошибки зависит от того, повлияет ли параметр на покупку, установку или дальнейшую работу с оборудованием. Сотруднику нужен способ повторить проверку по тем же материалам после правки.
Модель выбирает продолжение текста. Рекомендации NIST AI 600-1 описывают выдуманные или ошибочные сведения как конфабуляции и объясняют, что языковая модель статистически предсказывает, какой фрагмент текста вероятнее появится дальше. В исследовании Why Language Models Hallucinate авторы рассматривают и поощрение угадывания при обучении и оценке моделей, когда угадывание иногда даёт больше баллов в тесте, чем признание неопределённости. Это объяснение разбирает работа об ошибочных ответах языковых моделей.
Характеристика нашлась, но товар другой
Название товара легко узнать. Модель при этом может употребить знакомые слова и подставить к ним единицу измерения из соседней строки, когда в исходной таблице есть общее описание серии и отдельная колонка для вариантов. При чтении вслух предложение будет звучать грамотно. Для покупателя результат другой: ограничение из общей таблицы выглядит как обещание именно по выбранной модели.
Начните с фактов, которые трудно заметить без инструкции. Для карточки оборудования такими местами будут характеристики и ограничения, от которых зависит подбор. Уточняйте вместе с цифрой, в каких условиях она действует. Если текст нейросети даёт предельный показатель без условий эксплуатации, покупатель может решить, что он работает в любой ситуации. В перечень сверки добавьте ссылки на техдокументацию: по каждой смотрите, ведёт ли она к нужной редакции, а не просто на сайт изготовителя.
Название документа легко перепутать. Для хорошо знакомого товара полезнее взять в работу буклет, утверждённый поставщиком, и сверить спорные строки с инструкцией, чем переспросить ту же модель, откуда она узнала сведения, и считать новый ответ объяснением. В статье о нейросетях для рабочих текстов есть порядок подготовки черновика, а для карточки нужно отдельно подтвердить происхождение фактов.
Если ссылка работает, откройте нужный пункт
Верный адрес бывает рядом с ошибкой. Ссылка на сайт изготовителя может открываться и показывать узнаваемую серию, хотя на указанной странице приведена характеристика базовой модели, а черновик обещает её для всех вариантов, которые покупатель может выбрать в карточке каталога. По этой причине я бы поставил в задание ссылку на конкретную инструкцию и номер страницы. Такой результат можно передать редактору без повторного поиска на сайте.
Число требует контекста. Изготовитель может отдельно указать номинальное и допустимое предельное значение, и маркетологу важно сверить название поля, иначе оба числа выглядят подходящими для одной строки. Если в документе есть сноска про режим эксплуатации, дайте её прочесть вместе с таблицей. По тексту карточки должно быть видно, к какой версии и к какому режиму относится обещание.
Ссылка на документ должна пережить правку. В профиле NIST рекомендация MS-2.5-003 касается источников и цитат в ответах генеративной системы на предзапусковой проверке и при дальнейшем наблюдении. Для редакции это хороший повод оставить в самой карточке или рабочей записи связь с оригиналом. Когда изготовитель обновит страницу, можно будет понять, откуда взялся текст и к какому выпуску инструкции вернуться. Для внутренних документов безопасное открытие источника зависит от прав сотрудника, которые отдельно обсуждаются в материале о безопасности ИИ в компании.
Что изменить в запросе к модели
Попросите сначала извлечь сведения. Когда черновик нужен для каталога, удобнее дать модели только утверждённые данные о выбранной модификации и получить отдельный перечень утверждений с местом в документе, после чего составить описание привычным языком. В такой работе легче заметить, на каком этапе появилось новое число. Такой перечень проще сверить с инструкцией перед правкой стиля всей карточки.
Если поле пустое, разрешите оставить пропуск. В поставленном вопросе часто звучит предположение, например что режим доступен и надо лишь найти его предел. Я бы включил в задание правило, по которому прежде всего определяется наличие нужного режима, а при отсутствии сведений остаётся пометка для сотрудника. Полезно просить точный фрагмент с ограничением, чтобы потом не перечитывать весь файл при споре о смысле термина. Как разбивать запрос на цель, материалы и формат ответа, поясняет разбор промптов для рабочих задач.
Используй приложенную инструкцию для [точное название модели и редакция]. Для каждого параметра укажи страницу и короткую выдержку, которая его подтверждает. Если значение не найдено, напиши «в документе нет сведений» и предложи вопрос ответственному за каталог.
Внутренняя отметка об отсутствии сведений остаётся до ответа специалиста. Иначе редактор, который увидит гладкий текст уже на последнем согласовании, может принять пропуск за черновую стилистическую проблему и попросить убрать оговорку без обращения к источнику.
Карточка замечания для одного неправильного факта
Редактора интересует точная фраза. Когда в ответе появился параметр без основания, сохраните вопрос, короткую выдержку из результата и исходный документ с редакцией, чтобы различить ошибку извлечения данных, неверное объяснение и устаревший файл. «Модель написала ерунду» скрывает место поломки. Уточнение поможет исполнителю повторить ответ на том же вводе. Сохранённые факты также пригодятся при следующем обновлении каталога.
У сверки три исхода. Редактор открывает утверждённый материал и выясняет, относится ли найденная строка к этому товару. При полном совпадении он оставляет факт. При расхождении ответственному за характеристики отправляют строку, которую надо уточнить. Если срок публикации близок, неподтверждённый параметр можно исключить из текста до получения достоверных данных.
- Черновик: [модель, спорная фраза и единица измерения].
- Опора: [название инструкции, редакция, страница и поясняющая строка].
- Итог: [подтверждён, исправлен или убран], [кому передан оставшийся вопрос].
Карточку лучше оставить рядом с текстом, даже если в нём одна ошибка. Тогда при новом выпуске описаний команда вернётся к тому месту, где правка дала результат, и не будет искать причину по переписке с редактором.
От спорной фразы к решению редактора
Утверждение
Параметр и применимая модель выписаны из черновика.
Источник
Инструкция открыта на нужной странице, версия указана.
Решение
Число подтверждено, исправлено или исключено до публикации.
Что проверять до обработки всего каталога
Составьте небольшую подборку запросов. В неё стоит включить обычные описания, товар с похожим названием и случай, где инструкция не содержит ответа, потому что по удачному примеру из одной линейки трудно понять, где модель начнёт переносить свойства между товарами. Для каждой задачи запишите ответ, который специалист подтвердил по документу. Частые, трудные случаи и вопросы без ответа входят в рекомендации Yandex AI Studio по оценке приложений.
Одни примеры оставьте для настройки, другие — для проверки после неё. Если автор запроса меняет инструкцию под каждый провал из единственного списка, повторная оценка покажет приспособление к этим примерам и мало скажет о новых карточках другой серии.
В примере автоматической оценки Яндекс предлагает хранить исходный запрос в поле question. Проверенный специалистом ответ находится в reference, а ответ приложения — в response. Такая запись помогает видеть, что сравнивают два текста об одном товаре. В этом примере оценка 1 означает, что ответ отвечает на вопрос, передаёт фактический смысл эталона и ему не противоречит. Оценку 0 ставят, когда хотя бы одно из этих условий не выполнено. Метод и необходимость сверки части оценок с экспертной разметкой изложены в примере сравнения с эталоном.
Кто отвечает за обещание покупателю
Сверка нужна там, где цена ошибки высока. В каталоге можно дать модели больше свободы при выборе порядка предложений, чем при упоминании технических пределов, поскольку пределы повлияют на выбор оборудования и работу с ним. Автор черновика отвечает за полноту исходных сведений, а специалист по продукту подтверждает характеристики. Редактор связывает подтверждение со страницей и проверяет, что при упрощении не потерялась оговорка из инструкции.
Нужно назначить момент остановки. Если пустая строка относится к решающему ограничению, знающий товар сотрудник сначала отвечает на вопрос, а редактор возвращает пункт в черновик до загрузки. Такой порядок пригодится при обновлении десятков похожих карточек: обещание нельзя принять за характеристику только потому, что оно встречалось у предыдущей модели.
Перед выгрузкой выберите первую группу с теми артикулами, для которых бывает трудно найти актуальные сведения. Если процесс выдержал именно их, сотрудник сможет отследить, где возникла редакционная задача, и передать её дальше, как при подготовке контента с участием ИИ.
Верните спорную строку к источнику
Исправьте конкретное утверждение. Если в карточке потерялось условие работы оборудования, перепишите предложение по инструкции и убедитесь, что новая версия читается целиком: некоторые ограничения относятся к нескольким соседним строкам, поэтому одна правка не восстановит их автоматически. Следом уточните задание модели, чтобы она выводила условие вместе с параметром. Найдите такие же места в других карточках этой серии. Похожий запрос может давать ту же ошибку с другими числами.
Самый показательный вопрос пригодится при обновлениях. Когда обновятся модель, инструкция или источник, прогоните его и отдельную отложенную подборку, чтобы успешная правка одного вопроса не скрыла новых ошибок в остальной серии.
Начать можно с черновика, который собираетесь опубликовать следующим. Подтвердите факты, которые определяют пригодность оборудования, запишите недостающие сведения для специалиста и только после ответа решите, нужен ли ещё один проход по всей карточке.
Источники и полезные ссылки
- NIST AI 600-1: описание галлюцинаций и проверка ссылок генеративного ИИ ↗
- Adam Tauman Kalai и соавторы: Why Language Models Hallucinate ↗
- Yandex AI Studio: оценка качества приложений с языковыми моделями ↗
- Yandex AI Studio: пример сравнения ответа с эталоном ↗
Интерфейсы и возможности сервисов могут меняться. Перед настройкой сверяйтесь с актуальной документацией.


