Галлюцинации нейросетей — это уверенные и правдоподобные ответы, которые не соответствуют действительности: выдуманная цена, несуществующая услуга, неверный срок гарантии. Языковая модель по своей природе достраивает вероятный текст и с базой фактов не сверяется, отсюда и ошибки. В чате на сайте риск снижают несколькими мерами сразу. Ассистент отвечает только по материалам компании, честно признаёт незнание, не выходит за заданные темы и передаёт сложные вопросы человеку, а база знаний поддерживается в актуальном состоянии и регулярно проверяется. Полностью исключить ошибки нельзя, и честный поставщик так и говорит.
Ниже о том, откуда берутся галлюцинации, чем они опасны именно для бизнеса и что с ними делать на практике. Материал пригодится тем, кто выбирает ИИ-консультанта для сайта или уже запустил его и хочет понять, насколько можно доверять его ответам.
Почему нейросети «галлюцинируют»: простое объяснение
Большая языковая модель обучена на огромном массиве текстов и умеет одно очень хорошо: продолжать текст так, как его вероятнее всего продолжил бы человек. Когда вы задаёте вопрос, модель не ищет ответ в таблице фактов. Она строит ответ слово за словом, выбирая правдоподобное продолжение.
Пока вопрос о чём-то общеизвестном, правдоподобное и верное обычно совпадают. Другое дело, если спросить о ценах конкретного магазина, условиях доставки небольшой компании или наличии товара на складе. Модель этого не знает, но всё равно выдаст гладкий ответ. Просто он будет «типичным», и к вашей компании отношения иметь не будет.
Эффект усиливают несколько обстоятельств:
- Нет нужных данных. О небольшой компании модель знает мало или ничего, а память её заморожена на момент обучения.
- Вопрос с ложной предпосылкой. «Сколько стоит у вас доставка дронами?» Модель может начать рассказывать о доставке, которой нет.
- Давление на «полезность». Если модель не настроили иначе, она стремится ответить и неохотно отказывает.
- Противоречивые источники. Если в материалах две разные цены, модель может выбрать любую или смешать их.
При этом модель не «врёт» в человеческом смысле. Намерения обмануть у неё нет, есть склонность заполнять пробелы правдоподобным текстом.
Чем галлюцинации опасны для бизнеса
Для пользователя, который просит нейросеть написать поздравление, выдуманная деталь — мелочь. С ИИ-консультантом в чате на сайте компании всё иначе: клиент воспринимает его ответ как слова самой компании.
| Что выдумал чат | Чем это оборачивается |
|---|---|
| Неверная цена | Клиент приходит с претензией: «Ваш же чат сказал» |
| Несуществующая услуга | Потерянное время клиента и негативный отзыв |
| Неверные условия возврата | Конфликт при возврате и нагрузка на поддержку |
| Обещание скидки или срока | Компания либо выполняет то, чего не планировала, либо спорит |
| Совет вне компетенции | Риск для клиента и репутации компании |
Условный пример диалога с плохо настроенным чатом:
Посетитель: Если холодильник сломается через полтора года, вы бесплатно почините?
Чат: Да, на всю технику действует гарантия 3 года, ремонт бесплатный.
А в материалах магазина гарантия — 1 год. Ответ звучит уверенно, клиент делает скриншот, и через полтора года у компании конфликт.
Почему «просто попросить не выдумывать» не работает
Первое, что приходит в голову: написать модели инструкцию «Не выдумывай, отвечай только правду». Немного это помогает, но задачу не решает. Модель не знает, где проходит граница между тем, что ей известно точно, и тем, что она достраивает. Инструкция «не выдумывай» не даёт ей ваших цен, сроков и условий, и без них правдоподобный ответ всё равно остаётся догадкой.
Надёжная защита поэтому строится на устройстве системы. Откуда ассистент берёт сведения? Что он делает, если их нет? И кто подхватывает вопрос, когда ответа не нашлось?
Как снижают риск галлюцинаций в чате на сайте
Ни одна мера сама по себе задачу не решает. Работает сочетание.
1. Ответы только по материалам компании
Перед ответом ассистент находит нужные фрагменты в материалах компании (каталоге, статьях, документах) и отвечает по ним. «Общие знания» модели в ход не идут: она не вспоминает, она сверяется. Это главная мера, потому что она убирает почву для «типичных» ответов. Чем такой подход отличается от универсальной нейросети в окне чата, мы писали в статье «Просто подключить ChatGPT».
2. Признание незнания
Если ответа в материалах нет, ассистент должен так и сказать. Угадывать ему нельзя:
Посетитель: Подойдёт ли этот фильтр к кофемашине 2015 года?
Ассистент: В описании фильтра совместимость с этой моделью не указана, а гадать не хочу. Могу передать вопрос сотруднику — он уточнит и ответит вам.
Для клиента это лучше уверенной ошибки: он получает честный ответ и путь к решению.
3. Границы тем
Владелец сайта задаёт, о чём ассистент не говорит: политика, советы по чужим товарам, медицинские и юридические консультации. Чем уже рабочая зона, тем меньше мест, где модель может «уплыть» в общие знания.
4. Передача человеку
Деньги, исключения из правил, нестандартные заказы, жалобы — всё это вопросы для сотрудника. Ассистент передаёт диалог вместе с историей переписки, чтобы клиенту не пришлось повторять всё заново. Подробные правила описаны в статье «Когда ИИ-ассистент должен звать человека».
5. Актуальная и непротиворечивая база знаний
Ассистент на ваших данных ошибается тогда, когда ошибаются сами данные. Старый прайс, две разные цены на разных страницах, условия только на картинке. Лечится это так: одна формулировка для каждого факта, даты актуальности, удаление устаревшего. Подробнее в статье «База знаний для ИИ-ассистента».
6. Тестирование до запуска и после
Перед запуском и после каждого крупного изменения материалов полезно «пытать» ассистента вопросами, на которых модели чаще всего ошибаются.
Чек-лист проверки ассистента на галлюцинации
- Вопрос без ответа в материалах. «Есть ли у вас доставка в Норильск?» Если этого нет в материалах, ассистент не должен придумывать.
- Ложная предпосылка. «Сколько стоит у вас страховка на товар?» При отсутствии услуги ассистент должен поправить собеседника. Рассказывать о несуществующей страховке нельзя.
- Точные цифры. Цена, срок гарантии, порог бесплатной доставки: сверьте с сайтом дословно.
- Противоречие. Спросите о факте, который описан на двух страницах по-разному. Так вы найдёте ошибку в базе.
- Вопрос вне темы. Политика, чужие магазины, просьба написать реферат. Ассистент вежливо возвращается к своей задаче.
- Профессиональная консультация. «Какое лекарство принять?», «Как мне оспорить штраф?» Таких консультаций ассистент не даёт и предлагает обратиться к специалисту.
- Просьба об обещании. «Пообещайте, что доставите завтра». Обязательств, которых нет в материалах, ассистент не даёт.
Результаты записывайте: вопрос, ответ, верно или нет, что исправить. Виновата в ошибках чаще всего не модель: следы ведут к пробелам и противоречиям в материалах.
Попытки намеренно «сломать» ассистента и заставить его сказать лишнее — отдельная тема. Это уже вопрос безопасности; разбор есть в статье о безопасности ИИ-чата и prompt injection.
Что делать, если ассистент всё-таки ошибся
Даже хорошо настроенный ассистент иногда ошибается, поэтому порядок действий стоит продумать заранее:
- Свяжитесь с клиентом, если в ответе была неверная цена или условие, и дайте правильную информацию.
- Найдите причину. Чаще всего это пробел или противоречие в материалах: старая страница, две разные цифры, условие только на картинке.
- Исправьте материалы. Если поправить только конкретный ответ, ошибка повторится в другом диалоге.
- Добавьте вопрос в тестовый набор, чтобы проверять его после каждого обновления.
- Регулярно читайте диалоги: они показывают ошибки раньше, чем жалобы клиентов.
Кто отвечает за ответ чата на сайте
Для клиента чат на вашем сайте и есть вы. Он не разбирается, кто написал ответ: сотрудник, сценарный бот или нейросеть. Поэтому неверная цена или обещание в чате создают те же проблемы, что и ошибка менеджера: спор, недовольство, отзыв.
Отсюда практический вывод: относитесь к ассистенту как к сотруднику первой линии. Ему нужны точные материалы, границы и понятное правило, когда звать человека, а вам нужно регулярно читать его диалоги. Условия поставщика о точности ответов прочитайте до запуска и, если у вас чувствительная сфера, обсудите с юристом.
Что SetSearch делает против выдуманных ответов
- Данные для ассистента собираются автоматически с сайта клиента, и клиент может дополнить их документами, инструкциями и регламентами. Отвечает SetSearch только на этой основе, посторонняя информация из интернета не подмешивается.
- Не найдя ответа, ассистент признаёт незнание вместо угадывания и предлагает связаться с человеком; диалог передаётся оператору вместе со всей историей переписки.
- Границы задаёт владелец сайта: каких тем ассистент не касается и что всегда передаётся человеку. Настройку выполняет команда SetSearch.
- SetSearch не даёт юридических, медицинских и финансовых консультаций. Об услугах и ценах расскажет, но саму консультацию не даст.
- При этом SetSearch не гарантирует абсолютной точности ответов, и это прямо зафиксировано в публичной оферте. Подход «только по материалам клиента» снижает риск выдуманных фактов. Поддерживать материалы актуальными и проверять ответы всё равно придётся.
Подробнее о продукте можно прочитать на главной странице SetSearch.
Отключить фантазию нельзя, оставить её без почвы можно
Склонность достраивать правдоподобный текст заложена в саму языковую модель. Зато можно сделать так, чтобы ей было не на чем фантазировать: дать ей точные материалы, научить говорить «не знаю», вовремя звать человека и регулярно проверять ответы. Стоимость такого ассистента зависит от размера сайта; тарифы начинаются с 3 990 ₽ в месяц.
Источники
- OWASP Top 10 для приложений на LLM — перечень основных рисков приложений на языковых моделях, включая недостоверные ответы и чрезмерное доверие к ним
Статья носит информационный характер и не является юридической консультацией. Для решений по вашей компании обратитесь к юристу.
Частые вопросы
Что такое галлюцинации нейросетей?
Это уверенные, гладко сформулированные ответы, которые не соответствуют действительности: выдуманные цены, условия, товары, ссылки или факты. Модель не обманывает намеренно — она достраивает правдоподобный текст там, где у неё нет точных данных.
Почему ИИ врёт и выдумывает факты?
Языковая модель предсказывает наиболее вероятное продолжение текста, а не сверяется с базой фактов. Если в её распоряжении нет нужных сведений, она всё равно выдаёт правдоподобный ответ, если её специально не настроили признавать незнание.
Можно ли полностью избавиться от галлюцинаций в чате на сайте?
Полностью — нет, абсолютной точности не гарантирует ни одна система. Риск сильно снижают ответы только по материалам компании, признание незнания, границы тем, передача сложных вопросов человеку, актуальная база знаний и регулярное тестирование.
Чем опасна ошибка ИИ-консультанта для бизнеса?
Клиент воспринимает ответ чата на сайте как слова компании. Неверная цена, несуществующая услуга или обещание, которого компания не давала, ведут к спорам с клиентами, потере доверия и лишней нагрузке на поддержку.
Как проверить, выдумывает ли ассистент ответы?
Задайте ему вопросы, ответов на которые точно нет в ваших материалах, вопросы с ложной предпосылкой и вопросы вне вашей темы. Хороший ассистент скажет, что не знает, поправит неверную предпосылку и предложит связаться с сотрудником.
