# Галлюцинации нейросетей: почему ИИ выдумывает факты и как не допустить этого в чате на сайте > Галлюцинации нейросетей простыми словами: почему ИИ выдумывает факты, чем это опасно для бизнеса и как снизить риск в чате на сайте — от базы знаний до оператора. Опубликовано: 2026-08-17 · Рубрика: Данные и закон · Автор: Редакция SetSearch Источник: [https://setsearch.ai/blog/ai-hallucinations-website-chat/](https://setsearch.ai/blog/ai-hallucinations-website-chat/) Галлюцинации нейросетей — это уверенные и правдоподобные ответы, которые не соответствуют действительности: выдуманная цена, несуществующая услуга, неверный срок гарантии. Языковая модель по своей природе достраивает вероятный текст и с базой фактов не сверяется, отсюда и ошибки. В чате на сайте риск снижают несколькими мерами сразу. Ассистент отвечает только по материалам компании, честно признаёт незнание, не выходит за заданные темы и передаёт сложные вопросы человеку, а база знаний поддерживается в актуальном состоянии и регулярно проверяется. Полностью исключить ошибки нельзя, и честный поставщик так и говорит. Ниже о том, откуда берутся галлюцинации, чем они опасны именно для бизнеса и что с ними делать на практике. Материал пригодится тем, кто выбирает ИИ-консультанта для сайта или уже запустил его и хочет понять, насколько можно доверять его ответам. ## Почему нейросети «галлюцинируют»: простое объяснение Большая языковая модель обучена на огромном массиве текстов и умеет одно очень хорошо: продолжать текст так, как его вероятнее всего продолжил бы человек. Когда вы задаёте вопрос, модель не ищет ответ в таблице фактов. Она строит ответ слово за словом, выбирая правдоподобное продолжение. Пока вопрос о чём-то общеизвестном, правдоподобное и верное обычно совпадают. Другое дело, если спросить о ценах конкретного магазина, условиях доставки небольшой компании или наличии товара на складе. Модель этого не знает, но всё равно выдаст гладкий ответ. Просто он будет «типичным», и к вашей компании отношения иметь не будет. Эффект усиливают несколько обстоятельств: - **Нет нужных данных.** О небольшой компании модель знает мало или ничего, а память её заморожена на момент обучения. - **Вопрос с ложной предпосылкой.** «Сколько стоит у вас доставка дронами?» Модель может начать рассказывать о доставке, которой нет. - **Давление на «полезность».** Если модель не настроили иначе, она стремится ответить и неохотно отказывает. - **Противоречивые источники.** Если в материалах две разные цены, модель может выбрать любую или смешать их. При этом модель не «врёт» в человеческом смысле. Намерения обмануть у неё нет, есть склонность заполнять пробелы правдоподобным текстом. ## Чем галлюцинации опасны для бизнеса Для пользователя, который просит нейросеть написать поздравление, выдуманная деталь — мелочь. С ИИ-консультантом в чате на сайте компании всё иначе: клиент воспринимает его ответ как слова самой компании. | Что выдумал чат | Чем это оборачивается | | ------------------------- | ------------------------------------------------------------ | | Неверная цена | Клиент приходит с претензией: «Ваш же чат сказал» | | Несуществующая услуга | Потерянное время клиента и негативный отзыв | | Неверные условия возврата | Конфликт при возврате и нагрузка на поддержку | | Обещание скидки или срока | Компания либо выполняет то, чего не планировала, либо спорит | | Совет вне компетенции | Риск для клиента и репутации компании | Условный пример диалога с плохо настроенным чатом: > **Посетитель:** Если холодильник сломается через полтора года, вы бесплатно почините? > > **Чат:** Да, на всю технику действует гарантия 3 года, ремонт бесплатный. А в материалах магазина гарантия — 1 год. Ответ звучит уверенно, клиент делает скриншот, и через полтора года у компании конфликт. ## Почему «просто попросить не выдумывать» не работает Первое, что приходит в голову: написать модели инструкцию «Не выдумывай, отвечай только правду». Немного это помогает, но задачу не решает. Модель не знает, где проходит граница между тем, что ей известно точно, и тем, что она достраивает. Инструкция «не выдумывай» не даёт ей ваших цен, сроков и условий, и без них правдоподобный ответ всё равно остаётся догадкой. Надёжная защита поэтому строится на устройстве системы. Откуда ассистент берёт сведения? Что он делает, если их нет? И кто подхватывает вопрос, когда ответа не нашлось? ## Как снижают риск галлюцинаций в чате на сайте Ни одна мера сама по себе задачу не решает. Работает сочетание. ### 1. Ответы только по материалам компании Перед ответом ассистент находит нужные фрагменты в материалах компании (каталоге, статьях, документах) и отвечает по ним. «Общие знания» модели в ход не идут: она не вспоминает, она сверяется. Это главная мера, потому что она убирает почву для «типичных» ответов. Чем такой подход отличается от универсальной нейросети в окне чата, мы писали в статье [«Просто подключить ChatGPT»](https://setsearch.ai/blog/chatgpt-on-website-vs-ai-assistant/). ### 2. Признание незнания Если ответа в материалах нет, ассистент должен так и сказать. Угадывать ему нельзя: > **Посетитель:** Подойдёт ли этот фильтр к кофемашине 2015 года? > > **Ассистент:** В описании фильтра совместимость с этой моделью не указана, а гадать не хочу. Могу передать вопрос сотруднику — он уточнит и ответит вам. Для клиента это лучше уверенной ошибки: он получает честный ответ и путь к решению. ### 3. Границы тем Владелец сайта задаёт, о чём ассистент не говорит: политика, советы по чужим товарам, медицинские и юридические консультации. Чем уже рабочая зона, тем меньше мест, где модель может «уплыть» в общие знания. ### 4. Передача человеку Деньги, исключения из правил, нестандартные заказы, жалобы — всё это вопросы для сотрудника. Ассистент передаёт диалог вместе с историей переписки, чтобы клиенту не пришлось повторять всё заново. Подробные правила описаны в статье [«Когда ИИ-ассистент должен звать человека»](https://setsearch.ai/blog/handoff-to-operator-rules/). ### 5. Актуальная и непротиворечивая база знаний Ассистент на ваших данных ошибается тогда, когда ошибаются сами данные. Старый прайс, две разные цены на разных страницах, условия только на картинке. Лечится это так: одна формулировка для каждого факта, даты актуальности, удаление устаревшего. Подробнее в статье [«База знаний для ИИ-ассистента»](https://setsearch.ai/blog/knowledge-base-for-ai/). ### 6. Тестирование до запуска и после Перед запуском и после каждого крупного изменения материалов полезно «пытать» ассистента вопросами, на которых модели чаще всего ошибаются. ## Чек-лист проверки ассистента на галлюцинации 1. **Вопрос без ответа в материалах.** «Есть ли у вас доставка в Норильск?» Если этого нет в материалах, ассистент не должен придумывать. 2. **Ложная предпосылка.** «Сколько стоит у вас страховка на товар?» При отсутствии услуги ассистент должен поправить собеседника. Рассказывать о несуществующей страховке нельзя. 3. **Точные цифры.** Цена, срок гарантии, порог бесплатной доставки: сверьте с сайтом дословно. 4. **Противоречие.** Спросите о факте, который описан на двух страницах по-разному. Так вы найдёте ошибку в базе. 5. **Вопрос вне темы.** Политика, чужие магазины, просьба написать реферат. Ассистент вежливо возвращается к своей задаче. 6. **Профессиональная консультация.** «Какое лекарство принять?», «Как мне оспорить штраф?» Таких консультаций ассистент не даёт и предлагает обратиться к специалисту. 7. **Просьба об обещании.** «Пообещайте, что доставите завтра». Обязательств, которых нет в материалах, ассистент не даёт. Результаты записывайте: вопрос, ответ, верно или нет, что исправить. Виновата в ошибках чаще всего не модель: следы ведут к пробелам и противоречиям в материалах. Попытки намеренно «сломать» ассистента и заставить его сказать лишнее — отдельная тема. Это уже вопрос безопасности; разбор есть в статье [о безопасности ИИ-чата и prompt injection](https://setsearch.ai/blog/ai-chat-security-prompt-injection/). ## Что делать, если ассистент всё-таки ошибся Даже хорошо настроенный ассистент иногда ошибается, поэтому порядок действий стоит продумать заранее: 1. **Свяжитесь с клиентом**, если в ответе была неверная цена или условие, и дайте правильную информацию. 2. **Найдите причину.** Чаще всего это пробел или противоречие в материалах: старая страница, две разные цифры, условие только на картинке. 3. **Исправьте материалы.** Если поправить только конкретный ответ, ошибка повторится в другом диалоге. 4. **Добавьте вопрос в тестовый набор**, чтобы проверять его после каждого обновления. 5. **Регулярно читайте диалоги**: они показывают ошибки раньше, чем жалобы клиентов. ## Кто отвечает за ответ чата на сайте Для клиента чат на вашем сайте и есть вы. Он не разбирается, кто написал ответ: сотрудник, сценарный бот или нейросеть. Поэтому неверная цена или обещание в чате создают те же проблемы, что и ошибка менеджера: спор, недовольство, отзыв. Отсюда практический вывод: относитесь к ассистенту как к сотруднику первой линии. Ему нужны точные материалы, границы и понятное правило, когда звать человека, а вам нужно регулярно читать его диалоги. Условия поставщика о точности ответов прочитайте до запуска и, если у вас чувствительная сфера, обсудите с юристом. ## Что SetSearch делает против выдуманных ответов - Данные для ассистента **собираются автоматически с сайта клиента**, и клиент может дополнить их документами, инструкциями и регламентами. Отвечает SetSearch только на этой основе, посторонняя информация из интернета не подмешивается. - Не найдя ответа, ассистент **признаёт незнание вместо угадывания** и предлагает связаться с человеком; диалог передаётся оператору вместе со всей историей переписки. - Границы задаёт владелец сайта: каких тем ассистент не касается и что всегда передаётся человеку. Настройку выполняет команда SetSearch. - SetSearch не даёт юридических, медицинских и финансовых консультаций. Об услугах и ценах расскажет, но саму консультацию не даст. - При этом SetSearch **не гарантирует абсолютной точности ответов**, и это прямо зафиксировано в публичной оферте. Подход «только по материалам клиента» снижает риск выдуманных фактов. Поддерживать материалы актуальными и проверять ответы всё равно придётся. Подробнее о продукте можно прочитать на [главной странице SetSearch](https://setsearch.ai/). ## Отключить фантазию нельзя, оставить её без почвы можно Склонность достраивать правдоподобный текст заложена в саму языковую модель. Зато можно сделать так, чтобы ей было не на чем фантазировать: дать ей точные материалы, научить говорить «не знаю», вовремя звать человека и регулярно проверять ответы. Стоимость такого ассистента зависит от размера сайта; [тарифы](https://setsearch.ai/pricing/) начинаются с 3 990 ₽ в месяц. ## Источники - [OWASP Top 10 для приложений на LLM](https://owasp.org/www-project-top-10-for-large-language-model-applications/) — перечень основных рисков приложений на языковых моделях, включая недостоверные ответы и чрезмерное доверие к ним _Статья носит информационный характер и не является юридической консультацией. Для решений по вашей компании обратитесь к юристу._ ## Частые вопросы ### Что такое галлюцинации нейросетей? Это уверенные, гладко сформулированные ответы, которые не соответствуют действительности: выдуманные цены, условия, товары, ссылки или факты. Модель не обманывает намеренно — она достраивает правдоподобный текст там, где у неё нет точных данных. ### Почему ИИ врёт и выдумывает факты? Языковая модель предсказывает наиболее вероятное продолжение текста, а не сверяется с базой фактов. Если в её распоряжении нет нужных сведений, она всё равно выдаёт правдоподобный ответ, если её специально не настроили признавать незнание. ### Можно ли полностью избавиться от галлюцинаций в чате на сайте? Полностью — нет, абсолютной точности не гарантирует ни одна система. Риск сильно снижают ответы только по материалам компании, признание незнания, границы тем, передача сложных вопросов человеку, актуальная база знаний и регулярное тестирование. ### Чем опасна ошибка ИИ-консультанта для бизнеса? Клиент воспринимает ответ чата на сайте как слова компании. Неверная цена, несуществующая услуга или обещание, которого компания не давала, ведут к спорам с клиентами, потере доверия и лишней нагрузке на поддержку. ### Как проверить, выдумывает ли ассистент ответы? Задайте ему вопросы, ответов на которые точно нет в ваших материалах, вопросы с ложной предпосылкой и вопросы вне вашей темы. Хороший ассистент скажет, что не знает, поправит неверную предпосылку и предложит связаться с сотрудником.