Почему нейросеть ошибается и врёт: галлюцинации ИИ на реальных примерах

Нейросеть ошибается, потому что не знает, где правда, а подбирает самое вероятное продолжение текста. Когда точного ответа у неё нет, она часто не говорит «не знаю», а выдаёт правдоподобный и уверенный ответ. Такие ошибки называют галлюцинациями ИИ, или галлюцинациями нейросети. Полностью убрать их пока нельзя, зато их можно ловить. Ниже семь видов ошибок, которые делали мои агенты на реальных задачах, объяснения разработчиков, откуда они берутся, и порядок проверки, который у меня работает.

Эта статья для тебя, если ты отдаёшь нейросети тексты, расчёты или разбор документов для своего дела и хочешь понимать, где она подведёт, до того как ошибка уйдёт клиенту.

Что такое галлюцинации ИИ

В OpenAI галлюцинацией называют случаи, когда модель уверенно выдаёт неверный ответ. У Google формулировка похожая: правдоподобный, но фактически неверный результат. В справке OpenAI к галлюцинациям прямо отнесены выдуманные цитаты, исследования и ссылки на несуществующие источники.

Главное слово тут «уверенно». Там же сказано: уверенность это не надёжность, модель может звучать уверенно и в неверных ответах. Так что не обманывайся гладкостью: ровный грамотный текст ничего не говорит о том, верен ли он.

Почему ИИ ошибается: объяснение разработчиков

Если коротко, причин три, и все они есть в официальных материалах.

Её учили угадывать, а не признавать, что не знает. В исследовании OpenAI о галлюцинациях главный вывод такой: стандартные процедуры обучения и оценки поощряют догадки, а не признание неуверенности. Пример оттуда же: если модель не знает чей-то день рождения и называет случайную дату, у неё шанс 1 из 365 попасть. А за честное «не знаю» она получает гарантированный ноль. Вот и угадывает.

Редкие факты по шаблону не вычислишь. Модель учится предсказывать следующее слово, и к утверждениям в обучающих текстах не приклеены ярлыки «истина» и «ложь». Общие закономерности она схватывает, а произвольные редкие факты, вроде дня рождения домашнего питомца, по словам OpenAI, по одним шаблонам предсказать невозможно.

Знакомое имя отключает тормоз. В Anthropic заглянули внутрь своей модели и нашли, что по умолчанию у неё включён отказ отвечать. Но если имя кажется знакомым, а фактов о человеке нет, этот тормоз может ложно отключиться, и модель начинает конфабулировать: строить правдоподобный, но неверный ответ.

И ещё OpenAI честно пишет: точность никогда не достигнет 100%, потому что на некоторые вопросы ответа просто нет. Хорошая модель в таких случаях должна сказать «не знаю», но пока делает это не всегда.

Галлюцинации ИИ: примеры из моей работы

Это не подборка из интернета. Каждый случай ниже был у меня, и в каждом ошибку нашла проверка.

1. Выдумывает цитату. 13 октября агент переписывал мою статью и поставил в кавычки фразу, которой в рабочей сессии не было. Поймал отдельный проверяющий, который сверял текст с исходниками.
2. Теряет одну цифру. Агент разбирал спрос в Вордстате и написал, что год назад запрос искали 252 раза в месяц. В его же выгрузке стояло 2 521. Одна потерянная цифра, и вывод о росте спроса стал красивым и неверным.
3. Путает номер документа. В банке тем для постов моего юридического проекта карточка приписала вывод «роскошное жильё можно заменить скромным» не тому постановлению Конституционного Суда. В другой карточке правило о возрасте для обязательной доли в наследстве ушло не к тому закону. Поймал агент в ночь на 14 октября, когда сверял карточки с первоисточниками.
4. Меняет время глагола. В пресс-релизе компания объявила, что новую функцию первыми «получат» владельцы одного устройства. В листе фактов, а потом и в черновике моей статьи это стало прошедшим временем: уже получили, в июне. Звучит почти так же, а утверждает то, чего источник не говорил.
5. Расширяет то, что в источнике ограничено. В претензии ИИ написал, что проверка может охватить «как минимум» три года, хотя закон этим сроком как раз ограничивает. Этот случай нашли уже после отправки, когда я готовил статью.
6. Выкидывает слово, которое меняет смысл. В посте про поддельный сайт банка из пересказа закона пропало «незамедлительно», и осталось только требование сообщить не позднее следующего дня.
7. Выдаёт красивый вывод без опоры. Черновик называл мифом «миллион без налога», хотя за 2025 год это в целом правда, и советовал «пиши в налоговую до оплаты», хотя срок уплаты от спора не сдвигается.

Случаи 5, 6 и 7 юридические, подробно с нормами они разобраны в статье ИИ для юристов.

Видишь общее? Почти нигде нейросеть не написала откровенную чушь. Чаще всего она ошибалась в одной детали: слово, цифра, номер, время глагола. Причём в случаях 2 и 4 источник лежал прямо перед ней. Это мой вывод по этим случаям: общий смысл она держит, а точные мелочи теряет.

Почему ИИ пропускает свои ошибки при самопроверке

Есть ещё одна ловушка. Попроси модель перепроверить свой же текст, и она может ответить, что критических ошибок не видит. У меня так было с той самой претензией: агент проверял сам себя и сам выбирал, что проверять, и нужной статьи закона в его списке не оказалось.

Вот и вся причина: когда модель сама решает, что проверять, она легко пропускает то же, что пропустила при написании. Поэтому самопроверка автора слабая защита.

Как ловить галлюцинации: что советуют разработчики

Из советов самих разработчиков у меня прижились шесть.

• Разреши модели сказать «не знаю». Anthropic пишет, что такой простой приём может резко уменьшить количество ложной информации.
• Сначала дословные цитаты, потом выводы. Если работаешь с длинным документом, попроси сначала выписать дословные цитаты, а уже потом отвечать по ним. Утверждение, к которому не нашлось цитаты, модель должна убрать.
• Только данные из твоих документов. Пропиши прямо: отвечать только по приложенным материалам, без общих знаний.
• Прогони несколько раз и сравни. Anthropic советует запустить один и тот же запрос несколько раз: расхождения между ответами могут указывать на галлюцинацию.
• Черновик, а не источник. OpenAI советует использовать ответ как первый черновик и всегда проверять цитаты, данные и ссылки.
• Привязка к источникам. У Google это называется grounding: ответ привязывается к проверяемым источникам со ссылками, и это снижает галлюцинации.

И честная оговорка из документации Anthropic: эти приёмы заметно снижают галлюцинации, но не убирают их полностью. Важное всё равно проверяй.

Как проверяю я: отдельный проверяющий и две волны

Советы разработчиков хороши, но главная защита у меня другая. Текст пишет один агент, а проверяют другие, которые не видели, как он писался.

Проверяющий не автор. Агент-фактчекер получает готовый текст и папку источников. Его задача: сверить каждое утверждение с источником и вернуть таблицу, где у каждого утверждения указан источник и отмечено, подтвердилось оно или нет. Свою работу ему защищать не нужно, у него её нет.

Две волны и сверка после правок. Первая волна находит ошибки, автор правит. Потом весь текст проверяют заново, а не только исправленные места: правка сама может внести новую ошибку. Так у меня повторная проверка поймала фразу, которую агент-автор добавил при исправлении: она звучала сильнее, чем было у разработчика.

Опасные места по списку. Цитаты, номера документов, даты, цифры, слова-ограничители вроде «только», «не позднее», «как минимум», время глаголов. Их проверяющий открывает в первоисточнике всегда, даже если остальной текст выглядит безупречно.

На этой схеме работает мой контент-завод: агенты пишут статьи и посты, проверяющие отдельно сверяют факты и голос, и до публикации доходит текст, прошедший обе волны. Устройство завода целиком показываю в практикуме «Контент-завод на ИИ».

Можно ли доверять нейросети

Можно, если не доверять вслепую. Разработчики пишут об этом прямо. В условиях использования OpenAI сказано, что ответы могут быть неточными и не должны быть единственным источником правды. Под полем ввода у Gemini написано, что это ИИ и он может ошибаться. У Алисы там же строка о том, что она может ошибаться и важное стоит проверять. Сбер в документации GigaChat пишет коротко: «Всегда проверяйте ответы GigaChat».

В отчётах ниже новые модели ошибаются реже предыдущих, но не перестают. В отчёте по GPT-5 на реальных запросах ChatGPT с поиском у модели gpt-5-thinking ответов хотя бы с одной серьёзной ошибкой было 4,8%, у предыдущей o3 22%. У Claude Opus 5.5 на тесте без интернета верных ответов 76%, неверных 17%, а в 7% случаев модель отказалась отвечать. У предыдущей Claude Opus 5 на том же тесте неверных было 22%. Цифры разных компаний сняты на разных тестах, сравнивать их между собой нельзя. Но и 4,8% это примерно каждый двадцатый ответ.

Мой совет для твоей работы: пусть нейросеть пишет черновики и разбирает документы, с этим она справляется отлично. А последний шаг, сверку деталей с источником, оставь за собой или за отдельным проверяющим.

Частые вопросы

Почему ИИ врёт? Он не врёт в человеческом смысле: намерения обмануть у него нет. Его обучали угадывать правдоподобный ответ, и когда точного ответа нет, он часто выдаёт догадку уверенным тоном.

Что такое галлюцинации ИИ, или галлюцинации нейросети? Это правдоподобные, но неверные ответы, которые модель выдаёт как факт: выдуманные цитаты, даты, цифры, ссылки на несуществующие источники.

Как часто ошибается ИИ? Зависит от модели и задачи, но ноль не бывает. Например, в отчёте OpenAI по GPT-5 модель gpt-5-thinking на реальных запросах с поиском давала серьёзную ошибку в 4,8% ответов, это около пяти на сотню.

Почему ИИ ошибается в мелочах, а не в главном? По моим случаям, общий смысл модель схватывает хорошо, а точные детали вроде цифры, номера документа или одного слова теряет чаще. Поэтому проверять в первую очередь нужно именно их.

Можно ли сделать так, чтобы нейросеть совсем не ошибалась? Полностью нет. Можно сильно снизить ошибки: разрешить говорить «не знаю», требовать цитаты из источника и проверять результат отдельным проверяющим.

Какая нейросеть ошибается меньше всех? Честного общего рейтинга нет: разработчики меряют точность на разных тестах. Важнее схема работы: модель отвечает по твоим документам, а детали сверяет кто-то другой.

Чек-лист: проверь ответ нейросети перед тем, как он ушёл клиенту

1. Каждая цитата в кавычках есть в источнике дословно?
2. Цифры совпадают с исходными данными, ни одна не потерялась и не округлилась?
3. Номера документов, законов и даты открыты в первоисточнике?
4. Не исчезли и не добавились слова, которые меняют смысл: «только», «не позднее», «уже»?
5. Время глаголов совпадает с источником: «получат» не превратилось в «получили»?
6. Вывод следует из фактов, а не просто звучит логично?
7. Проверял не сам автор текста, а отдельный проверяющий или ты сам?

Ошибается в мелочах, ловишь по списку

Нейросеть ошибается не потому, что она глупая, а потому, что её учили угадывать. Ошибки у неё уверенные и чаще всего мелкие: одно слово, одна цифра, один номер. Защита скучная, но рабочая: пусть говорит «не знаю», пусть цитирует, а проверяет другой.

Начать можно с бесплатного урока «Первый ИИ-агент за 20 минут». Там ты соберёшь агента, который работает по твоим записанным правилам, и одно из них звучит так: если что-то непонятно, спрашивай, не угадывай.