Галлюцинации: когда ИИ уверенно ошибается

В уроке про машинное обучение я задал вопрос: что будет, если модель встретит то, чего не было в примерах? Время дать ответ — он объясняет самую обсуждаемую проблему ИИ.

Эксперимент, который всё объясняет

Спроси модель о редкой книге малоизвестного автора — и она может выдать точное название, год издания, издательство и краткое содержание… которых никогда не существовало. Это галлюцинация: уверенный, детальный, правдоподобный — и полностью выдуманный ответ.

Почему это не сбой, а природа механизма

Вспомни: LLM предсказывает вероятное продолжение текста. Когда знаний хватает, вероятное совпадает с правдой. Когда знаний нет — механизм не останавливается: он всё равно генерирует вероятно выглядящий текст. Как выглядит вероятный ответ про книгу? Название, автор, год, издательство — модель и выдаёт идеальную форму ответа, не имея содержания. У неё нет встроенного флажка «я этого не знаю» — уверенный тон и у правды, и у выдумки одинаковый.

Твой ответ на сократовский вопрос из урока про машинное обучение был про это же: на том, чего не было в примерах, статистика достраивает правдоподобное.

Карта зон риска

Галлюцинации распределены неравномерно. Максимальный риск:

• 🔗 Ссылки и источники — модели виртуозно выдумывают правдоподобные URL и названия статей. Зона риска №1.
• 🔢 Точные цифры, даты, цитаты — форма точная, содержание может быть придумано.
• 👤 Малоизвестные люди и события — мало данных в обучении → много достроенного.
• ⚖️ Юридические и медицинские детали — плюс максимальная цена ошибки.

Минимальный риск: общеизвестные понятия, популярные темы, рассуждения по предоставленному тобой тексту.

Хроника громких галлюцинаций (реальные случаи)

• Юрист и выдуманные прецеденты (2023). Американский адвокат вставил в судебный иск шесть прецедентов, подсказанных ChatGPT. Судья не нашёл ни одного: все дела были выдуманы — с номерами, датами и убедительными цитатами. Юриста оштрафовали, история попала во все мировые СМИ и стала хрестоматийной.
• Чат-бот Air Canada (2024). Бот авиакомпании пообещал пассажиру скидку по «политике возврата», которой не существовало. Суд обязал компанию выплатить компенсацию: «бот — ваш представитель, отвечаете вы». Прецедент для всех, кто ставит ИИ говорить с клиентами.
• Демо Bard и минус $100 млрд (2023). В рекламном ролике чат-бот Google ошибся в факте о телескопе «Джеймс Уэбб» — акции Alphabet упали примерно на сто миллиардов долларов за день. Одна галлюцинация — самая дорогая ошибка в истории маркетинга.

Мораль всех трёх: платит не ИИ — платит человек, который не проверил. Заметь и обратную сторону: миллионы людей в те же годы спокойно пользовались теми же моделями без происшествий — потому что проверяли критичное. Разница между героем новостей и профессионалом — одна привычка, и ты приобретаешь её прямо сейчас.

Почему это нельзя «просто починить»

Резонный вопрос: раз проблема известна — почему инженеры не исправят? Потому что генерация правдоподобного текста — это сам механизм работы модели, а не дефект в нём. Прогресс есть: свежие модели галлюцинируют меньше, поиск и работа с документами прижимают проблему сильнее. Но принципиально возможность выдумки встроена в природу LLM — поэтому навык проверки не устареет, какой бы версией ты ни пользовался.

Четыре приёма защиты

1. Проверяй критичное. Правило профессионала: любая цифра, цитата или ссылка, от которой что-то зависит, проверяется в первоисточнике. Правдоподобные детали — не доказательство; уверенный тон — не доказательство.
2. Разрешай признаться. Добавь в запрос: «Если не уверен — так и скажи». Разрешение снижает выдумки заметно: ты «легализуешь» ответ «не знаю».
3. Давай материал. Модель с документом отвечает по документу, а не по памяти. Точность растёт радикально.
4. Включай веб-поиск. Ответ с опорой на найденные страницы проверяем по ссылкам (настоящим!). Курс про Deep Research строит на этом целую методологию.

Сделай сейчас

Проведи эксперимент: спроси нейросеть о чём-то очень нишевом из своей работы или хобби (редкий термин, локальное событие). Проверь ответ. Поймал галлюцинацию — поздравляю: теперь ты знаешь врага в лицо. Не поймал — добавь «если не уверен, скажи» и посмотри, изменится ли тон.