Галлюцинации ИИ: почему нейросети выдумывают и как это ловить

Коротко: галлюцинация — это уверенный, правдоподобный, но выдуманный ответ нейросети. Это не сбой, а следствие устройства: модель предсказывает вероятное продолжение текста, и когда не знает ответа, «вероятное продолжение» всё равно выглядит как настоящий ответ. Защита: проверять критичное, давать модели источники, включать веб-поиск.

Почему модели выдумывают

Языковая модель не «ищет ответ в базе» — она генерирует текст токен за токеном, выбирая наиболее вероятное продолжение. У неё нет встроенного флажка «я этого не знаю»: когда фактов не хватает, статистически вероятный текст всё равно родится — с датами, именами и уверенным тоном.

Где риск максимален

• Ссылки и источники — модели легко выдумывают правдоподобные URL и названия статей
• Точные цифры, даты, цитаты
• Малоизвестные люди и события — мало данных, много фантазии
• Юридические и медицинские детали — цена ошибки максимальна

4 приёма защиты

1. Проверяй критичное. Любая цифра, цитата или ссылка, от которой что-то зависит, — открой первоисточник.
2. Разрешай признаваться. Добавь в запрос: «Если не уверен — так и скажи». Заметно снижает выдумки.
3. Давай материал. Модель с документом отвечает по документу, а не по памяти.
4. Включай веб-поиск — ответы с опорой на найденные страницы проверяемы по ссылкам.

Запомни главное

Правдоподобные детали — не доказательство. Уверенный тон — не доказательство. Единственное доказательство — первоисточник, который ты открыл сам.