Почему ИИ ошибается и уверенно выдумывает

01Почему так происходит

Языковая модель не проверяет факты — она подбирает правдоподобное продолжение текста. Если в её «памяти» нет точного ответа, правдоподобное продолжение всё равно найдётся: номер статьи, похожий на настоящий, фамилия, которая звучит убедительно, цифра нужного порядка.

Модель не «врёт» специально. У неё просто нет встроенного способа сказать «я этого не знаю», если её об этом не попросили.

02Где ошибки встречаются чаще всего

• Точные данные: номера статей и пунктов, даты, ИНН, телефоны, цены, названия документов.
• Ссылки и источники: адреса страниц и названия публикаций, которых не существует.
• Цитаты: «как сказал…» — и далее фраза, которую никто не говорил.
• Длинные расчёты: проценты, суммы по многим строкам, пересчёт единиц.
• Свежие события: всё, что случилось после даты обучения модели.
• Редкие темы: узкая отрасль, местные правила, внутренние документы компании.

03Признаки, что ответ надо проверить особенно внимательно

1. Очень конкретная деталь без указания источника.
2. Слишком гладко: ни одной оговорки там, где специалист бы их сделал.
3. Модель «соглашается» с вашей ошибкой в вопросе.
4. На повторный запрос приходит другая цифра или другой номер.

04Как снизить риск

• Давайте материал. «Вот текст договора — найди в нём срок оплаты» намного надёжнее, чем «какой обычно срок оплаты».
• Разрешайте не знать. Добавьте в запрос: «Если информации нет в тексте — так и напиши».
• Просите показать, откуда. «Укажи, в каком абзаце это написано» — и посмотрите сами.
• Проверяйте по первоисточнику всё, что пойдёт клиенту, руководителю или в официальный документ.
• Сравнивайте два ответа. Если они расходятся в фактах — модель не знает точно.