Как проверять ответ ИИ: чек-лист

01Чек-лист из шести пунктов

1. Факты и данные

Каждое имя, дата, номер документа, цена, адрес — это места, где модель ошибается чаще всего. Сверьте с первоисточником: договором, сайтом ведомства, справочником, вашей CRM.

2. Цифры и расчёты

Пересчитайте ключевые цифры сами или в таблице. Особенно проценты, суммы по многим строкам и пересчёт единиц. Попросите модель показать расчёт по шагам — ошибку в шагах увидеть проще.

3. Ссылки и источники

Откройте каждую ссылку. Несуществующая страница или статья, которая говорит о другом, — частая ошибка. Если источник не указан — это просто мнение модели.

4. Соответствие задаче

Сделано ли то, что вы просили? Модель могла сократить не тот раздел, пропустить пункт, ответить на соседний вопрос.

5. Логика

Нет ли противоречий между абзацами? Следует ли вывод из данных? Модель иногда пишет «поэтому», когда никакого «поэтому» нет.

6. Тон и последствия

Как это прочитает адресат? Нет ли обещаний, которые вы не можете выполнить? Нет ли в тексте того, что нельзя разглашать?

02Приёмы, которые ускоряют проверку

• Попросите указать, где. «Отметь, из какого пункта документа взят каждый вывод».
• Попросите критику. «Найди в своём ответе три самых слабых места». Модель неплохо находит собственные ошибки, если её прямо об этом попросить.
• Сравните два ответа. Перегенерируйте. Расхождение в фактах — красный флаг.
• Спросите иначе. Задайте тот же вопрос с другой стороны: «А в каких случаях это неверно?»

03Сколько проверять