01Оценка качества на выборке
Одного удачного ответа мало. Перед тем как встроить ИИ в процесс, проверьте его на выборке.
- Соберите 20 реальных примеров задачи (обезличенных).
- Прогоните их через ваш запрос или автоматизацию.
- Оцените каждый ответ по трём меткам: верно, нужна правка, неверно.
- Посчитайте доли и посмотрите на ошибки: есть ли в них закономерность.
| Результат | Что делать |
|---|---|
| Почти всё верно | Внедрять с выборочной проверкой |
| Много правок | Улучшать запрос, давать больше контекста, примеры |
| Есть грубые ошибки | Оставить обязательную проверку человеком или не внедрять |
02Карта рисков
| Риск | Вопрос | Как снизить |
|---|---|---|
| Точность | Что будет, если ответ неверный? | Проверка человеком на критичных шагах |
| Данные | Какие данные уходят в сервис? | Обезличивание, корпоративные решения |
| Право | Нет ли персональных данных, авторских прав, рекламы? | Согласовать с юристом |
| Правила компании | Разрешён ли сервис? | Согласовать с ИТ и безопасностью |
| Зависимость | Что будет, если сервис недоступен? | Ручной запасной сценарий |
| Ответственность | Кто подписывает результат? | Назначить ответственного |
03Признаки, что внедрять рано
- Нельзя описать, как выглядит правильный результат.
- Нет человека, который отвечает за итог.
- Ошибка стоит дороже, чем вся экономия времени.
Эта карта не заменяет юриста и службу безопасности, но помогает прийти к ним с правильными вопросами.
04Задание
Задание
- Выберите одну задачу, которую хотите поручить ИИ в процессе.
- Проведите оценку на 20 примерах и посчитайте доли.
- Заполните карту рисков из шести строк.
Навыки карты в этом материале