Как мы проверяем ИИ

Сформулировать проверяемый вопрос

Вместо общей цели внедрить ИИ выбирается наблюдаемый результат: правильно направить обращение, извлечь факт с указанием источника, найти ошибку в данных. Для него заранее описываются допустимые действия и ситуации, в которых нужен человек.

Сравнение начинается с базового решения. Это может быть исходная модель, простое правило или существующий процесс. Без такой опоры трудно понять, что именно дало улучшение и оправдывает ли оно сложность системы.

Проверить происхождение данных

Нужно знать источник примеров, условия использования, способ разметки и распределение между обучением, калибровкой и тестом. Разделение отдельных строк не всегда означает разделение тем, шаблонов и каталогов инструментов.

В RuDecide отдельно описаны задачи с человеческой разметкой и прикладные задачи, включая синтетические каталоги навыков. Используемые части исходных наборов и лицензии перечислены в карточке. Смешанные условия источников нельзя свести к одной общей лицензии.

Проверить ошибки, уверенность и новые задачи

Точность показывает долю правильных выборов. Метрика skill учитывает результат случайного выбора при разном числе вариантов. Калибровка отвечает на другой вопрос: насколько заявленная уверенность соответствует наблюдаемой доле правильных решений.

Откалиброванная на одном тесте вероятность не становится гарантией для другого потока данных. Поэтому отдельно нужны незнакомые задачи, новые каталоги инструментов, переформулировки и неоднозначные сообщения.

Проверить действия и доступ к системам

Правильный выбор инструмента ещё не означает правильное действие. Система должна проверить полномочия, входные данные, результат вызова и состояние задачи после него. Отказ сервиса, повтор запроса или частичный ответ требуют отдельного сценария.

Доступ стоит ограничивать нужными системами, действиями и сроком задачи. По завершении или истечении срока его отзывают. Это дополняет RBAC и снижает возможный ущерб, но не устраняет ошибки модели, утечки и другие угрозы.

Для значимых операций нужны согласование, возможность остановки и сохранение оснований решения. Ответственность за правила и последствия остаётся у людей.

Провести небольшое испытание на одном процессе

Перед пилотом фиксируются критерии успеха: качество результата, допустимые ошибки, задержка, стоимость обработки и труд человека на перепроверку. Замер только скорости модели может скрыть время на подготовку данных, вызовы инструментов и исправления.

Сначала разумно оценивать рекомендации без автоматического применения. Реальные данные требуют отдельного согласования состава, доступа и обработки. Результаты пробной проверки относятся к его условиям; их нельзя переносить на другой процесс без проверки.

Зафиксировать результат и его границы

• Назвать версию модели, набор данных и способ подсчёта.
• Отделить новый эксперимент от результатов, опубликованных авторами карточки.
• Описать типичные ошибки, исключённые примеры и зависимость от оборудования.
• Указать, что было воспроизведено, а что остаётся гипотезой.

Возможности ИИ и подходы к защите данных меняются быстро. Для выбора практического решения рекомендуем изучать кейсы за последние полгода и перепроверять выводы на актуальных версиях. Этот ориентир относится к применимости опыта, а не отменяет фундаментальные методы.