Как выпускать обновления агента поддержки и вовремя замечать ухудшение
Мы предлагаем выпускать обновления агента поддержки через сравнение с действующей версией на согласованных проверках. Изменение модели, инструкции или инструмента может улучшить один сценарий и ухудшить другой. Разберём, как заметить это до расширения доступа.
Мы предлагаем связывать разработку агента с эксплуатацией через проверку качества: включать обнаруженные ошибки в контрольные данные и сравнивать новую версию с действующей. Такой порядок иллюстрирует подход Zepto от Databricks с MLflow, трассировкой действий и несколькими способами оценки.
Согласуйте требования с владельцами процесса
Служба поддержки определяет корректность решения, операционная команда — допустимую задержку, а владелец процесса — разрешённые действия и условия передачи человеку. Эти требования превращаются в контрольные ситуации.
Для пилота выберите одну категорию, например вопросы о статусе доставки. В подборке должны быть обычный заказ, задержка, отсутствие данных, повторное обращение и просьба выполнить действие за пределами полномочий агента.
Сравнивайте версии до выпуска
Зафиксируйте текущую версию и ожидаемые результаты. Изменение текста инструкции, модели или инструмента проверяйте на одной и той же подборке. Отдельно отмечайте, какие ситуации стали лучше, какие хуже и почему.
После выпуска продолжайте выборочную проверку живых обращений. Редкие и рискованные ситуации следует рассматривать отдельно: средний показатель может скрыть проблемы в небольшой категории. Подтверждённый сбой становится новым контрольным примером.
Для оценки разговорной части используйте критерии из материала о контроле качества клиентских диалогов, дополнив их проверкой действий в рабочих системах.
Риски пилота и условия масштабирования
Подборка только из простых вопросов создаёт завышенную оценку готовности. Включайте исключения и обновляйте набор по реальным сбоям. Критерий готовности — проверены все выбранные категории и заранее согласованы допустимые результаты.
Модель-оценщик может считать уверенную формулировку правильной. Сверяйте её с человеческой разметкой и проверяйте статусы, номера и операции по данным систем. Критические ошибки должны иметь отдельное правило остановки.
Заранее подготовьте возврат к прежней версии и назначьте ответственного. В отчёте руководителю показывайте подтверждённые решения, передачи человеку, повторные обращения и затраты на обработку. Положительный результат в одном классе обращений даёт основание расширять пилот постепенно.
Видео: Мониторинг сбоев и проверка результата
Игорь Зуевич показывает подходы к мониторингу ошибок, проверке интеграций и результата работы агента. Найденные сбои можно добавлять в контрольный набор перед следующим обновлением.
