Самопроверка ИИ: когда второй проход помогает, а когда только увеличивает расходы
Мы рассматриваем самопроверку ИИ как отдельный этап с понятными критериями. После подготовки ответа можно проверить его полноту, факты и соответствие правилам, затем доработать текст. Разберём, когда такой проход полезен и где поставить условие остановки.
Мы предлагаем описать цикл создания, проверки и исправления результата до его запуска. Проверку может выполнять та же модель, другая модель или модель с доступом к инструментам. Обязательно задаём условие остановки: бесконечные исправления расходуют ресурсы и могут ухудшать результат.
Сформулируйте критерии до включения проверки
Для ответа о статусе заказа критерии конкретны: номер соответствует обращению, статус получен из рабочей системы, срок не придуман, следующий шаг понятен клиенту. Проверяющий этап должен видеть эти требования и необходимые данные.
Общее поручение «улучши ответ» оставляет слишком много свободы. Лучше получить перечень найденных несоответствий и связать каждое с требованием. После исправления проверьте, что остальные верные сведения сохранились.
Сравните на одних и тех же обращениях
Подготовьте контрольную подборку. Запустите исходный вариант и вариант с проверкой, затем оцените их по одинаковым правилам. Учитывайте не только исправленные ошибки, но и новые ошибки, задержку, стоимость и долю передач человеку.
Для первого пилота задайте ограниченное число исправлений. Если после них остаётся существенное несоответствие, ответ передаётся сотруднику. Решение о дополнительном проходе должно зависеть от измеримого качества, а не от уверенности самой модели.
Критерии для диалогов можно связать с контролем качества звонков и чатов: полнотой решения, соблюдением процедуры и понятностью следующего действия.
Риски пилота и условия масштабирования
Одна модель может повторить собственную ошибку при самопроверке. Подключайте проверяемые данные и отдельные правила для номеров, сумм и статусов. Критерий готовности — оценка обнаруживает заранее внесённые несоответствия.
Проверяющий может переписать верный ответ и добавить неподтверждённое обещание. Сохраняйте версии и сравнивайте существенные утверждения. Пропускать результат к клиенту следует только после проверки оставшихся ошибок.
При высоком потоке лишний проход увеличивает задержку. Начните с категорий, где проверка даёт измеримый выигрыш. Масштабирование оправдано, когда качество улучшается на рабочей подборке при приемлемых затратах и времени ответа.
Видео: Самопроверка и защита от повторов
Игорь Зуевич разбирает проверку результата перед ответом и ограничение расхода ресурсов агента. Эти приёмы полезно сопоставить с собственными критериями качества и остановки.
