Как проверить качество чат-бота поддержки до запуска

Соберите набор тестов

Возьмите обезличенные запросы поддержки за обычную неделю. Добавьте короткие фразы, опечатки, два вопроса в одном сообщении и ситуации с отсутствующими данными. Включите редкие, но дорогие ошибки, например отмену заказа после отгрузки или сообщение об ошибочном списании. Для каждого сценария отметьте, что бот вправе обещать и когда должен передать диалог.

Храните контрольный набор отдельно от примеров, по которым настраивали бота. Если команда чинит ответы по каждой тестовой фразе, добавьте закрытый набор с другими формулировками и новыми сценариями.

Какие метрики чат-бота считать

• •Решение задачи. Число диалогов с корректным ответом или действием разделите на число диалогов, которые бот должен решать сам.
• •Передача оператору. Из сценариев, где нужен сотрудник, посчитайте долю передач с корректным маршрутом и историей разговора.
• •Критические ошибки. Отдельно запишите ложные обещания, ошибочные операции и запросы лишних данных. Задайте условия остановки пилота заранее.
• •Повторные обращения. После запуска отслеживайте, сколько клиентов снова приходят с той же проблемой в заданный срок. Сравнивайте с сопоставимой группой обращений.

Рабочий пример на 50 диалогах

Магазин собрал 35 типовых задач и 15 сценариев, где требуется оператор. Бот решил 29 из 35 задач, около 83%. Он передал 13 из 15 сложных обращений, около 87%. Один из двух пропусков оказался критичным. Бот сообщил, что деньги вернутся автоматически, хотя платёж нужно было проверить.

Команда заменила этот сценарий передачей оператору и добавила пять вариантов формулировки про списание. Затем повторила весь прогон, чтобы изменение не сломало обычные запросы про статус возврата. Итог пилота определили по критическим ошибкам и разбору каждого сбоя, поскольку средняя оценка сама по себе скрывала риск.

Шаблон протокола перед запуском

Поля строки: ID, формулировка клиента, состояние заказа, ожидаемое действие, фактическое действие, уровень ошибки, владелец исправления, версия повторного прогона. Зафиксируйте версию базы знаний и настроек бота. При повторении спорного сценария проверяйте несколько ответов, если генерация меняется от запуска к запуску.

Запускайте пилот на небольшой доле обращений с быстрым переключением на оператора. По результатам первой недели пересмотрите список задач, которые можно отдавать боту. Кейсы других команд можно сравнить на деловых мероприятиях по технологиям.