Технологии20 ноября · 8 мин чтения

Как проверить ИИ-классификацию клиентских обращений на своих данных

Классификация полезна, если обращение быстро попадает к сотруднику, который может его решить. Проверяйте правильность маршрута на своих случаях и отдельно измеряйте ошибки с серьёзными последствиями.

Как проверить ИИ-классификацию клиентских обращений на своих данных

Зафиксируйте действие, которое ожидаете от классификатора

Нарисуйте текущие очереди поддержки и назначьте владельца каждой. Для первых тестов достаточно нескольких маршрутов, например доставка, оплата, возврат и ручная сортировка. Напишите операционные правила на смешанных случаях. Если клиент одновременно сообщает об оплате и недоставленном заказе, укажите, какая команда возьмёт задачу первой и кто проверит вторую часть. Назначьте отдельный ручной маршрут для обращения, которому может требоваться срочное вмешательство. Ожидаемый ответ модели здесь включает код очереди и признак необходимости проверки человеком. Для регулярного обзора повторяющихся жалоб понадобится отдельная разметка, описанная в анализе отзывов и обратной связи.

Дайте наставнику поддержки собрать анонимизированные или специально подготовленные примеры неоднозначных обращений. Используйте только данные, которые команда вправе обрабатывать в согласованной среде. Удалите лишние сведения: контакт, номер заказа, адрес, платёжные данные, содержимое вложений. Текст тоже может раскрывать человека или компанию, поэтому проверьте выборку перед передачей. Уточните срок хранения, доступы и порядок очистки. Общие условия задаёт регламент использования ИИ. Профиль NIST для генеративного ИИ рассматривает оценку качества, конфиденциальность и проверку со стороны человека на протяжении жизненного цикла. NIST AI 600-1.

Соберите эталон, с которым можно спорить

Возьмите сообщения разных каналов, периодов и типов. Уберите повторы и постарайтесь держать сообщения одной цепочки в одной группе. Разведите примеры для настройки и отдельную контрольную выборку. Редкие серьёзные случаи добавьте в отдельный набор, который даёт достаточно проверок для их анализа. Показывайте результаты по нему отдельно, поскольку увеличенная доля редкого класса изменит общий процент.

Два сотрудника независимо отмечают очередь по утверждённым правилам. Для разногласий зафиксируйте решение старшего и понятное основание. Если операторы постоянно не согласны на определённом подтипе, уточните порядок маршрутизации до измерения модели. Из таблицы теста исключите всё, что могло подсказать машине правильное решение по конкретному обращению, например комментарий сотрудника после закрытия тикета.

Посчитайте ошибки на учебной выборке

В наборе 200 обращений, которые размечены по маршруту первой линии. Система работает в тени. Сотрудники видят свои обычные очереди, а тестовый классификатор сохраняет предложение отдельно для сверки.

Эталонная очередьСлучаевНаправлены верноДоля верных по очереди
Доставка908291,1%
Оплата605490,0%
Возвраты352880,0%
Срочный ручной разбор151066,7%
Всего20017487,0%

Общий результат 87% выглядит пригодным для обсуждения пилота. При этом пять срочных обращений автоматически предложено отправить в обычные очереди. Проверьте их тексты и оцените, как долго они ждали бы первого ответа. Посчитайте и обратную сторону. Например, если система пометила срочными 20 обращений и из них только 10 действительно срочные, половина таких уведомлений создаст дополнительную нагрузку. Руководитель принимает отдельное решение о допустимой полноте и ложных срабатываниях для ручного маршрута.

Введите ручную сортировку и право быстрого возврата

Разверните сначала подсказку оператору и сохраните причины исправлений. Если автоматический маршрут всё-таки запускается на части потока, обозначьте, какие виды заявок идут сразу человеку, кто просматривает очереди и как отключить распределение. Самооценку модели вроде «уверенность 95%» используйте только после проверки такой шкалы на данных вашей задачи. Неясные и новые случаи отправляйте человеку. Для поставщика решения зафиксируйте правила приёмки и отказа в ТЗ на корпоративного ИИ-бота.

После запуска проверяйте выборки ошибок и время до назначения ответственного. Если в доставке появился новый подрядчик, а в сообщениях меняются формулировки, сделайте повторный контрольный прогон. Сохраните версии категорий и дату изменения, чтобы сравнивать результаты по одинаковым правилам. Встречи по пилотированию и оценке ИИ есть в афише ИИ для бизнеса.

Смежная встреча о работе ИИ в клиентском сервисе
Бесплатно26 ноября 2026

Клиентский Суперсервис 3.0 — от легаси к курсу на ИИ

Онлайн

Команда Альфа-Банка заявляет разбор операционных сценариев контакт-центра и границы ручной работы. Подготовьте вопросы о проверке качества перед переводом обращений на автоматическую обработку.

БесплатноАльфа Сфера
Программа и условия →
Афиша ИИ для бизнеса →

Вопросы и ответы

Какая точность нужна для запуска?

Задайте требования по каждой очереди исходя из стоимости ошибки и ожидания в ручном режиме. Общий процент дополняйте числом пропущенных срочных случаев и нагрузкой на сотрудников.

Как учитывать сообщение про две проблемы?

Зафиксируйте приоритет первой очереди и правило передачи второй темы. Оценка должна проверять соблюдение этого правила и реальную скорость решения.

Что делать после обновления модели или категорий?

Повторите проверку на сохранённом контрольном наборе и добавьте новые примеры. Человек изучает различия до расширения доли автоматической маршрутизации.

Практика и обмен опытомНайдите встречу по своей задаче

Ближайшие практикумы, вебинары и конференции: сравните программу, дату и условия участия.

Выбрать мероприятие →