Технологии20 ноября · 8 мин чтения

Как использовать ИИ для анализа отзывов и обратной связи клиентов

Модель помогает разметить повторяющиеся темы в большом потоке отзывов. Решение о причине и изменении процесса опирается на проверенные записи и данные самого процесса.

Как использовать ИИ для анализа отзывов и обратной связи клиентов

Определите, какой вопрос должен закрывать отчёт

Например, руководитель сервиса хочет понять, какие темы чаще упоминают в отзывах после доставки и где нужно поднимать данные о работе подрядчиков. Выберите период, канал, единицу подсчёта и способ обработки повторов. На сайте отзыв может быть отредактирован, в анкете могут быть несколько вопросов, а клиент может написать в два канала об одном заказе. Отметьте, какие записи можно надёжно сопоставить и на каких ограничениях строится выборка.

Одному отзыву часто нужны несколько тем. Если автор недоволен опозданием и отсутствием статуса, сохраните обе отметки и связь с исходным текстом в рабочей среде. Здесь цель — увидеть частоту и содержание повторяющегося опыта. Если нужно назначить очередь для отдельного обращения, используйте отдельные правила и метрики из материала про ИИ-классификацию клиентских обращений.

Соберите текст в разрешённой среде, проверьте основание обработки и уберите сведения, которые не нужны для анализа. Телефоны и адреса заказов часто встречаются в самих отзывах. Установите права доступа и сроки хранения до отправки в инструмент. Профиль NIST описывает риски раскрытия чувствительных данных и необходимость оценивать качество генеративных систем. NIST AI 600-1.

Задайте словарь тем и отдельно проверяйте гипотезы

Начните с нескольких часто встречающихся тем и добавьте поле «новая или неясная тема». Укажите, какие случаи относятся к каждой категории, и добавьте примеры на границе. Если «доставка» означает и срок, и повреждение упаковки, аналитик не сможет понять, по какому процессу искать причину. Сделайте два признака и разрешите отмечать оба. Для каждого присвоенного ярлыка требуйте фрагмент текста или ссылку на исходную запись.

ПолеКак заполнить
ТемаИз согласованного словаря, возможно несколько
СвидетельствоКороткий допустимый фрагмент или ссылка на рабочую запись
Формулировка клиентаСуть его слов без добавления деталей
ПричинаОтдельная гипотеза до сверки с процессом
ПроверкаВладелец, источник данных и дата

Например, отзыв «курьер приехал вечером, сообщение было утром» относится к опозданию, если согласованный промежуток подтверждён. Запись сама по себе не показывает, что нарушилось: график, передачу задания или уведомление. Проверьте интервалы фактических событий по имеющимся данным. Инструкцию для модели храните с датой и контрольными примерами в библиотеке промптов.

Учебный расчёт по двум каналам

За неделю команда получила 160 уникальных отзывов в двух источниках после доступной сверки. В анкете было 100 текстов, из них 20 с темой «опоздание». На странице отзывов было 60 текстов, из них 24 с этой же темой. Доли по каналам равны 20% и 40%. В объединённом наборе 44 ÷ 160 = 27,5%. Это доля отзывов с темой в выбранной совокупности. Для оценки доли заказов с опозданием нужны данные обо всех соответствующих доставках с одинаковым правилом определения события.

В этом же наборе 32 записи упоминают недостаток информации о статусе. Из них 12 одновременно отмечены темой «опоздание». Число отзывов, где есть хотя бы одна из двух тем, равно 44 + 32 − 12 = 64. Отдельные темы могут в сумме дать больше 100%, если у одного отзыва их несколько. Для доклада сохраните знаменатель и показывайте срезы по каналам. Изменение соотношения каналов само по себе способно изменить объединённую долю.

Проверьте результат глазами аналитика

Дайте сотрудникам небольшую выборку из каждого источника и отдельно наберите случаи с несколькими темами. Выборку для проверки храните отдельно от примеров, на которых настраиваете инструкцию. Сверьте, какие темы пропускаются и какие модель добавляет без оснований. Если в итог включены цитаты, человек сверяет их с исходным текстом и убирает идентифицирующие детали. Когда тема новая или потенциально серьёзная, укажите, кто разбирает её вручную и как результат возвращается в справочник.

Перед регулярным запуском определите доступ к данным, владельцев категорий и согласование отчёта. Для подготовки процесса подойдёт аудит готовности к внедрению ИИ. Практику разбора клиентских данных можно искать в афише ИИ для бизнеса.

Вопросы и ответы

Можно ли поручить модели оценить тон отзыва?

Можно добавить тон как отдельную метку и проверить спорные случаи. Для улучшения процесса обычно нужна конкретная тема и подтверждение из текста.

Как сравнить долю жалоб за два месяца?

Используйте сопоставимые источники, период и словарь тем. Покажите размер наборов и изменения в составе каналов.

Можно ли использовать готовые причины модели в отчёте?

Попросите модель записывать их как гипотезы, а ответственного сотрудника — сверять с фактами процесса. Вывод сопровождайте датой и источником проверки.

Практика и обмен опытомНайдите встречу по своей задаче

Ближайшие практикумы, вебинары и конференции: сравните программу, дату и условия участия.

Выбрать мероприятие →