Метрики ИИ-ассистента: какие показатели смотреть после запуска и как их считать

Через месяц после запуска ассистента руководитель обязательно спросит: «Ну и как, работает?» Ответ «вроде да, жалоб нет» означает только одно: показатели не считали. А без них нельзя ни улучшить ассистента, ни обосновать расходы на него.

Сложная система для оценки не нужна. Большую часть метрик можно посчитать вручную по выборке диалогов, остальное покажут аналитика и CRM, которые у вас уже есть.

Сначала договоритесь о базовой линии

Зафиксируйте, как было до ассистента. Сколько обращений в день приходило операторам, как быстро они отвечали, какая доля обращений с сайта превращалась в заявки. Без этой точки отсчёта цифры после запуска ни с чем не сравнить.

Если точных данных нет, хватит оценки за две-три типичные недели: выгрузка из CRM, журнал чата, почта. Если ассистент ещё на бесплатном демо, базовую линию удобно снять как раз в эти дни.

1. Доля вопросов, закрытых без оператора

Что это. Сколько диалогов ассистент довёл до результата сам: клиент получил ответ, нашёл товар, оставил заявку, и человек не понадобился.

Как считать. Возьмите выборку диалогов за неделю, например 100 штук. Отметьте каждый: «закрыт ассистентом», «передан оператору», «брошен без ответа». Доля первых и есть ваша метрика.

На что смотреть. За максимумом гнаться не стоит. Если ассистент «закрывает» всё, возможно, он отвечает там, где должен был передать человеку. Эту цифру читают только в связке с качеством (пункт 6).

2. Доля передач оператору и их причины

Что это. Сколько диалогов ушло к человеку и почему.

Сама по себе цифра мало что говорит. Смысл появляется в разбивке по причинам:

Больше всего улучшений дают первая и четвёртая строки: каждая такая передача подсказывает, что дописать. О правилах подробнее в статье «Когда ИИ-ассистент должен звать человека».

3. Скорость ответа

Что это. Время от сообщения клиента до первого ответа. У ассистента оно почти мгновенное, поэтому смотреть стоит на другие интервалы:

• время до ответа оператора после передачи: не теряет ли клиент интерес, пока ждёт человека;
• время до заявки: сколько длится диалог от первого сообщения до оставленного контакта.

Как считать. По времени сообщений в диалогах выборки. Если операторы работают в CRM, время реакции часто видно там.

4. Конверсия в заявку или покупку

Что это. Доля диалогов, которые закончились целевым действием: заявка, звонок, заказ, переход в корзину.

Как считать. Тут нужны ваша аналитика и CRM:

1. Отметьте заявки, пришедшие через ассистента. Удобно завести в CRM отдельный источник или тег.
2. Сравните число таких заявок с числом диалогов за тот же период.
3. Для интернет-магазина посмотрите в своей веб-аналитике, доходят ли до заказа посетители, общавшиеся с ассистентом. Как именно это настроить, зависит от вашей системы аналитики.

Метрики ассистента не должны жить отдельно от продаж. Если считать их в другом месте, понять, влияет ли ассистент на деньги, не получится. SetSearch интегрируется с CRM, 1С, Битрикс и платформой магазина, поэтому заявки можно получать там, где вы уже ведёте учёт, и считать конверсию привычными средствами.

5. Повторные обращения

Что это. Клиент написал, получил ответ, а через день вернулся с тем же вопросом или позвонил в офис.

Повтор говорит о том, что ответ был неполным, непонятным или неверным. Пропустить его легко: первый диалог выглядит «закрытым».

Как считать. Это сложнее остальных. Варианты:

• если клиент оставлял контакт, ищите повторы по нему в CRM;
• спросите операторов, как часто им звонят со словами «я уже спрашивал в чате»;
• при разборе выборки обращайте внимание на диалоги, которые начинаются с «я вчера писал…».

6. Качество ответов на выборке

Самая важная метрика из восьми, и считается она только руками. Раз в неделю или раз в две недели ответственный читает 30–50 случайных диалогов и оценивает каждый.

Шаблон оценки:

Доля диалогов, где во всех четырёх столбцах «да», и будет показателем качества. Условный пример: 42 из 50 диалогов без замечаний дают 84%. Сама цифра значит меньше, чем её динамика и список комментариев.

Совет. Берите случайную выборку. Если отбирать «самые интересные», оценка сместится в сторону проблемных диалогов.

7. Отзывы клиентов

Можно спрашивать прямо: в конце диалога оператор или ассистент по сценарию предлагает оценить помощь. Неявные сигналы обычно полезнее:

• благодарности в диалогах («спасибо, всё понятно»);
• раздражение («вы бот?», «дайте человека»);
• жалобы, которые пришли по другим каналам и упоминают чат на сайте.

Выписывайте эти реплики при разборе выборки. Они быстро показывают, нравится ли клиентам формат.

8. Нагрузка на операторов

Что это. Сколько однотипных вопросов операторы получают теперь по сравнению с базовой линией.

Как считать. Попросите операторов неделю отмечать, какие обращения к ним приходят: «типовой вопрос», «передача от ассистента», «сложный случай». Типовых стало заметно меньше, а сложных столько же? Значит, ассистент делает свою работу.

Как организовать подсчёт

Каждый день считать всё не нужно. Рабочий ритм выглядит так.

Еженедельно (1–2 часа):

• выборка 30–50 диалогов, таблица качества;
• разбор причин передач;
• список правок в материалы и правила.

Ежемесячно:

• доля закрытых без оператора и доля передач;
• конверсия в заявку по данным CRM;
• повторные обращения;
• сравнение с базовой линией.

Ежеквартально:

• оценка экономики: сколько стоит ассистент и что он дал. Подход описан в статье про стоимость операторов и ИИ.

Пример: одна неделя разбора

Вот как метрики превращаются в действия. Пример условный, магазин бытовой техники.

За неделю ответственный прочитал 40 случайных диалогов. Получилось так:

• 29 диалогов ассистент закрыл сам, 9 передал оператору, 2 клиент бросил без ответа;
• из 9 передач 4 случились из-за вопросов про установку, о которой на сайте почти ничего нет; 3 раза сработало правило про опт; 2 раза клиент сразу попросил человека;
• в таблице качества 6 замечаний: дважды ассистент назвал срок доставки без учёта праздников, четыре ответа были слишком длинными.

Выводы:

1. Установка — главный пробел. Нужна страница с условиями: что входит, сколько стоит, в каких городах. Это задача на дописывание сайта; настройка ассистента тут ни при чём.
2. Опт. Правило работает как задумано, менять ничего не нужно.
3. Праздничные сроки. На странице доставки нет информации о графике в праздники. Добавить с датами актуальности.
4. Длинные ответы. Поправить настройку тона: сначала прямой ответ, детали по запросу.
5. Два брошенных диалога. Прочитать внимательно: клиент ушёл, потому что получил ответ, или потому что не получил?

Через неделю берётся новая выборка. Если доля передач из-за установки снизилась, правка сработала.

Ни одна цифра здесь не важна сама по себе. Ценность в том, что за каждой стоит конкретная правка.

Где хранить данные

Отдельная система не нужна. Обычно хватает:

• таблицы для выборки диалогов и оценки качества;
• CRM для заявок с меткой источника и повторных обращений;
• веб-аналитики сайта для поведения посетителей, если вы её уже используете;
• короткого отчёта раз в месяц, по шаблону ниже.

Данные должны быть у одного ответственного. Разбросанные по личным папкам сотрудников, они бесполезны.

Как цифры вводят в заблуждение

• Считать только количество диалогов. Много диалогов ещё не значит хорошо. Смотрите, чем они закончились.
• Не фиксировать базовую линию. Тогда невозможно сказать, стало ли лучше.
• Смотреть на цифры, не читая диалоги. Метрика качества без живого чтения не считается.
• Оценивать только «проблемные» диалоги. Картина получается мрачнее реальной.
• Не превращать находки в правки. Метрики нужны, чтобы улучшать ассистента. Для отчёта ради отчёта они бесполезны.

Мини-шаблон ежемесячного отчёта

Период: ___
Диалогов всего: ___
Закрыто без оператора: ___ (___%)
Передано оператору: ___ (___%)
  главные причины: ___
Заявок через ассистента (CRM): ___
Качество на выборке: ___ из ___ без замечаний
Повторные обращения: ___
Что исправили за месяц: ___
План на следующий месяц: ___

Отчёт на полстраницы, но на вопрос «работает ли» он отвечает лучше любых ощущений.

Минимум на первый месяц

• Зафиксируйте базовую линию до запуска, иначе сравнивать будет не с чем.
• Раз в неделю-две читайте 30–50 случайных диалогов и ведите таблицу качества вместе с причинами передач.
• Заявки и продажи считайте в своей CRM и аналитике, а каждую находку превращайте в правку материалов или правил.

Если вы ещё сравниваете стоимость, загляните на страницу тарифов: цена ассистента зависит от размера сайта и начинается с 3 990 ₽ в месяц, и эту сумму удобно сразу поставить в квартальную оценку экономики.