# Метрики ИИ-ассистента: какие показатели смотреть после запуска и как их считать

> Восемь показателей, по которым видно, работает ли ИИ-ассистент: закрытые вопросы, передачи оператору, скорость, конверсия, качество. Как считать их вручную и в CRM.

Опубликовано: 2026-08-12 · Рубрика: Гайды · Автор: Редакция SetSearch

Источник: [https://setsearch.ai/blog/ai-assistant-metrics/](https://setsearch.ai/blog/ai-assistant-metrics/)

Через месяц после запуска ассистента руководитель обязательно спросит: «Ну и как, работает?» Ответ «вроде да, жалоб нет» означает только одно: показатели не считали. А без них нельзя ни улучшить ассистента, ни обосновать расходы на него.

Сложная система для оценки не нужна. Большую часть метрик можно посчитать вручную по выборке диалогов, остальное покажут аналитика и CRM, которые у вас уже есть.

## Сначала договоритесь о базовой линии

Зафиксируйте, как было до ассистента. Сколько обращений в день приходило операторам, как быстро они отвечали, какая доля обращений с сайта превращалась в заявки. Без этой точки отсчёта цифры после запуска ни с чем не сравнить.

Если точных данных нет, хватит оценки за две-три типичные недели: выгрузка из CRM, журнал чата, почта. Если ассистент ещё на [бесплатном демо](https://setsearch.ai/#cta), базовую линию удобно снять как раз в эти дни.

## 1. Доля вопросов, закрытых без оператора

**Что это.** Сколько диалогов ассистент довёл до результата сам: клиент получил ответ, нашёл товар, оставил заявку, и человек не понадобился.

**Как считать.** Возьмите выборку диалогов за неделю, например 100 штук. Отметьте каждый: «закрыт ассистентом», «передан оператору», «брошен без ответа». Доля первых и есть ваша метрика.

**На что смотреть.** За максимумом гнаться не стоит. Если ассистент «закрывает» всё, возможно, он отвечает там, где должен был передать человеку. Эту цифру читают только в связке с качеством (пункт 6).

## 2. Доля передач оператору и их причины

**Что это.** Сколько диалогов ушло к человеку и почему.

Сама по себе цифра мало что говорит. Смысл появляется в разбивке по причинам:

| Причина передачи                         | Что значит                       | Что делать                                    |
| ---------------------------------------- | -------------------------------- | --------------------------------------------- |
| Нет данных в материалах                  | Пробел в контенте                | Дописать ответ на сайт или в документы        |
| Клиент попросил человека                 | Нормальное поведение             | Проверить, не раздражал ли ассистент до этого |
| Сработало правило (опт, возврат, жалоба) | Работает как задумано            | Ничего, если правило верное                   |
| Ассистент не понял вопрос                | Неоднозначность или сложная тема | Добавить формулировки, уточнить правило       |
| Ходьба по кругу                          | Ассистент не дал нужного         | Разобрать диалог детально                     |

Больше всего улучшений дают первая и четвёртая строки: каждая такая передача подсказывает, что дописать. О правилах подробнее в статье [«Когда ИИ-ассистент должен звать человека»](https://setsearch.ai/blog/handoff-to-operator-rules/).

## 3. Скорость ответа

**Что это.** Время от сообщения клиента до первого ответа. У ассистента оно почти мгновенное, поэтому смотреть стоит на другие интервалы:

- **время до ответа оператора после передачи**: не теряет ли клиент интерес, пока ждёт человека;
- **время до заявки**: сколько длится диалог от первого сообщения до оставленного контакта.

**Как считать.** По времени сообщений в диалогах выборки. Если операторы работают в CRM, время реакции часто видно там.

## 4. Конверсия в заявку или покупку

**Что это.** Доля диалогов, которые закончились целевым действием: заявка, звонок, заказ, переход в корзину.

**Как считать.** Тут нужны ваша аналитика и CRM:

1. Отметьте заявки, пришедшие через ассистента. Удобно завести в CRM отдельный источник или тег.
2. Сравните число таких заявок с числом диалогов за тот же период.
3. Для интернет-магазина посмотрите в своей веб-аналитике, доходят ли до заказа посетители, общавшиеся с ассистентом. Как именно это настроить, зависит от вашей системы аналитики.

Метрики ассистента не должны жить отдельно от продаж. Если считать их в другом месте, понять, влияет ли ассистент на деньги, не получится. SetSearch интегрируется с CRM, 1С, Битрикс и платформой магазина, поэтому заявки можно получать там, где вы уже ведёте учёт, и считать конверсию привычными средствами.

## 5. Повторные обращения

**Что это.** Клиент написал, получил ответ, а через день вернулся с тем же вопросом или позвонил в офис.

Повтор говорит о том, что ответ был неполным, непонятным или неверным. Пропустить его легко: первый диалог выглядит «закрытым».

**Как считать.** Это сложнее остальных. Варианты:

- если клиент оставлял контакт, ищите повторы по нему в CRM;
- спросите операторов, как часто им звонят со словами «я уже спрашивал в чате»;
- при разборе выборки обращайте внимание на диалоги, которые начинаются с «я вчера писал…».

## 6. Качество ответов на выборке

Самая важная метрика из восьми, и считается она только руками. Раз в неделю или раз в две недели ответственный читает 30–50 случайных диалогов и оценивает каждый.

Шаблон оценки:

| Диалог | Ответ точный | Ответ полный | Тон уместный | Правила соблюдены | Комментарий                             |
| ------ | ------------ | ------------ | ------------ | ----------------- | --------------------------------------- |
| #1     | Да           | Да           | Да           | Да                | —                                       |
| #2     | Да           | Нет          | Да           | Да                | Не упомянул срок доставки               |
| #3     | Нет          | —            | Да           | Нет               | Назвал старую цену — проверить карточку |

Доля диалогов, где во всех четырёх столбцах «да», и будет показателем качества. Условный пример: 42 из 50 диалогов без замечаний дают 84%. Сама цифра значит меньше, чем её динамика и список комментариев.

**Совет.** Берите случайную выборку. Если отбирать «самые интересные», оценка сместится в сторону проблемных диалогов.

## 7. Отзывы клиентов

Можно спрашивать прямо: в конце диалога оператор или ассистент по сценарию предлагает оценить помощь. Неявные сигналы обычно полезнее:

- благодарности в диалогах («спасибо, всё понятно»);
- раздражение («вы бот?», «дайте человека»);
- жалобы, которые пришли по другим каналам и упоминают чат на сайте.

Выписывайте эти реплики при разборе выборки. Они быстро показывают, нравится ли клиентам формат.

## 8. Нагрузка на операторов

**Что это.** Сколько однотипных вопросов операторы получают теперь по сравнению с базовой линией.

**Как считать.** Попросите операторов неделю отмечать, какие обращения к ним приходят: «типовой вопрос», «передача от ассистента», «сложный случай». Типовых стало заметно меньше, а сложных столько же? Значит, ассистент делает свою работу.

## Как организовать подсчёт

Каждый день считать всё не нужно. Рабочий ритм выглядит так.

**Еженедельно (1–2 часа):**

- выборка 30–50 диалогов, таблица качества;
- разбор причин передач;
- список правок в материалы и правила.

**Ежемесячно:**

- доля закрытых без оператора и доля передач;
- конверсия в заявку по данным CRM;
- повторные обращения;
- сравнение с базовой линией.

**Ежеквартально:**

- оценка экономики: сколько стоит ассистент и что он дал. Подход описан в статье про [стоимость операторов и ИИ](https://setsearch.ai/blog/cost-of-operators-vs-ai/).

## Пример: одна неделя разбора

Вот как метрики превращаются в действия. Пример условный, магазин бытовой техники.

За неделю ответственный прочитал 40 случайных диалогов. Получилось так:

- 29 диалогов ассистент закрыл сам, 9 передал оператору, 2 клиент бросил без ответа;
- из 9 передач 4 случились из-за вопросов про установку, о которой на сайте почти ничего нет; 3 раза сработало правило про опт; 2 раза клиент сразу попросил человека;
- в таблице качества 6 замечаний: дважды ассистент назвал срок доставки без учёта праздников, четыре ответа были слишком длинными.

Выводы:

1. **Установка** — главный пробел. Нужна страница с условиями: что входит, сколько стоит, в каких городах. Это задача на дописывание сайта; настройка ассистента тут ни при чём.
2. **Опт.** Правило работает как задумано, менять ничего не нужно.
3. **Праздничные сроки.** На странице доставки нет информации о графике в праздники. Добавить с датами актуальности.
4. **Длинные ответы.** Поправить настройку тона: сначала прямой ответ, детали по запросу.
5. **Два брошенных диалога.** Прочитать внимательно: клиент ушёл, потому что получил ответ, или потому что не получил?

Через неделю берётся новая выборка. Если доля передач из-за установки снизилась, правка сработала.

Ни одна цифра здесь не важна сама по себе. Ценность в том, что за каждой стоит конкретная правка.

## Где хранить данные

Отдельная система не нужна. Обычно хватает:

- **таблицы** для выборки диалогов и оценки качества;
- **CRM** для заявок с меткой источника и повторных обращений;
- **веб-аналитики сайта** для поведения посетителей, если вы её уже используете;
- **короткого отчёта** раз в месяц, по шаблону ниже.

Данные должны быть у одного ответственного. Разбросанные по личным папкам сотрудников, они бесполезны.

## Как цифры вводят в заблуждение

- **Считать только количество диалогов.** Много диалогов ещё не значит хорошо. Смотрите, чем они закончились.
- **Не фиксировать базовую линию.** Тогда невозможно сказать, стало ли лучше.
- **Смотреть на цифры, не читая диалоги.** Метрика качества без живого чтения не считается.
- **Оценивать только «проблемные» диалоги.** Картина получается мрачнее реальной.
- **Не превращать находки в правки.** Метрики нужны, чтобы улучшать ассистента. Для отчёта ради отчёта они бесполезны.

## Мини-шаблон ежемесячного отчёта

```
Период: ___
Диалогов всего: ___
Закрыто без оператора: ___ (___%)
Передано оператору: ___ (___%)
  главные причины: ___
Заявок через ассистента (CRM): ___
Качество на выборке: ___ из ___ без замечаний
Повторные обращения: ___
Что исправили за месяц: ___
План на следующий месяц: ___
```

Отчёт на полстраницы, но на вопрос «работает ли» он отвечает лучше любых ощущений.

## Минимум на первый месяц

- Зафиксируйте базовую линию до запуска, иначе сравнивать будет не с чем.
- Раз в неделю-две читайте 30–50 случайных диалогов и ведите таблицу качества вместе с причинами передач.
- Заявки и продажи считайте в своей CRM и аналитике, а каждую находку превращайте в правку материалов или правил.

Если вы ещё сравниваете стоимость, загляните на страницу [тарифов](https://setsearch.ai/pricing/): цена ассистента зависит от размера сайта и начинается с 3 990 ₽ в месяц, и эту сумму удобно сразу поставить в квартальную оценку экономики.

## Частые вопросы

### Как понять, что ИИ-ассистент на сайте реально работает?

Нужно сравнить показатели с базовой линией до запуска: долю вопросов, закрытых без оператора, причины передач, конверсию в заявку, качество ответов на выборке и нагрузку на операторов. Ощущение «жалоб нет» оценкой не является.

### Как посчитать качество ответов чат-бота?

Раз в неделю или две читать 30–50 случайных диалогов и отмечать, точный ли ответ, полный ли, уместен ли тон и соблюдены ли правила. Доля диалогов без замечаний — показатель качества, а важнее самой цифры её динамика.

### Как считать заявки, которые пришли через ИИ-ассистента?

Удобно завести в CRM отдельный источник или тег для таких заявок и сравнить их число с количеством диалогов за тот же период. Для интернет-магазина дополнительно можно смотреть в веб-аналитике, доходят ли до заказа посетители, общавшиеся с ассистентом.

### Хорошо ли, если ИИ-ассистент почти никогда не передаёт диалог оператору?

Не обязательно: если ассистент закрывает всё, он может отвечать там, где должен был позвать человека. Долю закрытых диалогов нужно смотреть вместе с качеством ответов.

### Как часто нужно анализировать работу ИИ-ассистента?

Еженедельно — выборка диалогов, разбор причин передач и список правок, это 1–2 часа. Ежемесячно — доли закрытых и переданных диалогов, конверсия, повторные обращения и сравнение с базовой линией, ежеквартально — оценка экономики.