Как понять, что ИИ-секретарь действительно работает
Какие цифры и проверки покажут, помогает ли ИИ-секретарь: от пропущенных звонков и качества сообщений до обратных звонков и отзывов клиентов.
Легко решить, что ИИ-секретарь работает, раз он отвечает на звонки. Сложнее понять, помогает ли он бизнесу. Без плана измерений вы опираетесь на впечатления: владелец замечает один удачный и один неудачный звонок, и мнение качается то в одну, то в другую сторону.

В этом руководстве предлагается небольшой набор показателей, которые небольшая компания может отслеживать без аналитиков, и порядок работы, превращающий их в улучшения. Более широкий набор показателей для контакт-центра — в списке KPI контакт-центра.
Сначала определите, что такое успех
Успех зависит от того, зачем вы внедрили ИИ. Запишите цель одним предложением до того, как смотреть на данные, иначе вы выберете те цифры, которые выглядят хорошо.
Типичные цели и их показатели
- Меньше пропущенных звонковОтвеченные звонки, брошенные звонки, звонки без ответа.
- Лучшее покрытие нерабочего времениСообщения, принятые в нерабочее время, и сколько из них превратилось в работу.
- Меньше отвлечений для сотрудниковЗвонки, обработанные без сотрудников, и время, сэкономленное на повторяющихся вопросах.
- Лучший опыт звонящихЖалобы, повторные звонки и отзывы звонящих.
Для начала выберите одну-две цели и запишите их там, где их видит вся команда. Сводку с двадцатью показателями почти никто не читает.
Зафиксируйте исходный уровень
Нужно «до», с которым можно сравнить. Соберите данные текущей схемы за две-четыре недели.
Как зафиксировать исходный уровень
- Посчитайте звонкиВсего звонков и звонков, оставшихся без ответа.
- Отметьте времяКогда возникали пробелы и сколько ждали звонящие.
- Выборочно изучите причиныПрочитайте или прослушайте выборку, чтобы понять, о чём спрашивали.
- Учтите затраты времениОцените время сотрудников на повторяющиеся вопросы.
- СохранитеХраните цифры в одном месте для последующего сравнения.
Если отчётов нет, подойдёт и лист подсчёта. Исходный уровень не обязан быть точным — он должен быть честным. Определения — в статье о доле отвеченных и брошенных звонков.
Основные показатели
Короткий список закрывает большинство потребностей. Измеряйте каждый показатель каждый раз одинаково.
| Показатель | О чём говорит | Как проверить |
|---|---|---|
| Отвеченные звонки | Добираются ли звонящие до кого-то или чего-то | История звонков по статусу |
| Брошенные звонки | Сдаются ли звонящие | История звонков, короткие звонки без результата |
| Пригодные сообщения | Можно ли действовать по сообщениям без дополнительных звонков | Еженедельная выборка из десяти сообщений |
| Выполненные обратные звонки | Превращаются ли сообщения в контакт | Сопоставить обратные звонки с сообщениями |
| Обработано без человека | Решает ли ИИ простые вопросы | Просмотреть расшифровки, завершившиеся без сообщения |
| Передачи человеку | Знает ли ИИ свои пределы | Посчитать переданные звонки и причины |
| Жалобы | Недовольны ли звонящие | Заметки сотрудников и письменные отзывы |
Избегайте подсчётов, которые выглядят точными, но мало что значат: аккуратный процент может скрывать плохой опыт. Например, «ИИ обработал большинство звонков» ничего не значит, если большинство звонков закончились сбросом. Всегда спрашивайте, что произошло в разговоре, а не только то, что ИИ ответил. О показателях обратных звонков читайте в статье о доле выполненных обратных звонков.
Читайте звонки
Цифры показывают, что произошло. Расшифровки — почему. В первый месяц двадцать прочитанных за неделю звонков скажут больше любого графика.
- Где звонящим приходится повторяться?
- Каких вопросов ИИ избегает или на какие отвечает плохо?
- Где звонящие просят человека?
- Подходит ли тон каждому типу звонящих?
- Есть ли вопросы, которых вы не ожидали?
Отмечайте проблемы в общем списке и группируйте по причинам: недостающая информация, неясная формулировка, неверная маршрутизация или ограничение системы. Устраняйте причину, которая встречается чаще всего. См. статьи как находить пробелы в знаниях по звонкам и о метриках оценки голосового ИИ.
Деликатно спрашивайте звонящих
Прямая обратная связь ценна, но с ней легко перестараться. Не просите оценку у каждого звонящего. Достаточно короткого уточнения в отдельных случаях, или можно опираться на то, что клиенты говорят сотрудникам.
Как узнать мнение звонящих
| Спросить после звонка | Слушать, что они говорят | |
|---|---|---|
| Усилия | Нужен опрос или повторный контакт | Чтение расшифровок и заметок сотрудников |
| Искажение | Только те, кто ответил | Включает всех, кто звонил |
| Лучше всего для | Конкретных вопросов | Выявления закономерностей |
Если проводите опрос, ограничьтесь одним-двумя вопросами. Подходы, которые не утомляют клиентов, описаны в статье о CSAT после звонков; помните также, что правила связи с клиентами различаются по странам.
Ритм проверок
Привычка лучше большой годовой проверки. Подбирайте частоту под этап, на котором вы находитесь.
Ритм проверок
- Ежедневно в первую неделю: читать все сообщения и несколько звонков
- Еженедельно в первый месяц: проверять основные показатели и устранять главную проблему
- Затем ежемесячно: сравнивать с исходным уровнем и делиться с командой
- Ежеквартально: спрашивать себя, не изменилась ли цель
- После любого изменения: проверять эффект в течение следующей недели
Меняйте по одному параметру за раз. Если одновременно изменить приветствие, источники и маршрутизацию, вы не узнаете, что помогло.
Тревожные признаки
Некоторые закономерности говорят о проблемах, что бы ни показывали основные цифры.
- Звонящие просят человека сразу после приветствия.
- Много сообщений с отсутствующими или неверными номерами.
- Сотрудникам приходится заново задавать звонящим те же вопросы.
- Растёт число повторных звонков по одному и тому же вопросу.
- Звонки внезапно обрываются без понятной причины.
Заметив их, сразу прочитайте соответствующие звонки. Проверьте источники, инструкции и качество звука. Если агент регулярно не может ответить на какую-то тему, либо добавьте материалы, либо передавайте эту тему человеку.
Пример сводки на одну страницу
Вот простая сводка для условной небольшой компании. Заполняйте её еженедельно цифрами из собственной истории звонков.
| Вопрос | Эта неделя | Прошлая неделя | Примечание |
|---|---|---|---|
| Сколько поступило звонков? | Впишите | Впишите | Включая нерабочее время |
| Сколько осталось без ответа? | Впишите | Впишите | Сравните с исходным уровнем |
| Сколько пригодных сообщений? | Впишите | Впишите | Выборка из десяти |
| Сколько обратных звонков выполнено? | Впишите | Впишите | В пределах вашего целевого срока |
| Сколько звонящих просили человека? | Впишите | Впишите | Ищите закономерности |
| Какое главное исправление на этой неделе? | Впишите | Впишите | Только одно изменение |
Такая сводка занимает десять минут. Её ценность — в привычке и динамике, а не в отдельной цифре. Сохраняйте старые листы. Через несколько недель вы увидите, что нормально именно для вашего бизнеса, — это полезнее любого чужого ориентира, — и будете быстро замечать изменения. Делитесь сводкой с теми, кто перезванивает клиентам, чтобы все видели одну картину и могли рассказать, что замечают. Инструмент работает, когда об этом говорят не только цифры, но и люди вокруг него.
Ловушки, которых стоит избегать
- Считать отвеченный звонок успехом. Отвеченный звонок, закончившийся растерянностью, — это неудача.
- Гнаться за одной цифрой. Если давить на сокращение времени обработки, можно сократить и полезные разговоры.
- Сравнивать недели с разными обстоятельствами. Праздничный день или акция меняют картину.
- Не учитывать малые выборки. При нескольких звонках один неудачный выглядит как тенденция. Соберите достаточно данных, прежде чем делать выводы.
- Забывать о сотрудниках. Их мнение о последующей работе — само по себе показатель.
Измерения в Call
В Call история звонков показывает каждый звонок со статусом, линией, результатом, длительностью и резюме, а история ИИ-звонков — каждый разговор рядом со списком. Фильтры позволяют сузить выборку по статусу, например «нет ответа» или «голосовая почта», а звонки можно выгрузить в таблицу. Страницы аналитики показывают активность звонков и входящие ИИ-звонки, а отдельная страница — чему агент научился из звонков, с возможностью откатить изменения. Эти инструменты дают цифры, а расшифровки — причины.
Частые вопросы
Какой показатель самый важный?
Зависит от вашей цели. Для большинства небольших компаний число звонящих, получивших полезный результат — ответ или сообщение, по которому можно действовать, — информативнее, чем число отвеченных звонков.
Через сколько времени можно делать выводы?
Дайте хотя бы несколько недель, чтобы набралось достаточно звонков для выявления закономерностей. В первую неделю смотрите результаты ежедневно, чтобы поймать очевидные проблемы.
Нужна ли мне панель мониторинга?
Поначалу нет. Достаточно еженедельного подсчёта и выборки расшифровок. Добавляйте панели, когда появится вопрос, на который подсчёт не отвечает.
Как понять, что ИИ даёт неверные ответы?
Читайте расшифровки, проверяйте известными вопросами и просите сотрудников отмечать ошибки. Неверные ответы часто проявляются в повторных звонках или в том, что звонящие спорят с ИИ.
Стоит ли сравнивать с живым администратором?
Сравнивайте с тем, что было раньше, по тем же показателям. Люди и ИИ хороши в разном, поэтому используйте сравнение для улучшений, а не для оценок.
Что, если цифры хорошие, а сотрудники недовольны?
Верьте сотрудникам. Они видят последующую работу и проблемы, которые скрывают цифры. Спросите, что идёт не так, и исправьте это.