Як оцінити, чи працює ваш ШІ-секретар
Які цифри й перевірки показують, чи допомагає ШІ-секретар: від пропущених дзвінків і якості повідомлень до зворотних дзвінків і відгуків абонентів.
Легко відчути, що ШІ-секретар працює, бо він відповідає на дзвінки. Складніше зрозуміти, чи допомагає він бізнесу. Без плану вимірювання ви покладаєтеся на враження: власник помічає один вдалий дзвінок і один невдалий, і думка гойдається туди-сюди.

Цей посібник пропонує невеликий набір показників, які малий бізнес може відстежувати без аналітичного відділу, і порядок дій, щоб перетворювати їх на покращення. Ширші показники для контакт-центру зібрано в матеріалі перелік KPI контакт-центру.
Спершу визначте успіх
Успіх залежить від того, навіщо ви запровадили ШІ. Запишіть мету одним реченням, перш ніж дивитися на дані, інакше ви оберете ті цифри, що виглядають найкраще.
Типові цілі та їхні показники
- Менше пропущених дзвінківДзвінки з відповіддю, покинуті дзвінки, дзвінки без відповіді.
- Краще покриття неробочого часуПовідомлення, прийняті поза робочими годинами, і скільки з них стали роботою.
- Менше відволікань персоналуДзвінки, оброблені без персоналу, і час, заощаджений на повторюваних запитаннях.
- Кращий досвід абонентівСкарги, повторні дзвінки й коментарі абонентів.
Для початку виберіть одну-дві цілі й запишіть їх там, де їх бачить уся команда. Таблицю з двадцятьма показниками рідко хтось читає.
Зафіксуйте вихідний рівень
Для порівняння потрібне «до». Зберіть дані за два-чотири тижні роботи нинішньої схеми.
Як зафіксувати вихідний рівень
- Порахуйте дзвінкиЗагальна кількість дзвінків і дзвінки без відповіді.
- Зазначте часКоли виникали прогалини і як довго чекали абоненти.
- Зробіть вибірку причинПрочитайте чи прослухайте вибірку, щоб побачити, про що питали абоненти.
- Запишіть витрачений часОцініть час персоналу на повторювані запитання.
- ЗбережітьТримайте цифри в одному місці для подальшого порівняння.
Якщо звітів немає, згодиться і простий аркуш підрахунку. Вихідний рівень не мусить бути точним, він має бути чесним. Матеріал частка відповідей і частка покинутих дзвінків містить визначення.
Основні показники
Короткий перелік покриває більшість потреб. Щоразу вимірюйте кожен показник однаково.
| Показник | Що він показує | Як перевірити |
|---|---|---|
| Дзвінки з відповіддю | Чи потрапляють абоненти до когось чи чогось | Історія дзвінків за статусом |
| Покинуті дзвінки | Чи здаються абоненти | Історія дзвінків, короткі дзвінки без результату |
| Корисні повідомлення | Чи можна діяти за повідомленням без додаткових дзвінків | Щотижнева вибірка з десяти повідомлень |
| Виконані зворотні дзвінки | Чи перетворюються повідомлення на контакт | Порівняти кількість зворотних дзвінків із повідомленнями |
| Оброблено без людини | Чи вирішує ШІ прості запитання | Переглянути розшифровки, що завершилися без повідомлення |
| Передавання людині | Чи знає ШІ свої межі | Порахувати передані дзвінки та причини |
| Скарги | Чи незадоволені абоненти | Нотатки персоналу й письмові відгуки |
Уникайте підрахунків, що виглядають точними, але мало що означають, бо охайний відсоток може приховувати поганий досвід. Наприклад, «ШІ обробив більшість дзвінків» нічого не означає, якщо більшість дзвінків — це покладені слухавки. Завжди питайте, що сталося під час дзвінка, а не лише те, що ШІ відповів. Показники щодо зворотних дзвінків описує матеріал частка виконаних зворотних дзвінків.
Читайте дзвінки
Цифри показують, що сталося. Розшифровки показують чому. Двадцять прочитаних дзвінків на тиждень у перший місяць скажуть вам більше, ніж будь-який графік.
- Де абоненти повторюються?
- Яких запитань ШІ уникає або на які відповідає погано?
- Де абоненти просять людину?
- Чи доречний тон для кожного типу абонентів?
- Чи є запитання, яких ви не очікували?
Позначайте проблеми в спільному списку й групуйте їх за причиною: бракує інформації, незрозуміле формулювання, неправильна маршрутизація чи обмеження системи. Виправляйте причину, що трапляється найчастіше. Дивіться матеріали як знаходити прогалини в знаннях за дзвінками і метрики оцінювання голосового ШІ.
Делікатно питайте абонентів
Прямі відгуки цінні, але з ними легко переборщити. Не просіть кожного абонента поставити оцінку. Достатньо короткого опитування в окремих випадках, або можна спиратися на те, що клієнти кажуть персоналу.
Як дізнатися думку абонентів
| Запитати після дзвінка | Слухати, що вони кажуть | |
|---|---|---|
| Зусилля | Потрібне опитування чи повторний контакт | Читання розшифровок і нотаток персоналу |
| Упередженість | Лише ті, хто відповів | Охоплює всіх, хто телефонував |
| Найкраще для | Конкретних запитань | Виявлення закономірностей |
Якщо проводите опитування, обмежтеся одним-двома запитаннями. Матеріал CSAT після дзвінків описує підходи, що не втомлюють, а правила зв'язку з клієнтами різняться між країнами — пам'ятайте про це.
Ритм перегляду
Звичка краща за великий щорічний перегляд. Підбирайте частоту відповідно до етапу, на якому ви перебуваєте.
Ритм перегляду
- Щодня впродовж першого тижня: читати всі повідомлення й кілька дзвінків
- Щотижня впродовж першого місяця: переглядати основні показники й виправляти головну проблему
- Далі щомісяця: порівнювати з вихідним рівнем і ділитися з командою
- Щокварталу: питати себе, чи не змінилася мета
- Після будь-якої зміни: перевіряти ефект упродовж наступного тижня
Змінюйте щось одне за раз. Якщо одночасно змінити привітання, джерела й маршрутизацію, ви не дізнаєтеся, що допомогло.
Тривожні ознаки
Деякі закономірності вказують на проблему, хоч би що казали загальні цифри.
- Абоненти просять людину одразу після привітання.
- Багато повідомлень із відсутніми чи неправильними номерами.
- Персонал перепитує в абонентів ті самі запитання.
- Зростає кількість повторних дзвінків щодо тієї самої проблеми.
- Дзвінки раптово обриваються без зрозумілої причини.
Помітивши їх, одразу прочитайте відповідні дзвінки. Перевірте джерела, інструкції та якість звуку. Якщо агент регулярно не може відповісти на якусь тему, або додайте зміст, або спрямовуйте цю тему до людини.
Приклад таблиці на одну сторінку
Ось проста таблиця показників для умовного малого бізнесу. Заповнюйте її щотижня цифрами з власної історії дзвінків.
| Запитання | Цього тижня | Минулого тижня | Примітка |
|---|---|---|---|
| Скільки надійшло дзвінків? | Впишіть | Впишіть | Включно з неробочим часом |
| Скільки лишилося без відповіді? | Впишіть | Впишіть | Порівняйте з вихідним рівнем |
| Скільки корисних повідомлень? | Впишіть | Впишіть | Вибірка з десяти |
| Скільки зворотних дзвінків виконано? | Впишіть | Впишіть | У межах вашого цільового строку |
| Скільки абонентів просили людину? | Впишіть | Впишіть | Шукайте закономірності |
| Яке головне виправлення цього тижня? | Впишіть | Впишіть | Лише одна зміна |
Така таблиця займає десять хвилин. Її цінність — у звичці й тенденції, а не в окремій цифрі. Зберігайте старі аркуші. Через кілька тижнів ви побачите, що є нормою саме для вашого бізнесу, а це корисніше за будь-які сторонні орієнтири, і швидко помічатимете зміни. Діліться таблицею з тими, хто робить зворотні дзвінки, щоб усі бачили ту саму картину й могли сказати, що помічають. Інструмент працює, коли про це кажуть і люди навколо нього, і цифри.
Пастки, яких варто уникати
- Вважати успіхом сам факт відповіді. Дзвінок із відповіддю, що закінчився плутаниною, — це невдача.
- Гонитва за однією цифрою. Якщо ви тиснете на скорочення тривалості обробки, то можете обрізати корисні розмови.
- Порівняння тижнів за різних обставин. Святковий день чи акція змінюють картину.
- Висновки з малих вибірок. Коли дзвінків лише кілька, один поганий дзвінок виглядає як тенденція. Зберіть достатньо даних, перш ніж робити висновки.
- Забути про персонал. Його погляд на подальшу роботу — сам по собі показник.
Вимірювання в Call
У Call історія дзвінків показує кожен дзвінок зі статусом, лінією, результатом, тривалістю й резюме, а історія ШІ-дзвінків показує кожну розмову поруч зі списком. Фільтри дають змогу звузити вибірку за статусом, наприклад «без відповіді» чи «голосова пошта», а дзвінки можна експортувати в таблицю. Сторінки аналітики показують активність дзвінків і вхідні ШІ-дзвінки, а окрема сторінка — чого агент навчився з дзвінків, із можливістю скасувати зміни. Ці інструменти дають цифри, а розшифровки — причини.
Часті запитання
Який показник найважливіший?
Це залежить від вашої мети. Для більшості малих бізнесів кількість абонентів, які отримали корисний результат, як-от відповідь чи повідомлення, за яким можна діяти, інформативніша за кількість дзвінків із відповіддю.
Через скільки часу можна робити висновки?
Дайте щонайменше кілька тижнів, щоб набралося досить дзвінків для закономірностей. У перший тиждень дивіться на щоденні результати, щоб помітити очевидні проблеми.
Чи потрібна мені панель моніторингу?
Спочатку ні. Достатньо щотижневого підрахунку й вибірки розшифровок. Додавайте панелі, коли з'явиться запитання, на яке підрахунок не відповідає.
Як дізнатися, що ШІ дає неправильні відповіді?
Читайте розшифровки, тестуйте відомими запитаннями й просіть персонал позначати помилки. Неправильні відповіді часто виявляються в тому, що абоненти телефонують знову або заперечують сказане ШІ.
Чи порівнювати з адміністратором-людиною?
Порівнюйте з тим, що було раніше, за тими самими показниками. Люди й ШІ добре роблять різне, тож використовуйте порівняння для покращення, а не для оцінок.
Що, якщо цифри добрі, а персонал незадоволений?
Вірте персоналу. Працівники бачать подальшу роботу й проблеми, які приховують цифри. Запитайте, що йде не так, і виправте це.