Технології голосового ШІ

Як працює голосовий ШІ: розпізнавання мовлення, LLM і синтез мовлення

Проста екскурсія конвеєром голосових ШІ-агентів для телефону: мовлення в текст, мовна модель, синтез мовлення, черговість реплік, затримка й безпечні передачі.

Редакція Call · Опубліковано · Читати 5 хв

Телефонна розмова з ШІ-агентом може здаватися магією або головоломкою, залежно від того, чи це працює. За цим стоїть доволі проста ідея: перетворити голос абонента на текст, дати мовній моделі вирішити, що сказати, і перетворити відповідь назад на мовлення, усе досить швидко, щоб це відчувалося як розмова. Цей посібник пояснює кожен етап, де щось іде не так і що це означає для налаштування агента. Ширшу картину почніть зі статті Що таке ШІ-приймальня?.

Телефон поруч зі схемою звукових хвиль, що перетворюються на текст і назад на мовлення
Ілюстрація

Основний цикл голосового ШІ-дзвінка

  1. СлухаєАудіо від абонента захоплюється й очищується.
  2. РозшифровуєРозпізнавання мовлення перетворює аудіо на слова.
  3. ВирішуєМовна модель обирає, що сказати чи зробити далі.
  4. ГоворитьСинтез мовлення перетворює відповідь на аудіо.
  5. ПовторюєЦикл виконується для кожної репліки, доки дзвінок не закінчиться або його не передадуть.

Етап перший: розпізнавання мовлення

Розпізнавання мовлення перетворює звук на слова. На телефонній лінії аудіо вузькосмугове й стиснуте, що ускладнює завдання порівняно зі студійним записом. Акценти, фоновий шум, перебивання одне одного та незвичні імена впливають на точність. Сучасні системи можуть добре справлятися зі щоденним мовленням, але числа, написання, імена та предметні слова, як-от ліки чи назви вулиць, — поширені слабкі місця.

Докладніше в статтях розпізнавання мовлення для телефонних дзвінків, обробка чисел і імен та акценти й діалекти.

Етап другий: мовна модель

Велика мовна модель читає наразі отриману розшифровку разом з інструкціями, які ви написали, і будь-якою інформацією, яку ви надали, а потім видає наступну відповідь. Вона не шукає інформації сама; вона спирається на те, що їй дали. Тому промпт і база знань так важливі. Модель може звучати вільно, але помилятися, тому запобіжники й тестування необхідні.

Що формує відповідь моделі

  • ІнструкціїРоль, тон, правила та межі, які ви їй даєте.
  • ЗнанняДокументи, запитання й відповіді та факти, на які вона може спиратися.
  • Розмова наразіЩо було сказано в цьому дзвінку.
  • ІнструментиДії, які вона може виконувати, як-от пошук замовлення чи запис повідомлення.

Посібники, як-от промпти для телефонного агента, RAG для голосових агентів, галюцинації та запобіжники розкривають глибше. Промпт, що каже, що робити, коли не впевнений, наприклад запропонувати людину чи прийняти повідомлення, запобігає багатьом проблемам.

Етап третій: синтез мовлення

Синтез мовлення перетворює відповідь на аудіо. Голоси різняться чіткістю, теплотою та тим, як обробляють паузи, числа й імена вашою мовою. Деякі можна налаштовувати або коригувати словником вимови. Обирайте голос за чіткістю на телефонній лінії, а не за новизною, і тестуйте його на фразах, які він насправді вимовлятиме. Дивіться синтез мовлення японською як приклад мовних проблем і клонування голосу щодо згоди та ризику під час використання власного голосу.

Чому час визначає досвід

Людська розмова має швидкі репліки. Пауза довша за секунду-дві здається дивною. У триетапному конвеєрі кожен крок додає затримку, а моделі може знадобитися час на роздуми. Розробники зменшують затримку потоковістю: починають говорити, ще до того як вся відповідь готова, і починають розшифровувати, ще до того як абонент замовк. Вони також налаштовують, коли вважати, що абонент закінчив.

Конвеєр проти моделі мовлення в мовлення

Триетапний конвеєрМодель мовлення в мовлення
Як працюєОкремі розпізнавання, модель і голосОдна модель обробляє вхідне й вихідне аудіо
КонтрольКожен етап можна налаштувати чи замінитиМенш видима, більш інтегрована
ЗатримкаНакопичується через етапиМоже бути меншою
РозшифровкаТекст доступний на кожному кроціМоже потребувати додаткової роботи для отримання тексту
ЗрілістьШироко використовуєтьсяНовіша, швидко змінюється

Моделі мовлення в мовлення — новіший підхід. У будь-якому разі затримка, перебивання та черговість реплік визначають, чи агент відчувається природним.

Перебивання

Люди перебивають. Хороший агент перестає говорити, коли абонент починає, і не сприймає кашель чи фоновий голос за перебивання. Це залежить від виявлення мовлення, що розглянуто в статті виявлення голосової активності. Погано налаштовані системи або говорять поверх абонентів, або чекають надто довго.

Інструменти, знання та дії

Голосовий агент стає корисним, коли може більше, ніж просто спілкуватися. З підключеними інструментами він може шукати інформацію, записувати повідомлення, фіксувати запит на передзвін або передавати дзвінок людині. Кожен інструмент має мати вузьку мету й чіткі правила. Агент може прийняти запит на запис; підтвердити його — інша справа, і багато компаній воліють, щоб підтверджувала людина. Виклик функцій пояснює, як інструменти описуються для моделі.

Що відбувається з аудіо й текстом

Кожен етап обробляє персональні дані. Аудіо містить голос; розшифровка містить сказане, часто з іменами, адресами та причинами дзвінка. Перш ніж розгортати, з'ясуйте, де працює кожен етап, що зберігається, як довго і хто може це читати. Вирішіть, чи слід збирати чутливі дані, як-от платіжні чи медичні, агентом взагалі, чи передавати їх людині. Проєктування голосового ШІ з урахуванням конфіденційності розкриває це глибше.

Тримайте завдання агента вузьким. Агента, що відповідає на поширені запитання, приймає повідомлення й передає розмову, легше тестувати, легше пояснити абонентам і легше утримати в межах ваших обіцянок щодо конфіденційності, ніж того, що намагається робити все.

Чого чекати на практиці

Очікуйте хорошого результату на простих, передбачуваних дзвінках: години роботи, маршрут, базові запитання, прийом повідомлення. Очікуйте більших труднощів із довгими, емоційними чи неоднозначними дзвінками, сильними акцентами, поганими лініями та запитами, що потребують судження. Розумне впровадження починається з невеликого набору типів дзвінків, спершу слухає кожен дзвінок, потім розширюється зі зростанням упевненості. Фраза, яку варто запам'ятати: агент розроблений допомагати з визначеними завданнями, а не замінювати судження.

Де це йде не так

Проєктуйте з огляду на це. Полегшіть шлях до людини, тримайте відповіді короткими, підтверджуйте важливі дані, як-от числа й дати, і регулярно переглядайте реальні дзвінки. Тестування голосового агента та метрики оцінювання пояснюють як.

Налаштування в Call

У Call ШІ-агент будується з персони та промпту, голосу, мови та джерел знань, а потім тестується на екрані й телефоном, перш ніж його вмикають на лінії. Call дозволяє обирати серед голосів, налаштовувати вимову словником, регулювати розпізнавання мовлення й підтримувати джерела актуальними. Агент розроблений з'єднувати абонентів із людиною на прохання, і він може прийняти повідомлення. Доки ви не ввімкнете агента на лінії, дзвінки лунають у вашої команди. Завжди спершу тестуйте на власних дзвінках. Налаштування ШІ-агента в Call проводить крізь кроки.

Часті запитання

Які три частини має голосовий ШІ-агент?

Розпізнавання мовлення, щоб чути абонента, мовна модель, щоб вирішити, що сказати, і синтез мовлення, щоб промовити відповідь. Деякі новіші системи їх поєднують.

Чому ШІ іноді робить паузу перед відповіддю?

Кожен етап потребує часу, а система мусить вирішити, що абонент закінчив говорити. Потокова обробка й налаштування можуть скоротити проміжок, але не усунути його.

Чи може ШІ вигадувати?

Так. Мовна модель може видавати правдоподібні, але хибні відповіді. Дайте їй хороші знання, чіткі межі та інструкцію запропонувати людину, коли не впевнена.

Чи може голосовий агент записувати на прийом?

Він може прийняти запит і передати його далі. Багато компаній воліють, щоб підтверджувала людина, тож вирішіть, що агентові дозволено обіцяти.

Чи потрібно казати абонентам, що це ШІ?

У багатьох місцях люди очікують чи мають право знати. Скажіть про це чітко на початку дзвінка й перевірте правила, що до вас застосовуються.

Як перевірити, що це працює?

Тестуйте реальними дзвінками з різними акцентами та рівнями шуму, слухайте результати й тримайте список запитань, які перезапускаєте після кожної зміни.

Спробуйте голосового ШІ-агента на власній лінії в Call

У демоконсолі можна випробувати вхідні дзвінки в симуляції.

Схожі посібники

Технології голосового ШІ

Промпти для кращих резюме дзвінків: шаблони й тести

Як написати промпт, що перетворює розшифровку дзвінка на коротку точну нотатку: для кого вона, що включати, правила проти вигадок і як це протестувати.

Редакція Call ·
Технології голосового ШІ

Аналіз тональності дзвінків: користь, межі й відповідальність

Що вимірює аналіз тональності дзвінків, де він допомагає сортувати й бачити тенденції, де вводить в оману і як уникнути несправедливих автоматичних рішень.

Редакція Call ·
Технології голосового ШІ

Основи SIP-транкінгу: як бізнес-дзвінки передаються через інтернет

Що таке SIP-транк, чим він відрізняється від традиційних телефонних ліній, що перевірити щодо кодеків, каналів і резервування та як обрати провайдера.

Редакція Call ·
Технології голосового ШІ

Моделі speech-to-speech і каскадні голосові конвеєри: порівняння

Два способи побудувати телефонного голосового агента: моделі speech-to-speech і каскадні конвеєри. Сильні й слабкі сторони кожного та як обрати за допомогою тестів.

Редакція Call ·