Технологии голосового ИИ

Улучшение распознавания речи в телефонных звонках: практические меры

Почему распознавание речи ошибается на телефонных линиях и что помогает: чистый звук, настройки языка и словаря, продуманные вопросы, повторы услышанного и тесты.

Редакция Call · Опубликовано · Читать 5 мин

Голосовой агент хорош настолько, насколько хорошо он слышит. Если распознавание превращает «вторник в десять» в «два дня в тогда», всё дальнейшее идёт не так, какой бы хорошей ни была языковая модель. То же относится к расшифровкам звонков и резюме: ошибка на этапе распознавания распространяется на все последующие шаги.

Специалист слушает звук звонка в наушниках и сверяет расшифровку на экране
Иллюстрация

В руководстве объясняется, почему телефонную речь трудно распознавать, какие ошибки самые частые и какие меры стоят вашего времени. О конвейере см. Как работает голосовой ИИ: STT, LLM и TTS, а о стороне звука — Почему телефонный звук труден для распознавания речи.

Почему телефонную речь трудно распознавать

Телефонный звонок пропускает человеческий голос через узкий канал. Высокие и низкие частоты обрезаются, сигнал сжимается, а пакеты могут теряться по пути. Добавьте окружение звонящего: транспорт, телевизор, ветер, громкая связь на кухне. Системы распознавания обучены на большом количестве речи, но такие условия всё равно повышают число ошибок.

Что ухудшает распознавание

  • Узкая полосаТелефонный звук несёт меньше деталей, чем обычные записи, поэтому похожие звуки размываются.
  • Фоновый шумМашины, толпа и механизмы конкурируют с голосом.
  • Плохие микрофоныГромкая связь, дешёвые гарнитуры и далёкие микрофоны добавляют эхо.
  • Манера речиБыстрая речь, невнятность и незнакомые акценты труднее.
  • Редкие словаИмена, бренды, названия улиц и жаргон, которые система видела редко.
  • Наложение речиПеребивания, посторонние разговоры и две говорящих стороны.

Типичные ошибки

Ждите проблем с омофонами, цифрами, прочитанными группами, именами, продиктованными по буквам, датами и временем и короткими словами в начале предложения. Если вы знаете, какие у вас ошибки, их легче исправить. См. Как правильно распознавать имена, номера и адреса голосом.

Начните с основ

Прежде чем менять что-то хитрое, проверьте простое.

Базовый чек-лист по порядку

  1. Проверьте звукПослушайте записи реальных звонков. Если вы не можете разобрать фрагмент, система тоже не сможет.
  2. Задайте языкВыберите язык, на котором говорят звонящие, или включите автоматическое определение, если звонящие разные.
  3. Настройте паузыОтрегулируйте, как долго длится тишина, прежде чем система решит, что звонящий закончил.
  4. Настройте обработку шумаСделайте систему более или менее чувствительной к фоновым звукам.
  5. Проверьте на живых голосахПопробуйте разных говорящих, устройства и места.

Язык и определение

Если большинство звонящих говорит на одном языке, задайте его явно. Автоматическое определение полезно, когда звонящие разные, но ему может понадобиться несколько слов, чтобы определиться, а короткие реплики вроде «да» могут быть определены неверно. Для многоязычной линии прочитайте Многоязычная телефонная поддержка с ИИ. Важны также акценты и диалекты; см. Акценты и диалекты в голосовом ИИ.

Паузы и очерёдность реплик

Если система перебивает людей на полуслове, повысьте порог тишины, чтобы она ждала дольше. Если она слишком медленно отвечает, понизьте. Пожилые звонящие и те, кто диктует числа, паузят больше; проверьте на них. Порог, подходящий быстрому обмену, может раздражать тех, кто думает вслух. См. Определение голосовой активности и Очерёдность реплик в голосовых агентах.

Чувствительность к шуму

Шумная улица может обмануть систему, заставив её слышать речь там, где её нет, или скрыть тихую речь. Тестируйте в шумной обстановке, а не только в офисе, и настраивайте чувствительность шаг за шагом.

Проектируйте вопросы, которые легко распознать

Самое дешёвое улучшение часто не в распознавателе, а в том, что спрашивает агент.

Подтверждайте важное

Для имён, номеров телефонов, дат, адресов и всего, что имеет последствия, повторяйте услышанное и просите звонящего подтвердить. «У меня записано: вторник, четвёртое, десять утра. Верно?» гораздо надёжнее, чем предположения. Предложите другой способ передать трудную информацию, например сообщение, отправленное человеку позже для заполнения, где это допустимо.

Помогите системе вашими словами

Ошибки распознавания часто концентрируются на словах, специфичных для вашего бизнеса: названиях продуктов, именах сотрудников, топонимах, медицинских или технических терминах. Помочь можно так:

Обратите внимание на различие между слушанием и говорением. Словарь произношения меняет то, как слово произносится, а не то, как оно слышится.

Достойно справляйтесь со сбоями

Даже хорошо настроенная система иногда слышит неверно. Продумайте запасной вариант: после одной неудачной попытки переформулируйте вопрос; после второй предложите другой способ, например сотрудника, обратный звонок или сообщение. Никогда не гоняйте звонящего по одной и той же подсказке три раза. Достойный выход сохраняет отношения, когда технология подводит.

Измеряйте и проверяйте

Без измерения нельзя узнать, помогло ли изменение. Составьте небольшой тестовый набор из реальных звонков с согласием и зафиксированным разрешением: например, пятьдесят коротких фрагментов, охватывающих типичные голоса, устройства и шум. Для каждого сравните сказанное с распознанным и считайте ошибки, которые имели значение, например неверную цифру, а не каждое мелкое слово.

Ежемесячный обзор распознавания

  • Послушайте выборку реальных звонков, включая неудачные.
  • Составьте список пяти чаще всего неверно слышимых слов или фраз.
  • Проверьте, можно ли исправить их формулировкой, настройками или словарём.
  • Проверяйте те же фрагменты заново после каждого изменения.
  • Включайте шумные образцы и образцы с акцентом, а не только чистые.
  • Записывайте изменения и результаты, чтобы не повторять эксперимент.

См. Как протестировать голосового ИИ-агента до запуска и Как оценивать разговоры голосового агента.

Как это делается в Call

Call позволяет настраивать прослушивание для каждого ИИ-агента в его настройках голоса. В разделе распознавания вы выбираете язык или определяете его автоматически и двигаете порог тишины и регулятор чувствительности к шуму. Баннер на странице показывает, какие настройки живые звонки используют сегодня. Повысьте порог тишины, если агент перебивает звонящих на полуслове.

Распознавание в Call зависит от звонка и телефонной линии, поэтому проверяйте на реальных линиях. См. История звонков и резюме в Call и Поиск по расшифровкам звонков в Call.

Частые вопросы

Почему распознавание на телефонной линии менее точно, чем на моём смартфоне?

Телефонные линии передают более узкий и сжатый звук, чем современный микрофон, а звонящие часто находятся в шумных местах или на громкой связи. У программы меньше материала для работы, поэтому ошибок больше.

Задать один язык или использовать автоматическое определение?

Если почти все звонящие говорят на одном языке, задайте его. Используйте автоматическое определение, когда звонящие разные, и проверьте короткие ответы вроде «да» и «нет», которые могут быть определены неверно.

Как улучшить распознавание имён и номеров?

Спрашивайте по одному, объясните звонящим, как называть цифры, подтверждайте повтором услышанного и добавляйте важные термины в словарь, где ваша система это позволяет.

Улучшает ли словарь произношения то, что слышит агент?

Нет. Он улучшает то, как агент произносит слова вслух. Это может помочь звонящим понимать агента, но распознавание — отдельная настройка.

Как понять, помогло ли изменение?

Держите фиксированный набор фрагментов реальных звонков, считайте значимые ошибки до и после и прогоняйте тот же набор после каждого изменения. Один удачный звонок ничего не доказывает.

Настройте распознавание и просматривайте расшифровки звонков в Call

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Технологии голосового ИИ

Промпты для качественных резюме звонков: шаблоны и проверка

Как написать промпт, превращающий расшифровку звонка в короткую точную заметку: для кого она, что в неё включать, правила против выдумок и как её проверить.

Редакция Call ·
Технологии голосового ИИ

Анализ тональности звонков: применение, ограничения, ответственность

Что измеряет анализ тональности звонков, где он помогает с сортировкой и трендами, где вводит в заблуждение и как избежать несправедливых автоматических решений.

Редакция Call ·
Технологии голосового ИИ

SIP-транк: как деловые звонки идут через интернет

Что такое SIP-транк, чем он отличается от обычных телефонных линий, что проверить по кодекам, каналам и резервированию и как выбрать провайдера.

Редакция Call ·
Технологии голосового ИИ

Модели speech-to-speech и каскадные голосовые конвейеры: сравнение

Два способа построить телефонного голосового агента: модели speech-to-speech и каскадные конвейеры. Сильные и слабые стороны и как выбрать по результатам тестов.

Редакция Call ·