Технологии голосового ИИ

Почему телефонный звук труден для распознавания речи и что помогает

Почему узкополосный, сжатый и зашумлённый телефонный звук мешает распознаванию речи, как заметить симптомы и что можно исправить в настройке и сценарии.

Редакция Call · Опубликовано · Читать 5 мин

Голосовой помощник, который безупречно работает на демонстрации, может спотыкаться на реальном звонке. Причина редко в языковой модели. Обычно дело в звуке. Телефонная линия — враждебная среда для распознавания речи, и понимание причин помогает выставить реалистичные ожидания и исправить то, что исправимо.

Человек говорит по мобильному телефону на оживлённой улице
Иллюстрация

Это руководство прослеживает путь звука от рта звонящего до распознавателя и показывает, где теряется качество. Оно дополняет статьи «Распознавание речи в телефонных звонках» и «Обнаружение голосовой активности».

Путь звука в телефонном звонке

Где звук может пострадать

  1. МикрофонТелефон или гарнитура захватывает голос вместе с окружающей обстановкой.
  2. Обработка в телефонеШумоподавление и автоматическая регулировка усиления меняют звук.
  3. СетьЗвук сжимается и передаётся пакетами по мобильным и интернет-каналам.
  4. Телефонная платформаЗвонок соединяется, преобразуется и иногда микшируется.
  5. РаспознавательЗвук превращается в текст с тем качеством, которое осталось.

Каждый этап может только сохранить или потерять качество; ни один не вернёт уже утраченное. Поэтому плохое первое звено, например громкая связь в машине, ограничивает всё, что идёт после него.

Узкополосный звук: базовое ограничение

Традиционный телефонный звук узкополосный: он передаёт ограниченный диапазон частот, гораздо меньший, чем улавливает студийный микрофон. В результате ослабевают высокочастотные звуки, которые отличают такие звуки, как «с», «ф» и «ш». Между «с» и «ф» или «п» и «т» телефон оставляет мало зацепок. Люди справляются за счёт контекста. У программы, особенно на отдельных словах вроде имени по буквам, опереться на контекст почти не на что.

Некоторые звонки используют широкополосные кодеки, передающие больше деталей, и это помогает. Выиграет ли конкретный звонок, зависит от того, поддерживает ли это каждое звено цепочки, а звонки между разными сетями часто откатываются к наименьшему общему формату.

Звуки, которые страдают сильнее всего

  • Буквы при диктовке по буквам«Б», «Д», «П», «Т», «С» и «Ф» сливаются, поэтому диктовка по буквам ненадёжна.
  • Цифры«Пять» и «девять» или «шесть» и «шестьдесят» можно спутать без хорошего звука.
  • Мягкие согласныеТихие звуки в конце слов пропадают под шумом.
  • Короткие словаМало контекста — больше ошибок, как с «да» и «нет» в шумной обстановке.

Другие причины плохого звука

Сжатие и потеря пакетов

Чтобы сэкономить полосу пропускания, звук сжимается. Если сетевые пакеты задерживаются или теряются, появляются короткие провалы или искажённые фрагменты. Человек достроит пропущенный слог; распознаватель может выдать неверное слово или ничего.

Фоновый шум и обработка

Люди звонят с улицы, из кухни, из машины и из магазина. Шумоподавление в телефоне может убрать шум, но заодно срезать начало слова или приглушить тихую речь. В итоге речь, которая человеку кажется чистой, может оказаться труднее для программы.

Эхо и громкая связь

Когда динамик звонящего попадает в его микрофон, собственный голос агента может возвращаться эхом, что сбивает и распознавание, и определение того, кто говорит. Помогает просьба к звонящим пользоваться трубкой или гарнитурой, когда это важно.

Несоответствие обучающих данных

Многие распознаватели обучены в основном на более чистых или широкополосных записях. Телефонный звук звучит иначе, поэтому точность падает. Некоторые провайдеры предлагают модели, настроенные под телефонию; спросите о них и протестируйте.

Как это выглядит в расшифровке

СимптомВозможная причина в звуке
Неверные буквы в именах, продиктованных по буквамУзкая полоса размывает похоже звучащие буквы
Цифры переставлены или пропущеныПотеря пакетов, шум или быстрая речь
Пропущены слова в началеШумоподавление телефона срезает начало
Странные слова, которых никто не говорилЭхо или речь на фоне
Хорошая точность со стационарных телефонов, плохая с мобильныхМобильный шум и сжатие
Длинные промежутки без текстаОпределение тишины не срабатывает на тихом голосе

Смотрите на запись, а не только на расшифровку. Прослушивание покажет, в чём проблема — в звуке или в распознавании. Если вы слышите речь отчётливо, а распознаватель не справился, слабое звено — распознаватель; если и вам трудно разобрать, исправляйте звук.

Измерьте проблему, прежде чем исправлять

Велико искушение винить распознаватель в каждой ошибке. Более надёжная привычка — разложить выборку проблемных звонков по причинам. Возьмите двадцать звонков, где агент что-то не понял. Для каждого прослушайте запись и решите: был ли плохой звук, говорил ли звонящий необычно быстро или тихо, ошибся ли распознаватель на чистой речи или недопонимание возникло в языковой модели после правильного текста?

Распределение часто удивляет. Компания с большим числом мобильных звонящих может обнаружить, что большинство ошибок связано со звуком; компания со специфической лексикой, например кодами товаров, — что слабое место в распознавателе. У каждой причины своё средство, и исправление не той причины тратит недели.

Смотрите также на закономерности по времени и маршруту. Если ошибки скапливаются в определённый час, причиной может быть перегрузка сети на вашей стороне. Если они скапливаются на звонках из одного региона или от одного оператора, виноват может быть путь звука. Зафиксируйте закономерность до изменения настроек, чтобы потом понять, сработало ли изменение.

Сохраняйте выборку честной, включая в неё удачные звонки. Если разбирать только сбои, не узнать, не сломало ли исправление незаметно те звонки, которые раньше работали. Простейшая страховка — сравнение «до» и «после» на одном и том же смешанном наборе.

Что с этим можно сделать

Проектируйте разговор с расчётом на плохой звук

Приёмы для имён и чисел разобраны в статье «Как правильно записывать имена, числа и адреса на слух».

Исправьте то, что зависит от вас

Звук и распознавание в Call

В Call у каждого ИИ-агента есть настройки транскрибера: язык распознавания, в том числе автоматическое определение, порог тишины и ползунок чувствительности к шуму. Для сотрудников, пользующихся телефоном в браузере, живая расшифровка может записывать обе стороны звонка по ходу разговора с пометками «вы» и «собеседник» и сохранять её вместе со звонком. Для этого нужны подключение к оператору связи и публичный адрес; без них панель объясняет причину. Расшифровки хранятся ограниченный срок. Используйте их для диагностики: если живой текст на каком-то звонке плохой, прослушайте запись и решите, виноват звук или распознаватель. Звонки из браузера описаны в статье «Как работают звонки из браузера: объяснение WebRTC».

Частые вопросы

Почему звук в телефонном звонке хуже, чем в голосовом сообщении на смартфоне?

Телефонные звонки используют узкополосный сжатый звук, рассчитанный на разборчивость для людей, а не для программ. Приложение голосовых сообщений обычно записывает более богатый звук прямо на устройстве.

Может ли распознавание речи по телефону быть идеальным?

Нет. Даже люди ослышиваются на плохой линии. Цель — сократить ошибки и построить разговор так, чтобы их ловило подтверждение.

Помогает ли ИИ-агенту микрофон получше?

Да — для ваших сотрудников и для звонящих с гарнитурами, но оборудование звонящих вы не контролируете. Проектируйте под худший реалистичный звук.

Почему имена по буквам так трудны?

На узкой линии многие буквы звучат похоже, а у отдельной буквы нет контекста. Ошибок меньше, если предложить другой способ передать сведения или повторять буквы.

Стоит ли настраивать распознавание под телефонию?

Если платформа предлагает модели, настроенные под телефон, или настройки шума, протестируйте их на реальных звонках. Сравнивайте результаты: правильная настройка зависит от ваших звонящих.

Как понять, ошибка в звуке или в распознавании?

Прослушайте запись. Если человек отчётливо слышит слова, а расшифровка неверна, подозревайте распознавание. Если и человеку звук кажется плохим, исправляйте путь звука.

Проверяйте расшифровки и звук звонков в Call

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Технологии голосового ИИ

Промпты для качественных резюме звонков: шаблоны и проверка

Как написать промпт, превращающий расшифровку звонка в короткую точную заметку: для кого она, что в неё включать, правила против выдумок и как её проверить.

Редакция Call ·
Технологии голосового ИИ

Анализ тональности звонков: применение, ограничения, ответственность

Что измеряет анализ тональности звонков, где он помогает с сортировкой и трендами, где вводит в заблуждение и как избежать несправедливых автоматических решений.

Редакция Call ·
Технологии голосового ИИ

SIP-транк: как деловые звонки идут через интернет

Что такое SIP-транк, чем он отличается от обычных телефонных линий, что проверить по кодекам, каналам и резервированию и как выбрать провайдера.

Редакция Call ·
Технологии голосового ИИ

Модели speech-to-speech и каскадные голосовые конвейеры: сравнение

Два способа построить телефонного голосового агента: модели speech-to-speech и каскадные конвейеры. Сильные и слабые стороны и как выбрать по результатам тестов.

Редакция Call ·