Технологии голосового ИИ

Акценты и диалекты в голосовом ИИ: тестирование и настройка

Почему голосовые агенты понимают одни акценты лучше других, что можно настроить и как честно протестировать на реальных голосах, чтобы никто не остался без помощи.

Редакция Call · Опубликовано · Читать 5 мин

Акцент есть у каждого. Голосовой агент, однако, обучен на определённом наборе голосов и лучше всего понимает те, что слышал чаще. Для компании, обслуживающей разнообразную публику, это не мелкая техническая деталь. От этого зависит, получит звонящий помощь или раздражение.

Коллеги разного происхождения беседуют за столом
Иллюстрация

В этом руководстве объясняется, почему акценты и диалекты влияют на голосовой ИИ, что можно настроить и как тестировать честно. Оно связано со статьями «Многоязычный голосовой ИИ» и «Почему телефонный звук труден для распознавания речи», которые добавляют аспекты языка и звука.

Почему акценты важны для распознавателя

Распознаватель речи изучает закономерности по записям, сопоставленным с текстом. Если в его обучающих записях мало регионального акцента, какой-то возрастной группы или людей, для которых язык не родной, закономерности для этих голосов слабее. Распознаватель не предвзят в человеческом смысле — у него просто меньше данных. Но результатом может стать неравное обслуживание.

Чем различаются говорящие

  • ПроизношениеГласные и согласные различаются в зависимости от региона и родного языка.
  • Ритм и ударениеКакой слог ударный и насколько быстро слова сливаются.
  • ЛексикаМестные слова для обычных вещей, названия мест и сленг.
  • Грамматические конструкцииДиалектные формы и построения фраз, отличающиеся от учебного языка.
  • Смешение языковПереход с одного языка на другой в пределах одной фразы.

У языковой модели, которая читает расшифровку, похожая проблема. Оборот, естественный в одном диалекте, может быть необычным для письменных текстов, на которых она обучалась, и его смысл может ускользнуть.

Диалекты внутри одного языка

Распространённое заблуждение — считать язык чем-то единым. Английский в разных странах сильно различается звуками и словами, и то же верно для многих языков, включая японский с его региональными диалектами, а также испанский, арабский и китайский. Система, настроенная на стандартную форму, может лишь частично справляться с региональной речью.

Особая проблема — местная лексика. Названия улиц, районов, народные названия товаров и фамилии часто отсутствуют в общем словаре. Если ваши звонящие регулярно их произносят, распознаватель с большей вероятностью превратит их в похоже звучащие обычные слова.

Что можно настроить

Тщательно выбирайте язык и регион

Многие распознаватели предлагают региональные варианты языка. Выбор варианта, ближайшего к вашим звонящим, может помочь. Автоматическое определение языка удобно при смешанной аудитории, но решение принимается в начале звонка, поэтому проверьте, как оно ведёт себя на коротких фразах и речи с акцентом. В Call транскрибер позволяет выбрать язык или определять его автоматически, а агент сохраняет первый распознанный язык до конца звонка, если звонящий не попросит другой.

Добавьте важные слова

Если платформа поддерживает пользовательский словарь или подсказки, добавьте названия компании, товаров, имена сотрудников и местные названия. Даже если не поддерживает, ущерб можно уменьшить, подтверждая эти слова вслух и давая агенту в источниках короткий список ожидаемых названий, чтобы он мог сопоставить почти совпадение.

Пишите понятно

На короткие простые вопросы легче отвечать, и их легче распознать, чем длинные и идиоматичные. Избегайте сленга в речи самого агента и юмора, построенного на местных выражениях.

Дайте звонящим время

Люди, для которых язык не родной, и неуверенные звонящие могут делать паузы или говорить медленно. Помогает более длинный порог тишины, как описано в статье «Обнаружение голосовой активности».

Тестируйте на реальных голосах

Нельзя судить о справедливости по нескольким коллегам похожего происхождения. Соберите тестовую группу, похожую на ваших звонящих.

План честного теста

  1. Опишите своих звонящихРегионы, языки, возрастные группы и типичные телефоны.
  2. Наберите тестировщиковДобровольцев, которые говорят так же, как эти звонящие, с их согласия.
  3. Напишите сценарийРеальные задачи с именами, числами и местными названиями.
  4. Сделайте звонкиС обычных мобильных телефонов и при реалистичном шуме.
  5. Сравните результатыИщите группы, где ошибок заметно больше.
ПоказательЧто показывает
Правильно распознанные словаНасколько хорошо распознаватель справился с каждой группой
Выполненные задачиПолучили ли звонящие то, что им было нужно
Повторы и исправленияКак часто агент переспрашивал
Доля передач человекуКак часто звонящие сдавались и просили человека
Комфорт звонящихЧто тестировщики сказали о своих впечатлениях

Сравнивайте группы по одним и тем же показателям. Разница в доле выполненных задач между группами — сигнал разобраться, даже если общее среднее выглядит хорошо. Защищайте конфиденциальность тестировщиков и храните записи не дольше, чем нужно.

Два условных примера

Небольшой ветеринарной клинике в приморском городке звонят местные жители, которые используют народные названия улиц и пляжей. Распознаватель постоянно превращает одно такое название в не связанное с ним обычное слово. Клиника добавляет местные названия в источники агента, агент повторяет место вслух, и ошибок становится меньше. Модель не менялась — исправлением стал список слов.

Региональному отделению банка звонят клиенты, выучившие язык во взрослом возрасте; они говорят медленно, с долгими паузами. Агент постоянно отвечает, не дав им договорить. Повышение порога тишины и сокращение вопросов агента дают им время, и доля повторов падает. И снова исправлением стали настройка и сценарий, а не новая технология.

У обеих историй общая закономерность: слушайте сбои, определяйте конкретные слова или тайминг и вносите небольшое изменение. Громкие заявления о точности полезны меньше, чем блокнот с записями о том, что пошло не так на вашей линии и что помогло.

Ведите этот блокнот и после запуска. Звонящие меняются, появляются новые районы и товары, а сегодняшнее исправление может устареть. Ежемесячный взгляд на слова, которые исправляют чаще всего, — лёгкий распорядок, поддерживающий агента в актуальном состоянии.

Не позволяйте системе стать стеной

Как хорошо ни настраивай, некоторых звонящих система не поймёт. Закладывайте это в проект. После двух неудачных попыток записать деталь агент должен сменить подход или передать звонок, а не ходить по кругу. Предлагайте принять сообщение, организовать обратный звонок или соединить с человеком в рабочие часы.

Чек-лист справедливости

  • Проведены тесты с носителями речи из каждой основной группы звонящих
  • Язык и региональные настройки соответствуют вашим звонящим
  • Местные названия и термины добавлены или подтверждаются вслух
  • Настройки тишины допускают более медленную речь
  • Ключевые детали повторяются перед использованием
  • Человек доступен после двух неудачных попыток
  • Доли передач и повторов просматриваются по группам

Как работать над этим в Call

В Call выберите языковую настройку агента, задайте порог тишины и чувствительность к шуму и напишите приветствие и сообщения об ошибках простыми словами. Затем с помощью тестового звонка послушайте агента на своём телефоне и попросите сделать то же коллег с разными акцентами. После этого откройте каждый звонок в истории звонков, чтобы прочитать разговор реплика за репликой, и поищите в расшифровках слова, которые неоднократно распознавались неверно. Исправьте источники, добавьте точные ответы там, где важна формулировка, и сохраняйте путь к человеку через службу поддержки.

Частые вопросы

Одинаково ли голосовой ИИ понимает все акценты?

Нет. Точность часто различается для разных акцентов и диалектов в зависимости от голосов, на которых училась система. Тестируйте на своих звонящих, а не полагайтесь на общие заявления.

Можно ли сказать агенту, какой акцент ожидать?

Часто можно выбрать для распознавателя вариант языка, а в некоторых системах — добавить лексику. Проверьте, что поддерживает ваша платформа, и протестируйте результат.

Почему агент не понимает местные названия?

Общие словари редко содержат все местные названия, поэтому распознаватель подбирает похожее обычное слово. Подтверждайте названия вслух и по возможности давайте список ожидаемых названий.

Должен ли агент автоматически переключать языки?

Это может помочь при смешанной аудитории, но протестируйте на коротких фразах и речи с акцентом. В Call первый распознанный язык сохраняется до конца звонка, если звонящий не попросит другой.

Как понять, что мой агент несправедлив к некоторым звонящим?

Сравните доли выполненных задач, повторов и передач человеку в группах тестировщиков с разной речью. Большой разрыв — сигнал скорректировать настройки, источники или сценарий.

Что, если звонящего совсем не удаётся понять?

Быстро предложите другой путь: сообщение, заявку на обратный звонок или человека. Ни один звонящий не должен оказаться в ловушке системы, которая его не понимает.

Протестируйте своего ИИ-агента на разных голосах в Call

В демо-консоли можно попробовать входящие звонки в режиме симуляции.

Похожие руководства

Технологии голосового ИИ

Промпты для качественных резюме звонков: шаблоны и проверка

Как написать промпт, превращающий расшифровку звонка в короткую точную заметку: для кого она, что в неё включать, правила против выдумок и как её проверить.

Редакция Call ·
Технологии голосового ИИ

Анализ тональности звонков: применение, ограничения, ответственность

Что измеряет анализ тональности звонков, где он помогает с сортировкой и трендами, где вводит в заблуждение и как избежать несправедливых автоматических решений.

Редакция Call ·
Технологии голосового ИИ

SIP-транк: как деловые звонки идут через интернет

Что такое SIP-транк, чем он отличается от обычных телефонных линий, что проверить по кодекам, каналам и резервированию и как выбрать провайдера.

Редакция Call ·
Технологии голосового ИИ

Модели speech-to-speech и каскадные голосовые конвейеры: сравнение

Два способа построить телефонного голосового агента: модели speech-to-speech и каскадные конвейеры. Сильные и слабые стороны и как выбрать по результатам тестов.

Редакция Call ·