В «Яндекс Браузере» появился голосовой перевод трансляций в режиме реального времени
Эта технология есть только у «Яндекса».
Компания «Яндекс» запустила в собственном браузере закадровый перевод прямых трансляций. Сообщается, что подобных решений нет ни у кого в мире.
Нейросеть переводит на русский сразу с нескольких языков: английского, испанского, немецкого, французского и итальянского. При этом сеть понимает сразу несколько акцентов. Например, она может понять британский, американский английский, а также тот же язык, но из уст индийцев или африканцев.
Чтобы онлайн-перевод трансляций работал, необходимо сразу пять нейросетей, работающих последовательно:
- Сначала идёт расшифровка речи в текст. Из-за специфики процесса эта нейросеть отличается от той, которая работает в «Алисе».
- Затем по частотам определяется пол говорящего, чтобы подобрать подходящего диктора.
- Третья нейросеть выделяет в тексте законченную часть.
- После этого текст переводится на русский язык.
- Пятая нейросеть озвучивает его.
Пока озвучка трансляций доступна лишь на отдельных каналах в тестовом режиме. Среди них, например, NASA, Apple, TED, TEDx, Google и другие каналы. Полный список можно посмотреть на специальной странице, посвящённой функции перевода трансляций.