Субтитры не нужны: «Яндекс» представила голосовой онлайн-переводчик для видео
Пока технологию можно попробовать только в «Яндекс.Браузере» на нескольких видео.
Компания «Яндекс» развернула функциональность своего переводчика до видеозаписей. Пока технология работает в тестовом режиме и доступна только в «Яндекс.Браузере» и только с определённым плейлистом на YouTube.
В «Яндексе» отмечают, что технология будет работать в последней версии браузера компании для macOS или Windows. Однако у меня она так и не заработала. Стоит подчеркнуть, что проблема не у меня одного. Например, авторы N+1 говорят о том же.
Если же вы смотрите этот текст с мобильного устройства или у вас по каким-то причинам не работает плагин «Яндекса», то компания записала скринкаст, показывающий работу технологии. Вот так звучит уже переведённая нейросетью речь руководителя направления обработки естественного языка в «Яндексе» Дэвида Талбота:
Вот что Дэвид Талбот говорит о технологии:
В интернете много полезного контента, недоступного многим людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы.
«Яндекс.Браузер» уже давно умеет переводить тексты, в этом году мы научили его переводить изображения. Следующий этап — перевод видео. Это большая сложная задача, которую никто в мире ещё не решил. Мы в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше.
Руководитель направления обработки естественного языка в «Яндексе»
Используемая технология совмещает синтез, распознавание речи и машинный перевод. Также используется биометрия — она позволяет определить, какого пола говорящий, и подобрать нужный голос для закадровой озвучки. У этой системы, по словам компании, в мире нет аналогов.
Стоит отметить, что представленные демотехнологии звучат очень круто: есть естественные паузы, даже намёки на интонирование. Однако всё-таки слышны артефакты: где-то речь будто бы перескакивает через буквы, а где-то эмоций явно недостаточно. До профессиональных дикторов далеко, но уже лучше многих домашних студий озвучивания. Но если это только начало, то что же будет дальше?
Пока технология доступна лишь на представленных демозаписях. Когда состоится публичный релиз, неизвестно.