Яндекс добавил автоматический перевод англоязычных видео на русский

Посмотреть выпуск англоязычных новостей, интервью, любимый сериал или фильм с автоматическим переводом от нейросетей Яндекс смогут все пользователи одноименного браузера. Видео длительностью до 30 минут переводится полностью за 10-20 минут. При этом выполняется не только перевод, зритель получает видео в русской озвучке. Учитывается даже пол говорящего — за девушек говорят голосом «Алисы», за мужчин мужским голосом. А если ролик уже был переведен и есть в базе Яндекс, времени на его обработку вовсе не потребуется.

Доступно всем

Автоперевод от Яндекс.Браузер подключается всем пользователям по умолчанию, отключить его можно зайдя в настройки страницы, где функцию можно подключать и отключать по желанию. Для активации достаточно нажать на соответствующий значок, который автоматически появляется поверх всех видео для которых доступна такая опция.

Благодаря нововведению все те, кто не владеет в должной мере английским языком, но стремится погрузиться в мир западных медиа, смогут смотреть ролики с автоматическим переводом на сервисах YouTube, Vimeo, TikTok, Twitter, Facebook и «Вконтакте». Исключение составит лишь лицензионный контент, защищенный законом об авторском праве.

Прототип переводчика был представлен Яндексом еще в июле, однако в то время на сервис действовали некоторые ограничения. А в начале сентября функция стала доступна в приложении и браузере от Яндекс на android, macos, linux и windows. На будущее анонсирован запуск адаптаций и с других мировых языков, а также добавление новых голосов для озвучки.

Как это работает

Для того, чтобы выполнить перевод, нейросетям требуется произвести несколько отдельных задач:

• Распознать речь.
• Перевести ее в текст.
• Провести разбивку на предложения.
• Определить пол говорящего.
• Выполнить перевод текста на английском языке.
• Синтезировать закадровый голос для русской озвучки, женский или мужской.
• Совместить полученный результат по таймингу с видеорядом.

Чтобы перевод на русском совпадал с картинкой за темпом речи говорящего следит специальный алгоритм. Раньше подобная работа выполнялась людьми, отнимала значительное количество ресурсов и была довольно дорогостоящим делом. И хоть автоперевод пока не способен передать все тонкости интонаций, актерских пауз и игры тембром и громкостью голоса, с ним можно выполнить главное: донести смысл сказанного до носителей другого языка. К тому же озвучка идет поверх оригинального звука, поэтому интонации от внимательных слушателей не ускользнут.

Общение без границ

По словам руководителя Яндекс.Браузер Романа Иванова, реализация подобной программы была начата еще в 2011 году и на сегодняшний день удалось достигнуть внушительных результатов: нейросети успешно переводят на только видео, но и текст, и изображения. Цель проекта: стирание языковых границ в интернете.

Пока перевод занимает некоторое время и бывает так, что уведомление о возможности посмотреть видео не приходит, но волноваться нет причин: если пользователь нажал на кнопку — ролик непременно будет переведен и сохранен на серверах Яндекс. После этого доступ к нему в любое время будет не только у пользователя, заказавшего перевод на русском, но и у других пользователей системы. Таким образом, для просмотра популярных видео ждать не придется.

Останется лишь найти уйму свободного времени. Ведь теперь пользователям Яндекс.Браузер открывается безграничный мир англоязычных видео и передач: юмористические передачи и стендапы, кулинарные и реалити шоу, новости, научпоп, лекции ведущих мировых ученых и видео-блоги — теперь доступны всем пользователям, а не только людям владеющим английским языком.

Аналогов нет

Стоит отметить, что хоть похожие технологии разрабатывают на западе, ничего похожего на решение от Яндекс в современном мире не представлено. В конце июня сервис Zoom приобрел стартап Kites, создающий субтитры на других языках в режиме реального времени, одновременно с говорящим, но функции озвучки и синхронизации с видео у этого решения нет.