Представьте себе, что вы смотрите видео или онлайн-лекцию на иностранном языке, а поверх изображения появляются понятные русские субтитры. Это теперь функция Яндекса, а не выдумка. Будь то обучение, новостной репортаж или просто ролик на YouTube, она может значительно облегчить жизнь.
Эта технология работает прямо в вашем браузере и для многих сайтов не требует сложных настроек. Все, что вам нужно, это знать, где найти эту чудо-кнопку. Вам не нужно скачивать видео или использовать сторонние программы, перевод происходит почти мгновенно.
В этой статье мы подробно разберем, как включить автоперевод в различных ситуациях. Вы также узнаете, как включить его для отдельного видео и настроить браузер, чтобы субтитры автоматически появлялись на поддерживаемых сайтах.
На каких языках работает автоматический перевод видео в Яндекс Браузере?
Первоначально сервис позволял только переводить с английского языка, но с тех пор он улучшился и теперь поддерживает перевод с английского на русский с восьми языков:
- английский;
- немецкий;
- испанский;
- итальянский
- французский;
- китайский;
- корейский,
- японский.
Немногие знают об этой полезной функции Яндекс Браузера, но она очень удобна, и приложение можно установить для использования этого переводчика видео. Озвучка с помощью нейронных сетей хорошо себя показывает при онлайн-просмотре презентаций, но субтитры отвлекают внимание, мешая выполнять другие задачи параллельно с прослушиванием.
Первоначально функция была ограничена отобранными видео, но сейчас она успешно работает с прямыми онлайн-трансляциями. Самое интересное, что переводчик использует разные синтезированные голоса, чтобы отличать пол одного спикера от другого.
Как работает синхронный перевод видео Яндекса и как его лучше использовать?
В последнее время Яндекс научился переводить видео на русский язык прямо во время просмотра. Включить эту функцию проще, чем кажется, просто открыв нужное видео в Яндекс.Браузере или приложении «Яндекс», включив субтитры и выбрав опцию перевода в режиме реального времени. Теперь, даже если видео на английском, французском или китайском языках, вы будете понимать каждое слово без задержек и лишних усилий, что удобно для работы, учёбы
Как работает автоперевод видео на русский язык в Яндекс Браузере?
Чтобы выполнить эту функцию, Яндекcу пришлось использовать технологии сервиса «Переводчик», а также биометрию, синтез речи и шесть нейросетей, а не только одну, как могло бы показаться.
Первая нейроcеть определяет язык спикера. Если язык поддерживается, в браузере появится окошко с предложением перевести видео на русский язык.
Вторая нейросеть отвечает за перевод речи в текст, создавая модель с аудиодорожкой, с помощью которой алгоритмы выявляют и удаляют лишние звуки. Кроме того, эта нейросеть удаляет паразитные слова, что делает результат более чистым.
Третья нейросеть отвечает за приведение текста к воспринимаемому виду и расставляет требуемые знаки препинания. На входе эта нейросеть получает только набор переведенных слов, которые требуются с помощью пунктуации для создания грамотных предложений, сохраняя первоначальный смысл. Кроме того, эта нейросеть получает выделенный контекст, который помогает ей понять, о чем вообще идет речь в видеоролике, и помогает расставить слова на нужные места
Разработчики говорят, что можно подождать нового материала или новых слов, если они не уверены в том, как разделить речь на предложения в конкретном случае. Это поможет определить разбиение или превысить ограничения по контексту и заставить нейросеть формировать фразы с определенной, хотя и не полной, долей уверенности.
Алгоритм использует частоту звучания, чтобы определить, мужской или женский голос, а также определить пол и местоимения человека, чтобы определить, сколько человек вообще говорит. Частота звучания четвертой нейросети составляет 80-150 Гц для мужчин и 150-250 Гц для женщин.
Текст уже переводится на русский язык с помощью Пятой нейросети.
Последняя нейросеть, шестая, отвечает за синтез речи и синхронизацию с роликом. Именно она делает паузы, когда спикер замолкает, и следует за тем, как он говорит, то замедляясь, то ускоряясь.
Как Яндекс автоматически переводит прямые (онлайн) видео трансляции?
Стрим намного сложнее обрабатывать, чем готовый ролик, потому что на этом видео нельзя заранее проанализировать и понять, как лучше сделать озвучку. Однако со стримом все сложнее, потому что нейросети вынуждены осуществлять синхронный перевод создаваемой дорожки прямо на лету.
Несмотря на то, что используются разные технологии, языковые модели все равно используются одни и те же. Когда Яндекс использует стрим, он также использует третью нейросеть, которая помогает нормализовать речь; алгоритмы определяют вводные слова, сложные предложения и так далее.
Кроме того, после восстановления знаков препинания в нейросети система создает законченные предложения, которые соответствуют их смыслу, и отправляет их для перевода.
В результате прямых трансляций может быть задержка от двадцати до пятидесяти секунд.
Это хороший результат, который позволяет оставаться в курсе событий.
Приятно удивляет возможность системы работать с разными голосами. Кажется, что это появилось сравнительно недавно, поскольку в первоначальном варианте перевода были доступны только два голоса, мужской и женский. Теперь у каждого из них есть дополнительные голоса.
Как включить автоперевод видео на русский язык в Яндексе?
Эта функция доступна только для приложений Яндекс и Яндекс Браузера на нескольких операционных системах, включая Windows, macOS, Android и iOS.
Вы можете скачать Яндекс Браузер.
Чтобы начать перевод, вам нужно просто открыть видео на одной из популярных платформ, таких как YouTube, Rutube или Vimeo.
В мобильном приложении браузера:
Включите воспроизведение и нажмите на небольшую кнопку с буквой «Y», чтобы открыть панель инструментов. Нажмите «Перевести и озвучить», чтобы перевести видео.
Нажмите на значок с тремя вертикальными точками, чтобы изменить язык перевода или добавить субтитры.
В версии браузера для компьютера:
Появится кнопка «Перевести и озвучить».
Нажмите кнопку с тремя вертикальными точками, чтобы открыть панель с настройками, включая язык перевода, громкость оригинального аудио и субтитры.
Перевод займет несколько секунд для небольших роликов, а для трансляций придется подождать от пятнадцати до двадцати секунд, если это новая трансляция, а для старых трансляций понадобится гораздо меньше времени, примерно две секунды.
Таким образом, вы выполнили перевод видео на русский в Яндексе. Это чрезвычайно удобный инструмент, который позволяет вам легко понимать иностранный контент, не занимаясь рутинным поиском субтитров.
Его главным преимуществом является простота использования. Не нужно скачивать дополнительные программы или разбираться в сложных настройках, просто включив опцию в браузере и смотреть.
Хотя автоматический перевод может не быть идеальным в некоторых случаях (например, он может ошибаться в терминах или упускать важные детали речи), он обычно вполне достаточно, чтобы понять суть видео.
Благодаря этой функции вы можете свободнее просматривать видеоролики на англоязычном языке или в других иностранных языках. Мы надеемся, что это сделает ваше пребывание в Интернете еще интереснее и полезнее.
