Лучшие настройки для кодирования 4k 360 3D VR видео + FREE Tool

 Перевод статьи: http://goo.gl/bgEZOD

Самым трудным и затратным по времени в первых экспериментах с 360 3D видеопродукцией было найти оптимальные настройки кодирования для каждой из имеющихся сегодня VR-гарнитур.  Существующие  устройства просмотра VR-видео поддерживают разные разрешения, частоты кадров, кодеков и битрейтов.  В этой статье описано, как кодируют свои видео Chris Milk и Felix & Paul, а также дан самый простой инструмент для кодирования VR видео контента. 

Стадия «незнания»

Стереоскопическое панорамное 3D видео, содержит 2 панорамы, уложенные друг на друга – для левого и для правого глаза по отдельности.  Этот файл, .mov или . avi, имеет экзотическое  соотношение сторон 1:1  и разрешение 4096 × 4096 пикселей со скоростью 60 кадров в секунду.  Ни одна VR гарнитура в настоящее время не в состоянии воспринимать этот файл, так что разрешение надо уменьшить до 2048 × 2048 @ 60. Это маленькое разрешение. Не смотря на то, что наша камера снимает в гораздо более высоком разрешении, но из-за аппаратных ограничений мы в состоянии отображать лишь 25% пикселей. Также, сильно теряется разрешение, когда пиксели распределяются по поверхности сферы. Как же сжать видео и максимально сохранить качество? В поисках ответа мы начали прочесывать интернет. Так мы и пришли к решению проанализировать  опыт некоторых легендарных производителей видео VR.

Chris Milk

Один из крупнейших кинопроизводителей VR сегодня - Крис Милк от VRSE. Мы загрузили приложение VRSE для Cardboard и Gear VR для анализа.

Вот что мы заметили, открыв эти видео в MediaInfo:

  1. h.264 Базовый профиль, уровень 4.2
  2. Разрешение дисплея составляет 3840 × 2160 @ 30 (20 - 30 Мбит битрейт)
  3. Одинаковое разрешение для Cardboard и Gear VR!

chris milk mediainfo

 

Крис Милк, как и большинство простых смертных, использует кодек h.264 MP4. Мы  часто сталкиваемся с этими параметрами кодировщиках, но, как правило, не обращаем на них должного внимания.

Базовый профиль в основном используется для декодеров с ограниченной вычислительной мощностью и мобильных приложений. Google также рекомендует базовый настройки кодека h.264 для воспроизведения видео на Android. 

Этот уровень дает максимальное разрешение и приемлемый битрейт. Каждое устройство поддерживает видео до определенного уровня настройки кодека h.264. Например, айфоны поддерживают только видео до уровня 3.1 (1920 × 1080 @ 30 - это абсолютный максимум для IPhone 5), в то время как большинство Android телефонов просто отлично проигрывает 4.2.


Разрешение 3840 × 2160 является официальным Ultra HD (UHD) стандарт для 4k видео, которые также называют 2160P. Это разрешение имеет соотношение сторон 16: 9, а не 1:1. Это значит, что видео сжимается в вертикальном направлении. Другими словами, у этих роликов на горизонтальной оси плотность пикселей больше, чем на вертикальной. Поэтому на видео все выглядят короткими и жирными. Следующая диаграмма пояснит наглядно.

 

resolutions diagram

 

Самое интересное, что, когда вы показываете это растянуто-сжатое видео на внутренней стороне шара для воспроизведения в VR гарнитуре, все возвращается обратно в правильные пропорции! Так, используя разрешение 3840 × 2160 вместо 2048 × 2048, Крис Милк имеет на 97% больше пикселей для отображения! Колоссальное улучшение!
Удивительно, но он также использует UHD для VRSE Cardboard app, то, что мы думали, не будет работать! Недостаток в том, что существует ограничение на скорости 30 кадров в секунду. 

Забавное примечание

Видео «Перемещенные» Криса Милка  -  мощная история о беженцах, также используется в приложении New York Times VR для cardboard. Но в то время как VRSE играет это видео в 3840 × 2160 (стереоскопическом), Нью-Йорк Таймс приложение VR проигрывает это же видео в простом 1920х1080 (моноскопическом).

Felix & Paul & h.265

Итак, мы только что видели, что с помощью параметров кодирования Криса Милка можно значительно улучшить качество конечного видео. Следующая легенда VR -  Felix & Paul studio, долгое время была на переднем плане VR кинопроизводства.  Наш друг Scopic упомянул, что их Inside Impact видео с участием Билла Клинтона, было самым резким VR видео, которое он видел. Так что же делает это видео столь отчетливым?

felix paul mediainfo

Вы можете заметить, что разрешение довольно странное 3840 х 1536, что означало бы серьезное сокращение пикселей, если сравнивать с 3840x2160 пикселей Криса Милка. Тем не менее, трюк раскрывается, как только мы исследуем один кадр:

felix paul the displaced screenshot missing desk

 

На скриншоте вы заметили, что нельзя увидеть нижнюю часть стола Клинтона. Тем не менее, при просмотре видео в приложении Felix & Paul в шлеме VR, вы можете увидеть стол полностью. Колдовство?! Ну, Felix & Paul поняли, что только ограниченное количество пикселей может отображаться в виде видео на текущей строке (мобильных) VR устройств. Еще они догадались, что 95% действия происходит на высоте глаз, не выше и не ниже. Так что их решение было блестящим: только определенную группу пикселей отображать как видео, а верхнюю и нижнюю части сделать неподвижным изображением.

 

felix paul trick

 

Этот мастерский трюк позволил им эффективно достигать 3840 × 3840 пикселей в разрешении, из которых только 1536 пикселей по вертикали отображаются как видео, в то время как остальная часть пикселей – неподвижное изображение. Уменьшив разрешение видео, они увеличили количество кадров до 60 в секунду!   

Это был уникальный опыт. В ходе него и выявились некоторые серьезные недостатки. Во-первых, требуются дерьмо-тонны («a crapton of» - пер. англ) дополнительной работы и технических знаний, чтобы создать приложение видеоплейер, который проигрывает с высоким разрешением 360 видео, и переключатели между верхними /нижними изображениями в синхронизации. Кроме того, если вы снимаете что-то, например, с квадрокоптера, где в нижней части видео сдвигается, то использовать неподвижные изображения невозможно. Но Felix & Paul не останавливаются на достигнутом!
В то время как видео хронометражом 9.21 минут с супер высоким разрешением, 60 кадров в секунду, размер файла "только" 825MB. MediaInfo показывает нам, что это происходит из-за (на первый взгляд) довольно низкого 12.3Mbps битрейта.  Пусть это не вводит вас в заблуждение.  Вместо того, чтобы использовать общий кодек h.264, они кодируют свои файлы с более мощным h.265 / HEVC кодеком, который по существу дает такое же качество видео и на половине битрейта. 

Так что их 12.3Mbps h.265 видео сопоставимы по качеству с h.264 видео 24.6Mbps, а в результате - половина размера файла! Кодек  h.265 поддерживает более высокие разрешения, битрейты и кадры в секунду, чем h.264, что делает его идеальным кандидатом для будущих видеоплееров VR. Единственный существенный недостаток -  вряд ли существуют устройства, способные воспроизводить h.265 видео, но, к счастью есть телефоны Samsung Gear VR! (До 3840 × 2160 @ 30 - это на данный момент).

«Оптимальные» настройки кодирования

Теперь мы узнали, как «взрослые парни» делают это! Следующие настройки кодирования будут оптимальными на данный момент:

tab kod 

Таким образом, мы используем h.265 для видео VR, чтобы получить оптимальный баланс между качеством видео и размером файла. Если вы хотите воспроизводить видео на 60fps, Samsung рекомендует 2048 × 2048. 

Для Cardboard Android мы можем использовать параметры Криса Милка для получения максимально возможного разрешения. Однако если вы беспокоитесь о размере файла, или чувствуете, что опыт Cardboard подходит вам, или если хотите добиться максимальной совместимости со старыми смартфонами, вы всегда можете уменьшить разрешение до 2k или даже 1080p, как делает Нью-Йорк Таймс.


iOS поставила аппаратные ограничения на максимальный размер видео на своих устройствах –  1080p с частотой 30 кадров в секунду для iPhone 5 и 1080p при 60fps для iPhone 6.

Трудно определить, какие настройки использовать для Oculus  так как компьютеры у всех разные. Тем не менее, исходя из минимальных требований к системе Oculus, теоретически можно играть с высоким разрешением, высокой частотой кадров h.265 видео  при условии, что в системе установлены правильные кодеки и используется мощный 360 видеоплеер. На данный момент мы используем h.264 и разрешение UHD для максимальной совместимости, так как даже  Mac Pro испытывает трудности, воспроизводя h.265 файлы.

Моноскопия

Для моноскопического видео (360 2D) разрешение немного отличается. Например, VR может проигрывать 4096 × 2048 @ 30 в h.264. Используя параметры Криса Милка, вы также можно воспроизводить видео на Cardboard вбольшинстве новых телефонов Android. Тем не менее, для Gear VR вы можете также выбрать h.265, и в этом случае удастся достичь максимального разрешения 3840 × 1920 @ 30. Если вы хотите 60fps, Samsung рекомендует 2880 × 1440.

Инструменты кодирования

Ни один из этих вариантов не идеален, но на данный момент они работают. Какие же инструменты нужны, чтобы кодировать видео в этих разрешениях и кодеках? Мы начали с MPEG Streamclip, затем попробовали Compressor в сочетании с Final Cut Pro, и, наконец, Handbrake. И все они вроде как работали, однако ни один из них не сделал все, что нам нужно,  и мы переделывали файлы заново из-за плохого качества. Таким образом, мы пришли к FFmpeg! Он оказался самым надежным и самым мощным, но недоступным для большинства пользователей.

Это инструмент с открытым кодом командной строки, имеет полную поддержку h.265 и используется на популярных онлайновых сервисах видеокодирования. Это здорово, за исключением того, что придется учить новые и новые команды, а это почти как косить газон кусачками. Именно поэтому мы решили написать небольшой скрипт на Python, чтобы немного облегчить вам жизнь.

Мы теперь просто выбираем папку, откуда взять файл и куда положить.  Ставим галочки напротив нужной платформы и нажимаем старт. В итоге – готовые файлы для воспроизведения в гарнитурах VR!

 vrencoder free 360 vr encoding tool

 

Этот инструмент бесплатен для обоих систем Mac и Windows :-)

Жми на ссылку выше! В конце статьи (на сайте разработчика purplepillvr.com) нужно ввести Свои данные и ссылка на скачивание программы придет к вам на почту! 

Добавить комментарий


Защитный код
Обновить

О новой Joomla на JooMix.org