Битва видеокодеков – 2018
В последнее время события в сфере разработки кодеков развивались достаточно динамично, и в 2018 году мы станем свидетелями их логического продолжения. Рассмотрим хронологию развития и внедрения новых кодеков.
HEVC
Хотя разработка HEVC была закончена еще в 2012 году и тогда же стали появляться первые кодеры с поддержкой этого формата, к началу 2017 года на рынке по-прежнему доминировала компрессия H.264. Причин для медленного старта HEVC было достаточно много. Во-первых, для укрепления технологии на рынке требуется соответствующая инфраструктура. Для H.264 она хорошо отработана. Этот формат гарантированно совместим с любой экосистемой. С ним работают все плееры, CAS, DRM, middleware, системы вставки рекламы и видеоконтроля.
Кроме того, заявленную в рекламных буклетах 50-процентную экономию полосы пропускания HEVC демонстрирует при компрессии UHD-контента и статистическом мультиплексировании, а в остальных случаях показатели ниже. На первых этапах для HD-SPTS-потоков выигрыш составлял около 15%. Если говорить об ОТТ-распространении, то стоимость дополнительных 15—20% транспортной полосы можно было компенсировать выбором более дешевого СDN. Тем более что стоимость услуг CDN за последнее время заметно упала, а вилка между верхней и нижней ценой схожего набора сервисов увеличилась.
В вещательной среде новая система компрессии, как правило, вводится одновременно с другими технологиями, требующими замены приставок или телевизоров. Компрессия H.264 внедрялась вместе с HD-форматом и стандартами DVB второго поколения. HEVC же логично вводить вместе с UHDTV. Но и с этим были сложности. Первые кодеры HEVC были очень медленными. Транскодирование в реальном времени требовало огромной траты компьютерных ресурсов. Поэтому в сетях профессиональной доставки (contribution) живого вещания 4К сначала использовались связки из четырех синхронизированных AVC-кодеров, каждый из которых кодировал свой квадрант.
Более всего внедрению HEVC препятствовали (и продолжают препятствовать) жесткие, неоднократно менявшиеся условия лицензирования. Они диктовались сразу двумя патентными пулами — MPEG LA и HEVC Advance, а также компанией Technicolor, которая выделилась из HEVC Advance и выдвинула собственные лицензионные требования. В совокупности эти требования включают отчисления с каждого HEVC-устройства и компрессированного в HEVC наименования видео, без верхнего предела по выплатам, и дополнительно отчисления с доходов от платного видеоконтента, компрессированного в HEVC. Более того, начало 2017 года ознаменовалось появлением еще одного патентного пула для HEVC-технологий. Он был назван Velos media и призван защитить интеллектуальную собственность компаний Ericsson, Panasonic, Qualcomm, Sharp и Sony. Принципиально новых требований по лицензионным выплатам Velos media пока не выставил, но может сделать это в любой момент.
Несмотря на перечисленные сложности, HEVC все-таки утвердился на рынке, в первую очередь в вещательных сетях и для компрессии 4К- и/или HDR-видео. Опция HDR (High Dynamic Range) сама по себе является «убойной». Многие убеждены, что HD-формат, дополненный HDR, смотрится более эффектно, чем «чистый» 4К. На динамичных сюжетах хороший эффект также дает повышение частоты кадров — HFR (High Frame Rate). В принципе, можно было бы добавить опции HDR и HFR к чипсетам с H.264 и распространять HD-контент c такими дополнениями. Дополнительная полоса, требуемая для введения подобных улучшений, зависит от характера видео и типа компрессии, но даже для HD-видео, сжатого в H.264, она увеличится максимум в полтора раза. По некоторым данным, добавочная скорость будет еще меньше. Переход же к UHD-разрешению и компрессии HEVC без HDR и HFR потребует значительно большей полосы пропускания. Однако внедрению H.264 в связке с HDR и HFR противятся производители телевизоров, посчитав, что такой подход может затормозить продажи моделей с разрешением 4К.
Важным событием 2017 года, способствующим распространению HEVC в интернет-среде, стало решение Apple добавить этот формат компрессии в систему стриминга HLS, причем с поддержкой HDR. Напомним, что HLS — самая распространенная стриминговая платформа в мире. Это означает, что HEVC будет проигрываться на платформах iOS и Mac, через браузер Safari, а также на устройствах Apple TV. Тесты показали, что проигрывать HEVC можно даже на iPhone 6, а в более поздних моделях он съедает примерно столько же компьютерной памяти, сколько и H.264, и минимально сажает батарею. Готовность Apple включить HEVC в свои решения была с энтузиазмом встречена производителями кодеров. Однако само внедрение в HLS-среде проходит медленно. По мнению редактора издания Streaming Media Magazine Яна Озера (Jan Ozer), это связано с тяжелой и неясной лицензионной политикой. Кроме того, HEVC требует дополнительной памяти и не воспроизводится на более ранних устройствах, работающих с HLS.
Как и ожидалось, в 2017 году у всех ведущих производителей появились HEVC-кодеры и транскодеры, способные работать в реальном времени. Показатели продаж HEVC-кодеров противоречивы и отрывочны. По данным консалтинговой компании Frost & Sullivan, в 2016 году их доля не превышала 1% от общих покупок в пересчете на канал и далее прогнозировалось ежегодное удвоение продаж. В то же время сейчас, по данным IEEE/BTS (Institute of Electrical and Electronics Engineers/Broadcast Technology Society), доля HEVC-кодеров, используемых в IP-среде, составляет 3%. Можно думать, что в вещательных сетях их доля как минимум не меньше. К слову, доля кодеров H.264 в IP-среде составляет 79%, и она продолжает расти, в основном за счет отказа от компрессии MPEG-2. Однако при оценках стоит учитывать, что понятие кодера с поддержкой определенной компрессии сегодня размыто. Аппаратные кодеры на ASIC сохраняют актуальность только для вещательных сетей, и то частично, а для ОТТ это и вовсе устаревшая концепция. Большинство современных кодеров реализовано программно, на FPGA, связке CPU и GPU или даже на чистых CPU. Такие кодеры могут гибко программироваться не только в плане разрешения, но и по системе компрессии.
Что касается браузеров, то HEVC пока поддерживают только Safari и Edge, но возможно, это вынудит Google и Mozilla интегрировать его в будущие версии браузеров, тем более что за программную реализацию лицензионные отчисления не взимаются. Кроме того, HEVC интегрирован в медиапроигрыватель VLC (VideoLAN Client).
VP9
Основной альтернативой вещательным системам компрессии HEVC и H.264 в интернет-среде до недавнего времени считался кодек VP9 от Google. По факту он таковым остается до сих пор, хотя ему на смену уже приходит кодек AV1.
VP9 интегрирован во все основные браузеры, кроме Safari (Apple). Что касается платформ для мобильных устройств, то к началу 2017 года устройства на Android воспроизводили и VP9 (с версии 4.4), и HEVC (с версий 5.0+), а устройства Apple не поддерживали ни того, ни другого. VP9 активно используется YouTube, а с конца 2016 года его, наряду с H.264, взял на вооружение и Netflix. Кодек также нашел применение в корпоративных сетях и некоторых более мелких интернет-сервисах.
Тем не менее его общая доля в сегменте интернет-видео невелика — по данным IEEE/BTS, она составляет 11%. Таким образом, сказать, что он вытеснил H.264 из интернет-пространства, никак нельзя, несмотря на то, что он примерно на треть более эффективен. Его преимущество перед HEVC — в открытости и бесплатности. Тем не менее как конкурент HEVC для вещательных сетей он никогда не воспринимался. В первую очередь, из-за отсутствия декодеров, защищенных на аппаратном уровне интеграции с метаданными, необходимых для защиты и реализации других функций платного ТВ. Кроме того, VP9 с самого начала был еще более медленным, чем HEVC, и со временем отставание только увеличилось.
AV1
Занять монопольное положение HEVC, по всей видимости, не суждено. В перспективе его альтернативой, как минимум в интернет-сфере, обещает стать новый кодек AV1. Более того, некоторые эксперты рассматривают его как кодек, который может заменить HEVC и в вещательных сетях. Это первая разработка некоммерческого альянса AOM (Alliance for open Media). Он был создан в августе 2015 года для разработки безлицензионных решений с открытым кодом в области доставки мультимедиа. И его первой разработкой как раз стал кодек AV1. К его созданию участников подтолкнули проблемы лицензирования HEVC, в частности появление в тот момент второго лицензионного пула. Состав AOM весьма представительный, в него входит более 20 компаний, среди которых Google, Microsoft, Mozilla, Cisco, Intel, Netflix, Adobe Amazon, ARM, Facebook, Google, IBM, Nvidia. В начале 2018 года к альянсу присоединился и Apple, правда без громких заявлений и явных обещаний интегрировать кодек в свои продукты.
Чтобы избежать патентных претензий, разработчики AV1 использовали собственные инструменты компрессии. За основу нового формата был взят VP10 от Google, и к нему были добавлены алгоритмы, позаимствованные в кодеках Thor (Cisco) и Daala (Mozila / Xiph). Таким образом прежние соперники объединились для создания альтернативы основному конкуренту.
Что касается транспортных контейнеров, раз для HEVC в интернет- среде применяются варианты MP4, то AV1, по всей видимости, будет использовать формат WEBM разработки Google, Microsoft, Mosilla и Opera, с такой же бесплатной лицензией, как и сам кодек.
Тот факт, что к созданию и продвижению AV1 привлечены основные разработчики кодеков, браузеров, чипсетов, процессоров, а также экосистем доставки и воспроизведения видео, с большой долей вероятности позволит новому кодеку быстро утвердиться в соответствующих сегментах рынка.
Проблема пока в том, что не очень понятно, в какой мере разработку AV1 можно считать законченной. После нескольких переносов срока заморозки кодека в конце марта было объявлено, что разработка наконец закончена и компании могут интегрировать его в свои продукты. Однако позже выяснилось, что и это версия тестовая, которая по-прежнему дорабатывается.
По информации Яна Озера, в течение нескольких месяцев ожидается интеграция кодека в несколько браузеров, и появление контента, компрессированного в AV1 от членов AOM. Чипсеты с аппаратным декодированием, по его оценке, появятся в 2019 году, а устройства на их базе — в середине 2020 года.
Технические различия между HEVC и AV1
AV1 — значительно более новый кодек, для которого пока нет специализированных кодеров и, главное, — аппаратных декодеров. Поэтому когда требуется кодирование в реальном времени, альтернативы HEVC пока нет. Основные браузеры выпустили первые программные декодеры AV1, но они гораздо медленнее и энергозатратнее. В AV1 используются более продвинутые алгоритмы, соответственно на процессоры ложится большая нагрузка.
Разработчики AV1 заявляли, что по сравнению с HEVC новый кодек должен вдвое сократить требуемую полосу пропускания при сохранении качества картинки. Однако весной при компрессии UHD 4К выигрыш относительно VP9 и HEVC составлял 30—40%. Кроме того, пока новый кодек очень медленный. По данным Яна Озера, весной 2018 года кодирование в AV1 было примерно в 100 раз медленнее, чем в VP9, при схожих компьютерных мощностях, а декодирование на процессорах x86 в пять раз медленнее. К концу года планируется сократить разницу во времени кодирования до пяти раз, а декодирования — до двух. Сравнивать AV1 по быстродействию с HEVC некорректно, особенно в плане декодирования, учитывая наличие специализированных чипсетов. Такие решения есть у AMD, Nvidia, Intel, Apple, Qualcomm и других. Очевидно, что разница в быстродействии AV1 и HEVC будет еще больше.
Повторим, что кодеры и декодеры с аппаратными схемами ускорения — это только одна часть общей инфраструктуры. Необходима также интеграция кодека со стриминговыми технологиями, CDN, DRM, системами биллинга и мониторинга. Участники AOM могут обеспечить все компоненты инфраструктуры, необходимые для ОТТ-распространения. Что касается операторов вещательных сетей, то их, возможно, пока не удовлетворит уровень защиты DRM-систем от участников альянса. Однако скорее всего, это временная проблема.
Заметим, что различия в подходах к разработке HEVC и AV1 очень показательны для двух вовлеченных в процесс индустрий — вещательной и ИТ. Для первой характерна разработка и применение закрытых лицензионных технологий, а во второй делают ставку на открытые бесплатные технологии, рассчитывая на получение доходов от продажи эффективных решений на их базе. Вещательные консорциумы понимают, что их позиция становится все менее конкурентной, но перестроить свой бизнес пока не могут.
Альтернативы
С большой долей вероятности в ближайшие годы HEVC и AV1 будут занимать доминантные позиции. Остальным кодекам, чтобы претендовать на место под солнцем, нужно будет предложить существенное улучшение скорости кодирования/декодирования в сочетании с конкурентным уровнем компрессии, хотя бы в определенной нише. А если разработчики захотят использовать запатентованные технологии, то чтобы предложить реалистичные цены, им понадобятся еще и хорошие маркетологи.
Сегодня к возможным альтернативам относят две разработки. Во-первых, кодек XVC (Extreme video codec), оптимизированный для работы на низких скоростях, характерных для доступа через сотовые сети. Это разработка шведской компании Divideon, появившейся в начале 2017 года. На сайте Divideon уже выложены демонстрационные ролики и графики, иллюстрирующие преимущество нового кодека относительно прочих в нише мобильного приема (рис. 4). Кодек платный, но система его лицензирования проще, чем у HEVC.
Второй претендент — это JEM (Joint Exploration Model), кодек, разрабатываемый на смену HEVC.
Для его разработки в конце 2015 года была создана команда JVET (Joint Video Exploration Team), объединившая MPEG и VCEG. Полтора года ушло на сборы требований к кодеку, и в апреле 2018 года началась собственно разработка. По этому случаю команда была переименована в Joint Video Experts Team. Судя по информации о ходе работы над кодеком, которую участники JVET озвучивают на отраслевых мероприятиях, никаких принципиально новых подходов к компрессии вводить не планируется. Предполагается дальше усложнять и оптимизировать алгоритмы обработки, то есть эксплуатировать постоянно растущие процессорные мощности. Хотя все еще может поменяться, да и сам кодек, разрабатываемый «по старинке», на базе закрытых лицензионных технологий, может оказаться неконкурентным в новых рыночных условиях.