Виртуальные 3D-фоны для видеозвонков

Виртуальные 3D-фоны Voxal заменяют комнату за вашей спиной сценой, которую ваше устройство рисует вживую, с освещением и тенями, подогнанными под вас, а не статичной картинкой. При совместимом прямом видеосоединении устройство собеседника может нарисовать ту же сцену само, поэтому готовый фон не нужно передавать как видео.

Дальше: что делает эта функция, как она работает, что измерялось и что нет, и какие ограничения стоит знать, прежде чем на неё полагаться.

Знакомство с Voxal: push-to-talk без лишней нагрузки

Voxal — это приложение push-to-talk (связь по нажатию кнопки), построенное на простом принципе: разговор должен легко начинаться, работать на разных платформах и обходиться без лишней инфраструктуры. Создать голосовую комнату или войти в неё можно без аккаунта, а веб-приложение не требует установки. У Voxal есть также приложения для компьютера и телефона, с шумоподавлением, управлением микрофоном, режимом «свободные руки», видео и показом экрана.

Откройте комнату, присоединяйтесь к друзьям или коллегам и удерживайте кнопку, когда хотите сказать. Предпочитаете без рук? Это тоже возможно.

Голосовой звук всегда идёт напрямую между участниками (peer-to-peer). Voxal не пропускает ваш голос через медиасервер.

Видео и показ экрана устроены отдельно. Они могут использовать прямые соединения или, в больших комнатах, в зависимости от настроек, необязательный видеоретранслятор. Голос в любом случае остаётся peer-to-peer.

Такой лёгкий подход — часть того, что делает Voxal интересным: он не пытается превратить каждый разговор в тяжеловесное совещание. А когда вы включаете камеру, фон больше не обязан быть второстепенной деталью.

Фон, который больше чем картинка

Большинство виртуальных фонов делаются по одному рецепту. Программа находит человека перед камерой, отделяет его от комнаты и совмещает со статичным изображением или видео.

Voxal поддерживает и привычные варианты. Можно оставить камеру как есть, размыть фон или выбрать собственное изображение.

Анимированные фоны работают иначе. Вместо воспроизведения заранее отрендеренного видео Voxal строит трёхмерную сцену и рендерит её в реальном времени на вашем устройстве. Сцена состоит из геометрии, материалов, света и анимации, а не из фильма, который идёт у вас за спиной.

В Voxal шесть встроенных сцен:

Office: студия архитектора в Копенгагене октябрьским утром, низкое солнце сквозь высокое окно.
Island: тенистая терраса бунгало над водой на лагуне, с бирюзовой мелью и наклонённой пальмой.
Cyber café: интернет-кафе 90-х, превращённое в эспрессо-бар в Лиссабоне, с азулежу и старыми терминалами.
Mountain: зеркальное озеро под известняковыми пиками, с золотистыми лиственницами и дымкой над дальней водой.
Countryside: золотая пшеница на холмах Тосканы июньским вечером.
Neon rain: пентхаус высоко над портовым городом ночью, с дождём на стекле и зеркально отполированным полом.

Шесть иллюстраций окружений: кабинет архитектора, терраса на тропическом острове, лиссабонское кибер-кафе, альпийское озеро, тосканская сельская местность и городской пентхаус под дождём. — Художественные иллюстрации шести тем сцен, а не скриншоты отрендеренных фонов. Слева направо: Office, Island, Cyber café, Mountain, Countryside и Neon rain.

Каждую сцену рисует графическое оборудование вашего устройства. Приложению не нужно поставлять фоновые картинки или видео.

Это меняет не только внешний вид. Поскольку сцена генерируется, а не воспроизводится, её можно заново осветить, она может отбрасывать вашу тень и реагировать на движение. На телефоне сцена слегка поворачивается, когда вы наклоняете устройство.

Фон реагирует на вас

Убедительное виртуальное пространство должно не только хорошо выглядеть. Оно должно создавать ощущение, что вы в нём на своём месте.

Конвейер Voxal использует локальную сегментацию человека, чтобы отделить вас от изображения с камеры. Затем он совмещает ваш силуэт с отрендеренной 3D-сценой.

Он также оценивает свет, падающий на вас, и по нему настраивает экспозицию, цветовой оттенок и направление света в сцене. Цель — единая картинка: вы и окружение находитесь в похожей световой атмосфере, а не выглядите двумя несвязанными слоями.

Ваш силуэт к тому же отбрасывает на сцену мягкую тень, что помогает почувствовать себя частью пространства.

При желании освещение можно выбрать самому. Среди вариантов — фиксированное время суток (утро, полдень, день, вечер или ночь), местное время или тема вашего экрана.

Принесите свой собственный мир

Встроенные сцены — лишь отправная точка. В разделе Настройки → Видео → Фон можно добавить:

Панораму 360°. Подойдёт любое эквиректангулярное фото, например снятое в режиме панорамы на телефоне или камерой 360°. Вы оказываетесь внутри неё, и она поворачивается, когда вы перетаскиваете предпросмотр или поворачиваете телефон.
3D-модель в виде файла .glb (бинарная форма glTF), например экспортированную из Blender. Voxal использует собственные камеру, источники света и анимации модели.

Пользовательские сцены хранятся локально на вашем устройстве, а не загружаются на сервер, и всего можно сохранить до 12 таких сцен.

Хитрость: друзья могут отрендерить ваш фон

В обычном видеозвонке отправитель передаёт готовую картинку: вы, фон и всё остальное, объединённые в одном кадре.

Для встроенных сцен у Voxal есть другой вариант. Когда включено Let others draw my scene и к вам напрямую подключён совместимый участник, он получает вас на однотонном зелёном поле вместо готовой картинки. Его устройство находит в кадре маленькие угловые маркеры, вырезает вас и рисует за вами соответствующую сцену.

По сути, два устройства независимо рисуют один и тот же мир.

Схема: отправитель передаёт по прямому соединению человека на однотонном зелёном поле и настройки сцены, а получатель локально рендерит фон с островом. — Как работает рендеринг на стороне собеседника на совместимых устройствах при прямом видеосоединении и встроенной сцене.

Эта настройка включена по умолчанию, и её можно отключить в разделе Настройки → Видео. Она срабатывает, только если вы выбрали анимированную сцену и подключён совместимый собеседник.

Почему это важно? Однотонное цветовое поле обходится видеокодеку гораздо дешевле, чем детализированная анимированная сцена. А сама сцена не должна проходить по сети, потому что строится по нескольким числам: какая сцена, какая яркость и откуда идёт свет.

Что измерялось, а что нет

В контролируемых офлайн-тестах (VP9 при фиксированном качестве, 1280 × 720, 30 кадров в секунду, с движущимся условным объектом) композитное изображение со встроенными сценами «стоило» примерно 130–287 кбит/с, а человек на однотонном зелёном фоне — около 96 кбит/с. Это на 26–67 % меньше бит при том же качестве.

Читайте эти цифры с учётом их ограничений:

Они получены в офлайн-тестах с условным объектом, а не в живых звонках.
Реальный звонок идёт не с фиксированным качеством. Его кодек расходует тот битрейт, который ему разрешён. В живом звонке выгода состоит в более низком потолке битрейта для отправителя, и это пока не измерялось на реальном звонке.
Экономия зависит от сцены, кодека, соединения и задействованных устройств.

Есть и ограничения на то, когда это работает:

Нужно прямое (peer-to-peer) видеосоединение (см. что значит peer-to-peer). При маршрутизации по умолчанию это комнаты на двух человек. Когда видео идёт через ретранслятор (SFU), ретранслятор всегда получает готовую картинку.
Принимающее устройство должно уметь рисовать сцену: ему нужны WebGL2, движок на основе Chromium и аппаратный GPU. Если этого нет, отправитель продолжает слать обычное готовое видео.
Если что-то идёт не так, например голова закрывает маркер, Voxal тоже возвращается к обычному видео.
Это не работает для ваших собственных сцен, потому что ни у кого больше нет вашего файла.

Мы не делаем никаких заявлений о пропускной способности по сравнению с другими продуктами, потому что ничего не измеряли.

Задумано так, чтобы всё оставалось локально

Обработка изображения для вашего фона происходит на вашем устройстве. Небольшая модель машинного обучения работает локально через WebAssembly, чтобы найти вас в потоке с камеры. Фон рисуется и совмещается с вами до отправки видео. Ни один кадр с камеры не отправляется на сервер для расчёта фона.

Ваши панорамы и файлы .glb остаются в локальном хранилище устройства. Они не загружаются и не передаются другим устройствам.

Пользоваться всем этим необязательно. Если для фона выбрано None, Voxal отправляет исходный поток с камеры и вообще не запускает конвейер фона.

Стоит чётко указать одно различие. Голосовой звук всегда остаётся peer-to-peer. У видео с камеры свои варианты маршрутизации, и в больших комнатах оно может проходить через необязательный ретранслятор. Ретранслятор технически может видеть видео, которое пересылает. Эта статья описывает, как устроена функция. Это не обещание абсолютной приватности, а люди в вашем звонке по-прежнему видят ваше видео.

Для разработчиков: сцены — это небольшие программы

Встроенная сцена — это один небольшой модуль в репозитории Voxal. Сцены должны быть детерминированными (зависеть от времени и генератора случайных чисел с фиксированным seed), чтобы другое устройство могло восстановить точно тот же мир по названию и нескольким числам. Документация по движку сцен описывает формат модулей, а раздел о пользовательских сценах рассказывает о файлах, которые можно принести самому.

Для пользователей это значит больше способов персонализировать звонок. Для разработчиков — что фон может быть небольшой воспроизводимой программой, а не большим медиафайлом.

Попробуйте Voxal

Можно использовать простое размытие, выбрать анимированную 3D-сцену, загрузить изображение, изучить панораму 360° или попробовать собственную 3D-модель.

Виртуальный фон не обязан быть статичной картинкой за спиной. Это может быть мир, который ваше устройство создаёт, освещает и анимирует в реальном времени, а когда условия позволяют, — мир, который создаёт и собеседник на другом конце.

Voxal — проект с открытым исходным кодом под лицензией MIT. Возможности и поддержка платформ могут различаться в зависимости от устройства и соединения.