3D-віртуальні фони для відеодзвінків у реальному часі

3D-віртуальні фони Voxal замінюють кімнату за вашою спиною сценою, яку ваш пристрій малює наживо, з освітленням і тінями, підлаштованими під вас, а не статичним зображенням. У сумісному прямому відеоз'єднанні пристрій співрозмовника може сам намалювати ту саму сцену, тож готовий фон не потрібно передавати як відео.

Далі: що робить ця функція, як вона працює, що вже виміряно, а що ні, та які обмеження варто знати, перш ніж на неї покладатися.

Знайомтеся з Voxal: push-to-talk без зайвих клопотів

Voxal — це застосунок push-to-talk (рація: натисни й говори), побудований на простому принципі: розмови мають легко починатися, працювати на різних платформах і обходитися без зайвої інфраструктури. Створити голосову кімнату чи приєднатися до неї можна без облікового запису, а вебзастосунок не потребує встановлення. Також є застосунки для комп'ютера й мобільних пристроїв, із шумозаглушенням, керуванням мікрофоном, режимом без рук, відео та демонстрацією екрана.

Відкрийте кімнату, приєднайтеся до друзів або колег і тримайте кнопку, коли хочете говорити. Віддаєте перевагу режиму без рук? Він теж доступний.

Голос завжди передається напряму між пристроями (peer-to-peer). Voxal не пропускає ваш голос через медіасервер.

Відео й демонстрація екрана працюють окремо. Вони можуть використовувати прямі з'єднання або, у більших кімнатах і залежно від ваших налаштувань, необов'язковий відеорелей. Голос у будь-якому разі залишається peer-to-peer.

Саме ця легкість робить Voxal цікавим: він не намагається перетворити кожну розмову на важку нараду. А коли ви вмикаєте камеру, фон більше не мусить бути другорядною деталлю.

Фон, що більше за зображення

Більшість віртуальних фонів роблять за одним рецептом. Програма знаходить людину перед камерою, відокремлює її від кімнати й поєднує зі статичним зображенням або відео.

Voxal також підтримує звичні варіанти. Можна залишити камеру без змін, розмити фон або обрати власне зображення.

Анімовані фони працюють інакше. Замість того щоб відтворювати заздалегідь відрендерене відео, Voxal будує тривимірну сцену й рендерить її в реальному часі на вашому пристрої. Сцена — це геометрія, матеріали, світло й анімація, а не фільм, що йде за вашою спиною.

У Voxal є шість вбудованих сцен:

• Office: студія копенгагенського архітектора жовтневого ранку, з низьким сонцем крізь високе вікно.
• Island: затінений настил бунгало над водою на лагуні, з бірюзовим мілководдям і похилою пальмою.
• Cyber café: інтернет-кафе 90-х, перетворене на еспресо-бар у Лісабоні, з азулежу та старими терміналами.
• Mountain: скляне озеро під вапняковими шпилями, із золотими модринами та туманом над дальньою водою.
• Countryside: золота пшениця на пагорбах Тоскани червневого вечора.
• Neon rain: пентхаус високо над портовим містом уночі, з дощем на склі та підлогою, відполірованою до дзеркального блиску.

Кожну сцену малює графічне обладнання вашого пристрою. Застосунку не потрібно постачати для них фонові зображення чи відео.

Це змінює не лише вигляд. Оскільки сцена генерується, а не відтворюється, її можна освітити заново, вона може відкидати вашу тінь і реагувати на рух. На телефоні сцена злегка повертається, коли ви нахиляєте пристрій.

Фон реагує на вас

Переконливий віртуальний простір має не просто гарно виглядати. Він має створювати відчуття, що ви в ньому на своєму місці.

Конвеєр Voxal використовує локальну сегментацію людини, щоб відокремити вас від зображення з камери. Потім він поєднує ваш силует із відрендереною 3D-сценою.

Він також оцінює світло, що падає на вас, і використовує його для налаштування експозиції, кольорового відтінку й напрямку світла у сцені. Мета — одна цілісна картинка: ви й довкілля маєте схожий настрій освітлення, а не виглядаєте як два непов'язані шари.

Ваш силует також відкидає м'яку тінь на сцену, що допомагає відчути себе частиною простору.

За бажання освітлення можна обрати самостійно. Серед варіантів — фіксована пора доби (ранок, полудень, після обіду, вечір або ніч), місцевий час або тема вашого екрана.

Принесіть власний світ

Вбудовані сцени — лише початок. У Налаштування → Відео → Фон можна додати:

• Панораму 360°. Підійде будь-яке еквіректангулярне фото, наприклад з панорамного режиму телефона чи з камери 360°. Ви опиняєтеся всередині неї, і вона обертається, коли ви перетягуєте попередній перегляд або повертаєте телефон.
• 3D-модель у файлі .glb (двійкова форма glTF), наприклад експортовану з Blender. Voxal використовує власну камеру, світло й анімації моделі.

Власні сцени зберігаються локально на вашому пристрої, а не завантажуються на сервер, і ви можете мати до 12 таких сцен.

Розумна частина: друзі можуть відрендерити ваш фон

У звичайному відеодзвінку відправник надсилає готову картинку: ви, фон і все інше, об'єднане в одному кадрі.

Для вбудованих сцен Voxal має іншу можливість. Коли ввімкнено Let others draw my scene і сумісний учасник підключений до вас напряму, він отримує вас на однорідному зеленому тлі замість готової картинки. Його пристрій знаходить невеликі кутові маркери в кадрі, вирізає вас і малює за вашою спиною відповідну сцену.

По суті, два пристрої незалежно малюють один і той самий світ.

Цей параметр увімкнено за замовчуванням, а вимкнути його можна в Налаштування → Відео. Він діє, лише коли ви обрали анімовану сцену й підключено сумісного співрозмовника.

Чому це важливо? Однорідне поле кольору для відеокодера набагато дешевше, ніж деталізована анімована сцена. А сама сцена не мусить передаватися мережею, адже вона будується з кількох чисел: яка сцена, наскільки яскрава і звідки йде світло.

Що виміряно, а що ні

У контрольованих офлайн-тестах (VP9 із фіксованою якістю, 1280 × 720, 30 кадрів на секунду, із рухомим тестовим об'єктом) композит на вбудованих сценах коштував приблизно 130–287 кбіт/с, а людина на однорідному зеленому тлі — приблизно 96 кбіт/с. Це на 26–67% менше бітів за тієї самої якості.

Читайте ці цифри з урахуванням обмежень:

• Вони отримані з офлайн-тестів із тестовим об'єктом, а не з реальних дзвінків.
• Реальний дзвінок не працює з фіксованою якістю. Його кодер витрачає той ліміт бітрейту, який йому дано. У реальному дзвінку перевага — це нижчий ліміт бітрейту для відправника, і це ще не виміряно на реальному дзвінку.
• Економія залежить від сцени, кодера, з'єднання та задіяних пристроїв.

Є також обмеження щодо того, коли це працює:

• Потрібне пряме (peer-to-peer) відеоз'єднання (див. що означає peer-to-peer). За типової маршрутизації це означає кімнати на двох людей. Коли відео йде через релей (SFU), релей завжди отримує готову картинку.
• Пристрій-отримувач має вміти малювати сцену: потрібні WebGL2, рушій на основі Chromium і апаратний GPU. Якщо ні, відправник і далі надсилає звичайне готове відео.
• Якщо щось іде не так, наприклад голова закриває маркер, Voxal також повертається до звичайного відео.
• Це не стосується ваших власних сцен, адже ніхто інший не має вашого файлу.

Ми не робимо жодних тверджень про пропускну здатність порівняно з іншими продуктами, бо нічого не вимірювали.

Створено, щоб лишатися локальним

Обробка зображення для вашого фону відбувається на вашому пристрої. Невелика модель машинного навчання працює локально через WebAssembly, щоб знайти вас у відео з камери. Фон малюється й поєднується з вами до того, як відео буде надіслано. Жоден кадр з камери не надсилається на сервер для обчислення фону.

Ваші власні панорами та файли .glb залишаються в локальному сховищі пристрою. Вони не завантажуються й не передаються іншим пристроям.

Користуватися цим узагалі не обов'язково. Якщо фон встановлено на None, Voxal надсилає необроблений потік камери й зовсім не запускає конвеєр фону.

Одну відмінність варто пояснити чітко. Голос завжди залишається peer-to-peer. Відео з камери має власні варіанти маршрутизації і в більших кімнатах може проходити через необов'язковий релей. Релей технічно може бачити відео, яке пересилає. Ця стаття описує, як побудовано функцію. Це не обіцянка абсолютної приватності, а люди у вашому дзвінку все одно бачать ваше відео.

Для розробників: сцени — це маленькі програми

Вбудована сцена — це один невеликий модуль у репозиторії Voxal. Сцени мають бути детермінованими (керованими часом і випадковою функцією із зерном), щоб інший пристрій міг відтворити точно той самий світ за назвою та кількома числами. Документація рушія сцен пояснює формат модуля, а власні сцени описують файли, які ви можете принести самі.

Для користувачів це означає більше способів персоналізувати дзвінок. Для розробників — що фон може бути невеликою відтворюваною програмою, а не великим медіафайлом.

Спробуйте Voxal

Можна використати просте розмиття, обрати анімовану 3D-сцену, завантажити зображення, дослідити панораму 360° або спробувати власну 3D-модель.

Віртуальний фон не мусить бути статичною картинкою за спиною. Він може бути світом, який ваш пристрій створює, освітлює й анімує в реальному часі, а коли умови дозволяють — світом, який створює і людина на іншому кінці.

• Спробуйте Voxal у браузері
• Дізнайтеся, як працює Voxal
• Перегляньте проєкт із відкритим кодом на GitHub

Voxal — відкритий код за ліцензією MIT. Функції та підтримка платформ можуть відрізнятися залежно від пристрою та з'єднання.