Arrière-plans virtuels 3D pour appels vidéo

Les arrière-plans virtuels 3D de Voxal remplacent la pièce derrière vous par une scène que votre appareil dessine en direct, éclairée et ombrée pour s'accorder à vous, au lieu d'une simple image fixe. Sur une connexion vidéo directe compatible, l'appareil de votre interlocuteur peut dessiner lui-même la même scène : l'arrière-plan terminé n'a donc pas besoin d'être transmis sous forme de vidéo.

Au programme : ce que fait cette fonctionnalité, comment elle fonctionne, ce qui a été mesuré ou non, et les limites à connaître avant de vous y fier.

Découvrir Voxal : le push-to-talk sans la lourdeur

Voxal est une application de push-to-talk (talkie-walkie numérique) fondée sur un principe simple : les conversations doivent être faciles à lancer, fonctionner sur toutes les plateformes et éviter toute infrastructure superflue. Vous pouvez créer ou rejoindre un salon vocal sans compte, et l'application web ne demande aucune installation. Voxal propose aussi des applications de bureau et mobiles, avec suppression du bruit, réglages du micro, mode mains libres, vidéo et partage d'écran.

Ouvrez un salon, retrouvez vos amis ou vos collègues, et maintenez la touche enfoncée pour parler. Vous préférez les mains libres ? C'est possible aussi.

L'audio de la voix est toujours en pair à pair. Voxal ne fait pas transiter votre voix par un serveur multimédia.

La vidéo et le partage d'écran sont distincts. Ils peuvent passer par des connexions directes ou, dans les salons plus grands selon vos réglages, par un relais vidéo facultatif. Dans les deux cas, la voix reste en pair à pair.

Cette approche légère fait en partie l'intérêt de Voxal : il ne cherche pas à transformer chaque conversation en réunion pesante. Et quand vous activez votre caméra, votre arrière-plan n'a plus à être un détail négligé.

Un arrière-plan qui n'est pas qu'une image

La plupart des arrière-plans virtuels suivent la même recette. Un logiciel repère la personne devant la caméra, la sépare de la pièce, puis la combine avec une image fixe ou une vidéo.

Voxal prend aussi en charge les options habituelles. Vous pouvez laisser votre caméra telle quelle, flouter l'arrière-plan ou choisir votre propre image.

Les arrière-plans animés fonctionnent différemment. Au lieu de lire une vidéo pré-calculée, Voxal construit une scène tridimensionnelle et la rend en temps réel sur votre appareil. La scène est faite de géométrie, de matériaux, de lumière et d'animation, pas d'un film qui défile derrière vous.

Voxal propose six scènes intégrées :

Office : l'atelier d'un architecte de Copenhague par un matin d'octobre, avec un soleil bas à travers une grande fenêtre.
Island : la terrasse ombragée d'un bungalow sur pilotis au bord d'un lagon, avec des eaux turquoise peu profondes et un palmier penché.
Cyber café : un cybercafé des années 90 reconverti en bar à espresso à Lisbonne, avec des azulejos et de vieux terminaux.
Mountain : un lac lisse comme un miroir sous des aiguilles calcaires, avec des mélèzes dorés et de la brume sur l'eau lointaine.
Countryside : des blés dorés sur les collines vallonnées de la Toscane, un soir de juin.
Neon rain : un penthouse perché au-dessus d'une ville portuaire la nuit, avec de la pluie sur la vitre et un sol poli comme un miroir.

Six environnements illustrés : un bureau d'architecte, une terrasse sur une île tropicale, un cyber café lisboète, un lac alpin, la campagne toscane et un penthouse urbain sous la pluie. — Illustrations d'artiste des six thèmes de scène, et non des captures d'écran des arrière-plans rendus. De gauche à droite : Office, Island, Cyber café, Mountain, Countryside et Neon rain.

Chaque scène est dessinée par le matériel graphique de votre appareil. L'application n'a pas besoin d'embarquer d'images ni de vidéos d'arrière-plan.

Cela change bien plus que l'apparence. Comme la scène est générée plutôt que lue, elle peut être rééclairée, porter votre ombre et réagir aux mouvements. Sur un téléphone, la scène pivote légèrement quand vous inclinez l'appareil.

Votre arrière-plan réagit à vous

Un espace virtuel convaincant ne doit pas seulement être beau. Il doit donner l'impression que vous y avez votre place.

Le pipeline de Voxal utilise une segmentation locale de la personne pour vous séparer de l'image de la caméra. Il combine ensuite votre silhouette avec la scène 3D rendue.

Il estime aussi la lumière qui tombe sur vous et s'en sert pour régler l'exposition, la teinte et la direction de la lumière de la scène. L'objectif est une image cohérente : vous et l'environnement partagez une ambiance lumineuse proche, au lieu de ressembler à deux couches sans rapport.

Votre silhouette projette en outre une ombre douce sur la scène, ce qui aide à vous sentir intégré à l'espace.

Si vous préférez, vous pouvez choisir l'éclairage vous-même. Les options comprennent un moment fixe de la journée (matin, midi, après-midi, soir ou nuit), l'heure locale ou le thème de votre écran.

Apportez votre propre monde

Les scènes intégrées ne sont qu'un point de départ. Dans Paramètres → Vidéo → Arrière-plan, vous pouvez ajouter :

Un panorama à 360°. Toute photo équirectangulaire convient, par exemple prise avec le mode panorama d'un téléphone ou une caméra 360°. Vous vous tenez à l'intérieur, et elle tourne quand vous faites glisser l'aperçu ou pivotez votre téléphone.
Un modèle 3D sous forme de fichier .glb (la version binaire de glTF), par exemple exporté depuis Blender. Voxal utilise la caméra, les lumières et les animations propres au modèle.

Les scènes personnalisées sont stockées localement sur votre appareil, et non envoyées vers un serveur. Vous pouvez en conserver jusqu'à 12.

L'astuce : vos amis peuvent rendre votre arrière-plan

Dans un appel vidéo classique, l'émetteur envoie l'image finale : vous, l'arrière-plan et tout le reste réunis dans une seule image.

Voxal propose une autre option pour ses scènes intégrées. Lorsque Let others draw my scene est activé et qu'un participant compatible est connecté directement à vous, il vous reçoit sur un fond vert uni au lieu de l'image finale. Son appareil repère les petits repères d'angle dans l'image, vous détoure et dessine la scène correspondante derrière vous.

En pratique, deux appareils dessinent chacun de leur côté le même monde.

Schéma montrant un émetteur qui transmet une personne sur fond vert uni, avec les réglages de la scène, via une connexion directe, tandis que le récepteur rend localement l'arrière-plan d'île. — Comment fonctionne le rendu côté pair pour les appareils compatibles, avec une connexion vidéo directe et une scène intégrée.

Ce réglage est activé par défaut, et vous pouvez le désactiver dans Paramètres → Vidéo. Il n'agit que si vous avez choisi une scène animée et qu'un pair compatible est connecté.

Pourquoi est-ce important ? Un aplat de couleur coûte beaucoup moins cher à un encodeur vidéo qu'une scène détaillée et animée. Et la scène elle-même n'a pas à traverser le réseau, puisqu'elle se construit à partir de quelques valeurs : quelle scène, quelle luminosité et d'où vient la lumière.

Ce qui a été mesuré, et ce qui ne l'a pas été

Lors de tests hors ligne contrôlés (VP9 à qualité fixe, 1280 × 720, 30 images par seconde, avec un sujet factice en mouvement), l'image composite sur les scènes intégrées a coûté environ 130 à 287 kb/s, et la personne sur fond vert uni environ 96 kb/s. Cela représente 26 à 67 % de bits en moins pour une qualité identique.

Lisez ces chiffres en gardant leurs limites à l'esprit :

Ils proviennent de tests hors ligne avec un sujet factice, et non d'appels réels.
Un appel réel ne fonctionne pas à qualité fixe. Son encodeur dépense tout le débit qu'on lui accorde. Dans un appel en direct, l'avantage est un plafond de débit plus bas pour l'émetteur, et cela n'a pas encore été mesuré sur un appel réel.
Les économies dépendent de la scène, de l'encodeur, de la connexion et des appareils concernés.

Il existe aussi des limites quant aux cas où cela fonctionne :

Il faut une connexion vidéo directe (pair à pair) (voir ce que signifie pair à pair). Avec le routage par défaut, cela correspond aux salons de deux personnes. Lorsque la vidéo passe par le relais (un SFU), le relais reçoit toujours l'image finale.
L'appareil récepteur doit pouvoir dessiner la scène : il lui faut WebGL2, un moteur basé sur Chromium et un GPU matériel. S'il en est incapable, l'émetteur continue d'envoyer la vidéo finale habituelle.
Si un problème survient, par exemple une tête qui masque un repère, Voxal revient aussi à la vidéo normale.
Cela ne s'applique pas à vos propres scènes personnalisées, car personne d'autre n'a votre fichier.

Nous ne prétendons rien sur la bande passante par rapport à d'autres produits, car nous n'en avons mesuré aucun.

Conçu pour rester en local

Le traitement d'image de votre arrière-plan se fait sur votre appareil. Un petit modèle d'apprentissage automatique s'exécute localement via WebAssembly pour vous repérer dans le flux de la caméra. L'arrière-plan est dessiné et combiné avec vous avant l'envoi de la vidéo. Aucune image de la caméra n'est envoyée à un serveur pour calculer l'arrière-plan.

Vos panoramas et fichiers .glb personnalisés restent dans le stockage local de votre appareil. Ils ne sont pas envoyés et ne sont pas partagés avec d'autres appareils.

Rien de tout cela n'est obligatoire. Avec l'arrière-plan réglé sur None, Voxal envoie le flux brut de la caméra et n'exécute pas du tout le pipeline d'arrière-plan.

Une distinction mérite d'être précisée. L'audio de la voix reste toujours en pair à pair. La vidéo de la caméra a ses propres options de routage et peut passer par un relais facultatif dans les salons plus grands. Un relais peut techniquement voir la vidéo qu'il transmet. Cet article décrit la façon dont la fonctionnalité est construite. Ce n'est pas une promesse de confidentialité absolue, et les personnes présentes dans votre appel voient bien votre vidéo.

Pour les développeurs : les scènes sont de petits programmes

Une scène intégrée est un petit module du dépôt Voxal. Les scènes doivent être déterministes (pilotées par le temps et une fonction aléatoire à graine), afin qu'un autre appareil puisse reconstruire exactement le même monde à partir de son nom et de quelques valeurs. La documentation du moteur de scènes explique le format des modules, et les scènes personnalisées couvrent les fichiers que vous pouvez apporter vous-même.

Pour les utilisateurs, cela signifie plus de façons de personnaliser un appel. Pour les développeurs, cela signifie qu'un arrière-plan peut être un petit programme reproductible plutôt qu'un gros fichier multimédia.

Essayer Voxal

Vous pouvez utiliser un simple flou, choisir une scène 3D animée, importer une image, explorer un panorama à 360° ou essayer votre propre modèle 3D.

Un arrière-plan virtuel n'a pas à être une image statique derrière vous. Il peut être un monde que votre appareil crée, éclaire et anime en temps réel, et, quand les conditions le permettent, un monde que la personne à l'autre bout crée aussi.

Voxal est open source sous licence MIT. Les fonctionnalités et la prise en charge des plateformes peuvent varier selon l'appareil et la connexion.