Fondos virtuales 3D para videollamadas

Los fondos virtuales 3D de Voxal sustituyen la habitación que tienes detrás por una escena que tu dispositivo dibuja en directo, iluminada y sombreada para encajar contigo, en lugar de una imagen fija. En una conexión de vídeo directa compatible, el dispositivo de la otra persona puede dibujar la misma escena por su cuenta, de modo que el fondo terminado no tiene que enviarse como vídeo.

A continuación: qué hace esta función, cómo funciona, qué se ha medido y qué no, y los límites que conviene conocer antes de depender de ella.

Conoce Voxal: push-to-talk sin complicaciones

Voxal es una aplicación de push-to-talk (pulsar para hablar) basada en un principio sencillo: las conversaciones deben ser fáciles de iniciar, funcionar en todas las plataformas y evitar infraestructura innecesaria. Puedes crear una sala de voz o unirte a una sin cuenta, y la aplicación web no necesita instalación. Voxal también tiene aplicaciones de escritorio y móvil, con supresión de ruido, controles del micrófono, modo manos libres, vídeo y uso compartido de pantalla.

Abre una sala, únete a tus amigos o compañeros y mantén pulsado para hablar cuando quieras intervenir. ¿Prefieres manos libres? También está disponible.

El audio de voz es siempre de igual a igual (peer-to-peer). Voxal no hace pasar tu voz por un servidor multimedia.

El vídeo y el uso compartido de pantalla son aparte. Pueden usar conexiones directas o, en salas más grandes según tus ajustes, un relé de vídeo opcional. En ambos casos, la voz sigue siendo de igual a igual.

Este enfoque ligero es parte de lo que hace interesante a Voxal: no intenta convertir cada conversación en una reunión pesada. Y cuando enciendes la cámara, tu fondo ya no tiene por qué ser un detalle descuidado.

Un fondo que es más que una imagen

La mayoría de los fondos virtuales siguen la misma receta. Un software localiza a la persona frente a la cámara, la separa de la habitación y la combina con una imagen fija o un vídeo.

Voxal también admite las opciones habituales. Puedes dejar la cámara tal cual, desenfocar el fondo o elegir tu propia imagen.

Los fondos animados funcionan de otra manera. En lugar de reproducir un vídeo ya renderizado, Voxal construye una escena tridimensional y la renderiza en tiempo real en tu dispositivo. La escena está hecha de geometría, materiales, luz y animación, no de una película que se reproduce a tus espaldas.

Voxal incluye seis escenas integradas:

Office: el estudio de un arquitecto de Copenhague en una mañana de octubre, con sol bajo a través de un gran ventanal.
Island: la terraza sombreada de un bungaló sobre el agua en una laguna, con aguas poco profundas de color turquesa y una palmera inclinada.
Cyber café: un cibercafé de los noventa convertido en cafetería de espresso en Lisboa, con azulejos y terminales antiguos.
Mountain: un lago como un espejo bajo agujas de roca caliza, con alerces dorados y bruma sobre el agua lejana.
Countryside: trigo dorado sobre las colinas ondulantes de la Toscana en una tarde de junio.
Neon rain: un ático muy por encima de una ciudad portuaria de noche, con lluvia en el cristal y un suelo pulido como un espejo.

Seis entornos ilustrados: la oficina de un arquitecto, la terraza de una isla tropical, un cibercafé de Lisboa, un lago alpino, el campo toscano y un ático urbano bajo la lluvia. — Recreaciones artísticas de los seis temas de escena, no capturas de pantalla de los fondos renderizados. De izquierda a derecha: Office, Island, Cyber café, Mountain, Countryside y Neon rain.

Cada escena la dibuja el hardware gráfico de tu dispositivo. La aplicación no necesita incluir imágenes ni vídeos de fondo.

Eso cambia mucho más que el aspecto. Como la escena se genera en lugar de reproducirse, se puede reiluminar, puede proyectar tu sombra y puede responder al movimiento. En un teléfono, la escena gira ligeramente cuando lo inclinas.

Tu fondo responde a ti

Un espacio virtual convincente tiene que hacer algo más que verse bien. Debe dar la sensación de que perteneces a él.

El pipeline de Voxal usa segmentación local de personas para separarte de la imagen de la cámara. Después combina tu silueta con la escena 3D renderizada.

También estima la luz que incide sobre ti y la usa para ajustar la exposición, el tono de color y la dirección de la luz de la escena. El objetivo es una imagen coherente: tú y el entorno compartís un ambiente de iluminación parecido, en lugar de parecer dos capas sin relación.

Tu silueta además proyecta una sombra suave sobre la escena, lo que ayuda a sentirte parte del espacio.

Si lo prefieres, puedes elegir tú mismo la iluminación. Entre las opciones hay una hora del día fija (mañana, mediodía, tarde, atardecer o noche), el reloj local o el tema de tu pantalla.

Trae tu propio mundo

Las escenas integradas son solo el punto de partida. En Ajustes → Vídeo → Fondo puedes añadir:

Un panorama de 360°. Sirve cualquier foto equirrectangular, por ejemplo del modo panorámico de un teléfono o de una cámara de 360°. Te colocas dentro y gira cuando arrastras la vista previa o giras el teléfono.
Un modelo 3D como archivo .glb (la forma binaria de glTF), por ejemplo exportado desde Blender. Voxal usa la cámara, las luces y las animaciones del propio modelo.

Las escenas personalizadas se guardan localmente en tu dispositivo, no se suben a ningún servidor, y puedes conservar hasta 12.

Lo ingenioso: tus amigos pueden renderizar tu fondo

En una videollamada convencional, quien envía manda la imagen terminada: tú, el fondo y todo lo demás combinados en un solo fotograma.

Voxal ofrece otra opción para sus escenas integradas. Cuando Let others draw my scene está activado y un participante compatible está conectado directamente contigo, esa persona te recibe sobre un campo verde liso en lugar de la imagen terminada. Su dispositivo localiza los pequeños marcadores de las esquinas del fotograma, te recorta y dibuja detrás de ti la escena correspondiente.

En la práctica, dos dispositivos dibujan de forma independiente el mismo mundo.

Diagrama que muestra a un emisor que transmite a una persona sobre un campo verde liso, junto con los ajustes de la escena, a través de una conexión directa, mientras el receptor renderiza localmente el fondo de isla. — Cómo funciona el renderizado entre pares en dispositivos compatibles con una conexión de vídeo directa y una escena integrada.

El ajuste está activado por defecto y puedes desactivarlo en Ajustes → Vídeo. Solo actúa cuando has elegido una escena animada y hay un par compatible conectado.

¿Por qué importa? Un campo de color liso es mucho más barato para un codificador de vídeo que una escena detallada y animada. Y la escena en sí no tiene que viajar por la red, porque se construye a partir de unos pocos valores: qué escena, cuánto brillo y de dónde viene la luz.

Qué se ha medido y qué no

En pruebas controladas sin conexión (VP9 con calidad fija, 1280 × 720, 30 fotogramas por segundo, con un sujeto sustituto en movimiento), la imagen compuesta sobre las escenas integradas costó entre 130 y 287 kb/s, y la persona sobre verde liso unos 96 kb/s. Eso supone entre un 26 % y un 67 % menos de bits con la misma calidad.

Lee esas cifras teniendo presentes sus límites:

Proceden de pruebas sin conexión con un sujeto sustituto, no de llamadas reales.
Una llamada real no funciona con calidad fija. Su codificador gasta el bitrate que se le concede. En una llamada en vivo, la ventaja es un límite de bitrate más bajo para quien envía, y eso todavía no se ha medido en una llamada real.
El ahorro depende de la escena, el codificador, la conexión y los dispositivos implicados.

También hay límites sobre cuándo funciona:

Necesita una conexión de vídeo directa (peer-to-peer) (consulta qué significa peer-to-peer). Con el enrutamiento predeterminado, eso equivale a salas de dos personas. Cuando el vídeo pasa por el relé (un SFU), el relé siempre recibe la imagen terminada.
El dispositivo receptor debe poder dibujar la escena: necesita WebGL2, un motor basado en Chromium y una GPU de hardware. Si no puede, quien envía sigue mandando el vídeo terminado normal.
Si algo sale mal, como una cabeza que tapa un marcador, Voxal también vuelve al vídeo normal.
No se aplica a tus propias escenas personalizadas, porque nadie más tiene tu archivo.

No afirmamos nada sobre el ancho de banda frente a otros productos, porque no hemos medido ninguno.

Diseñado para quedarse en local

El procesamiento de imagen de tu fondo ocurre en tu dispositivo. Un pequeño modelo de aprendizaje automático se ejecuta localmente mediante WebAssembly para localizarte en la señal de la cámara. El fondo se dibuja y se combina contigo antes de enviar el vídeo. Ningún fotograma de la cámara se envía a un servidor para calcular el fondo.

Tus panoramas y archivos .glb personalizados permanecen en el almacenamiento local de tu dispositivo. No se suben ni se comparten con otros dispositivos.

No tienes que usar nada de esto. Con el fondo en None, Voxal envía la señal bruta de la cámara y no ejecuta el pipeline de fondos en absoluto.

Conviene aclarar una distinción. El audio de voz siempre es de igual a igual. El vídeo de la cámara tiene sus propias opciones de enrutamiento y puede pasar por un relé opcional en salas más grandes. Un relé técnicamente puede ver el vídeo que reenvía. Este artículo describe cómo está construida la función. No es una promesa de privacidad absoluta, y las personas de tu llamada siguen viendo tu vídeo.

Para desarrolladores: las escenas son pequeños programas

Una escena integrada es un pequeño módulo del repositorio de Voxal. Las escenas deben ser deterministas (dirigidas por el tiempo y una función aleatoria con semilla), de modo que otro dispositivo pueda reconstruir exactamente el mismo mundo a partir de su nombre y unos pocos valores. La documentación del motor de escenas explica el formato de los módulos, y las escenas personalizadas cubren los archivos que puedes aportar tú mismo.

Para los usuarios, eso significa más formas de personalizar una llamada. Para los desarrolladores, significa que un fondo puede ser un programa pequeño y reproducible en lugar de un archivo multimedia grande.

Prueba Voxal

Puedes usar un simple desenfoque, elegir una escena 3D animada, subir una imagen, explorar un panorama de 360° o probar tu propio modelo 3D.

Un fondo virtual no tiene por qué ser una imagen estática a tu espalda. Puede ser un mundo que tu dispositivo crea, ilumina y anima en tiempo real y, cuando las condiciones lo permiten, un mundo que también crea la persona al otro lado.

Voxal es de código abierto bajo la licencia MIT. Las funciones y la compatibilidad con plataformas pueden variar según el dispositivo y la conexión.