Fundos virtuais 3D para chamadas de vídeo

Os fundos virtuais 3D do Voxal substituem o cômodo atrás de você por uma cena que o seu dispositivo desenha ao vivo, com luz e sombra ajustadas a você, em vez de uma imagem estática. Em uma conexão de vídeo direta compatível, o dispositivo da outra pessoa pode desenhar a mesma cena por conta própria, então o fundo pronto não precisa ser enviado como vídeo.

A seguir: o que o recurso faz, como funciona, o que foi e o que não foi medido, e os limites que vale conhecer antes de depender dele.

Conheça o Voxal: push-to-talk sem complicação

O Voxal é um app de push-to-talk (apertar para falar) construído em torno de um princípio simples: conversas devem ser fáceis de começar, funcionar em várias plataformas e evitar infraestrutura desnecessária. Você pode criar ou entrar em uma sala de voz sem conta, e o app web não precisa de instalação. O Voxal também tem apps para desktop e celular, com supressão de ruído, controles de microfone, modo mãos livres, vídeo e compartilhamento de tela.

Abra uma sala, entre com amigos ou colegas de equipe e mantenha o botão pressionado quando quiser falar. Prefere mãos livres? Também está disponível.

O áudio de voz é sempre ponto a ponto (peer-to-peer). O Voxal não passa a sua voz por um servidor de mídia.

Vídeo e compartilhamento de tela são separados. Eles podem usar conexões diretas ou, em salas maiores, dependendo das suas configurações, um relay de vídeo opcional. A voz continua ponto a ponto de qualquer forma.

Essa abordagem leve é parte do que torna o Voxal interessante: ele não tenta transformar toda conversa em uma reunião pesada. E, quando você liga a câmera, o seu fundo não precisa mais ser um detalhe esquecido.

Um fundo que é mais do que uma imagem

A maioria dos fundos virtuais segue a mesma receita. Um software encontra a pessoa diante da câmera, separa-a do ambiente e a combina com uma imagem estática ou um vídeo.

O Voxal também oferece as opções conhecidas. Você pode deixar a câmera como está, desfocar o fundo ou escolher sua própria imagem.

Os fundos animados funcionam de outra forma. Em vez de reproduzir um vídeo pré-renderizado, o Voxal monta uma cena tridimensional e a renderiza em tempo real no seu dispositivo. A cena é feita de geometria, materiais, luz e animação, não de um filme passando atrás de você.

O Voxal tem seis cenas integradas:

Office: o estúdio de um arquiteto em Copenhague numa manhã de outubro, com sol baixo entrando por uma janela alta.
Island: o deck sombreado de um bangalô sobre a água numa lagoa, com águas rasas turquesa e uma palmeira inclinada.
Cyber café: um cibercafé dos anos 90 transformado em cafeteria de espresso em Lisboa, com azulejos e terminais antigos.
Mountain: um lago cristalino sob agulhas de calcário, com lariços dourados e névoa na água ao longe.
Countryside: trigo dourado em colinas ondulantes da Toscana numa tarde de junho.
Neon rain: uma cobertura no alto de uma cidade portuária à noite, com chuva no vidro e um piso polido como espelho.

Seis ambientes ilustrados: um escritório de arquiteto, um deck de ilha tropical, um cibercafé de Lisboa, um lago alpino, o campo da Toscana e uma cobertura urbana com chuva. — Representações artísticas dos seis temas de cena, não capturas de tela dos fundos renderizados. Da esquerda para a direita: Office, Island, Cyber café, Mountain, Countryside e Neon rain.

Cada cena é desenhada pelo hardware gráfico do seu dispositivo. O app não precisa incluir imagens ou vídeos de fundo para elas.

Isso muda mais do que a aparência. Como a cena é gerada em vez de reproduzida, ela pode ser reiluminada, pode projetar a sua sombra e pode reagir ao movimento. No celular, a cena gira levemente conforme você inclina o aparelho.

Seu fundo reage a você

Um espaço virtual convincente precisa fazer mais do que ficar bonito. Ele deve dar a sensação de que você pertence a ele.

O pipeline do Voxal usa segmentação local de pessoas para separar você da imagem da câmera. Em seguida, combina a sua silhueta com a cena 3D renderizada.

Ele também estima a luz que incide sobre você e a usa para definir a exposição, a tonalidade de cor e a direção da luz da cena. O objetivo é uma imagem coerente: você e o ambiente compartilham um clima de iluminação parecido, em vez de parecerem duas camadas sem relação.

A sua silhueta também projeta uma sombra suave sobre a cena, o que ajuda você a se sentir parte do espaço.

Se preferir, você pode escolher a iluminação por conta própria. As opções incluem um horário fixo do dia (manhã, meio-dia, tarde, entardecer ou noite), o relógio local ou o tema da sua tela.

Traga o seu próprio mundo

As cenas integradas são apenas o ponto de partida. Em Configurações → Vídeo → Plano de fundo você pode adicionar:

Um panorama de 360°. Qualquer foto equirretangular serve, por exemplo uma feita no modo panorama do celular ou com uma câmera 360°. Você fica dentro dela, e ela gira quando você arrasta a pré-visualização ou vira o celular.
Um modelo 3D em arquivo .glb (a forma binária do glTF), por exemplo exportado do Blender. O Voxal usa a câmera, as luzes e as animações do próprio modelo.

As cenas personalizadas ficam armazenadas localmente no seu dispositivo, sem upload para um servidor, e você pode manter até 12 delas.

A parte inteligente: seus amigos podem renderizar o seu fundo

Em uma chamada de vídeo convencional, quem envia manda a imagem pronta: você, o fundo e todo o resto combinados em um único quadro.

O Voxal tem outra opção para as cenas integradas. Quando Let others draw my scene está ativado e um participante compatível está conectado diretamente a você, essa pessoa recebe você sobre um campo verde liso em vez da imagem pronta. O dispositivo dela encontra os pequenos marcadores de canto no quadro, recorta você e desenha a cena correspondente atrás de você.

Na prática, dois dispositivos desenham, de forma independente, o mesmo mundo.

Diagrama mostrando um remetente transmitindo uma pessoa sobre um campo verde liso e as configurações da cena por uma conexão direta, enquanto o receptor renderiza localmente o fundo da ilha. — Como funciona a renderização pelo par em dispositivos compatíveis, usando uma conexão de vídeo direta e uma cena integrada.

A configuração vem ativada por padrão e você pode desativá-la em Configurações → Vídeo. Ela só entra em ação quando você escolheu uma cena animada e há um par compatível conectado.

Por que isso importa? Um campo liso de cor é muito mais barato para um codificador de vídeo do que uma cena detalhada e animada. E a cena em si não precisa atravessar a rede, porque é construída a partir de poucos números: qual cena, qual brilho e de onde vem a luz.

O que foi medido e o que não foi

Em testes offline controlados (VP9 com qualidade fixa, 1280 × 720, 30 quadros por segundo, com um sujeito de teste em movimento), o composto sobre as cenas integradas custou cerca de 130–287 kb/s, e a pessoa sobre o verde liso custou cerca de 96 kb/s. Isso significa de 26% a 67% menos bits para a mesma qualidade.

Leia esses números tendo os limites em mente:

Eles vêm de testes offline com um sujeito de teste, não de chamadas reais.
Uma chamada real não roda com qualidade fixa. O codificador gasta o limite de taxa de bits que recebe. Em uma chamada real, o benefício é um limite de taxa de bits menor para quem envia, e isso ainda não foi medido em uma chamada real.
A economia depende da cena, do codificador, da conexão e dos dispositivos envolvidos.

Há também limites sobre quando isso funciona:

Exige uma conexão de vídeo direta (ponto a ponto) (veja o que significa ponto a ponto). Com o roteamento padrão, isso significa salas de duas pessoas. Quando o vídeo passa pelo relay (um SFU), o relay sempre recebe a imagem pronta.
O dispositivo receptor precisa conseguir desenhar a cena: precisa de WebGL2, um motor baseado em Chromium e uma GPU de hardware. Se não conseguir, quem envia continua mandando o vídeo normal e pronto.
Se algo der errado, como uma cabeça cobrindo um marcador, o Voxal também volta ao vídeo normal.
Não se aplica às suas cenas personalizadas, porque ninguém mais tem o seu arquivo.

Não fazemos nenhuma afirmação sobre consumo de banda em comparação com outros produtos, porque não medimos nenhum.

Projetado para ficar no local

O processamento de imagem do seu fundo acontece no seu dispositivo. Um pequeno modelo de aprendizado de máquina roda localmente via WebAssembly para encontrar você na imagem da câmera. O fundo é desenhado e combinado com você antes de o vídeo ser enviado. Nenhum quadro da câmera é enviado a um servidor para calcular o fundo.

Seus panoramas e arquivos .glb personalizados ficam no armazenamento local do dispositivo. Eles não são enviados e não são compartilhados com outros dispositivos.

Você não precisa usar nada disso. Com o fundo definido como None, o Voxal envia o fluxo bruto da câmera e nem executa o pipeline de fundo.

Uma distinção merece ser deixada clara. O áudio de voz sempre permanece ponto a ponto. O vídeo da câmera tem suas próprias opções de roteamento e pode passar por um relay opcional em salas maiores. Um relay pode, tecnicamente, ver o vídeo que encaminha. Este artigo descreve como o recurso foi construído. Ele não é uma promessa de privacidade absoluta, e as pessoas na sua chamada continuam vendo o seu vídeo.

Para desenvolvedores: cenas são pequenos programas

Uma cena integrada é um pequeno módulo no repositório do Voxal. As cenas precisam ser determinísticas (guiadas pelo tempo e por uma função aleatória com semente), para que outro dispositivo reconstrua exatamente o mesmo mundo a partir do nome e de alguns números. A documentação do motor de cenas explica o formato do módulo, e as cenas personalizadas cobrem os arquivos que você mesmo pode trazer.

Para os usuários, isso significa mais formas de personalizar uma chamada. Para os desenvolvedores, significa que um fundo pode ser um programa pequeno e reproduzível em vez de um arquivo de mídia grande.

Experimente o Voxal

Você pode usar um simples desfoque, escolher uma cena 3D animada, enviar uma imagem, explorar um panorama de 360° ou testar o seu próprio modelo 3D.

Um fundo virtual não precisa ser uma imagem estática atrás de você. Pode ser um mundo que o seu dispositivo cria, ilumina e anima em tempo real e, quando as condições permitem, um mundo que a pessoa do outro lado também cria.

O Voxal é de código aberto sob a licença MIT. Recursos e suporte de plataforma podem variar conforme o dispositivo e a conexão.