3D-Hintergründe in Echtzeit für Videoanrufe
Voxals virtuelle 3D-Hintergründe sind Live-Szenen, die dein Gerät zeichnet und um dich herum ausleuchtet. So funktionieren sie, und das sind ihre Grenzen.
Die virtuellen 3D-Hintergründe von Voxal ersetzen den Raum hinter dir durch eine Szene, die dein Gerät live zeichnet und die so beleuchtet und mit Schatten versehen ist, dass sie zu dir passt, statt eines Standbilds. Bei einer kompatiblen direkten Videoverbindung kann das Gerät der anderen Person dieselbe Szene selbst zeichnen, sodass der fertige Hintergrund nicht als Video übertragen werden muss.
Im Folgenden: was die Funktion leistet, wie sie funktioniert, was gemessen wurde und was nicht, und welche Grenzen du kennen solltest, bevor du dich darauf verlässt.
Voxal im Überblick: Push-to-Talk ohne Ballast
Voxal ist eine Push-to-Talk-App (Sprechtaste) mit einem einfachen Grundgedanken: Gespräche sollen leicht zu starten sein, plattformübergreifend funktionieren und ohne unnötige Infrastruktur auskommen. Du kannst ohne Konto einen Sprachraum erstellen oder betreten, und die Web-App braucht keine Installation. Voxal gibt es auch als Desktop- und Mobil-App, mit Rauschunterdrückung, Mikrofonsteuerung, Freisprechmodus, Video und Bildschirmfreigabe.
Öffne einen Raum, tritt mit Freunden oder Kollegen bei und halte die Taste gedrückt, wenn du sprechen willst. Lieber freihändig? Auch das geht.
Sprachaudio läuft immer Peer-to-Peer. Voxal leitet deine Stimme nicht über einen Medienserver.
Video und Bildschirmfreigabe sind davon getrennt. Sie können direkte Verbindungen nutzen oder, in größeren Räumen je nach Einstellung, ein optionales Video-Relay. Die Stimme bleibt in beiden Fällen Peer-to-Peer.
Dieser schlanke Ansatz macht Voxal mit aus: Es versucht nicht, jedes Gespräch in ein schwerfälliges Meeting zu verwandeln. Und wenn du deine Kamera einschaltest, muss dein Hintergrund keine Nebensache mehr sein.
Ein Hintergrund, der mehr ist als ein Bild
Die meisten virtuellen Hintergründe folgen demselben Rezept. Eine Software erkennt die Person vor der Kamera, trennt sie vom Raum und kombiniert sie mit einem Standbild oder einem Video.
Voxal unterstützt auch die üblichen Optionen. Du kannst deine Kamera unverändert lassen, den Hintergrund weichzeichnen oder ein eigenes Bild wählen.
Die animierten Hintergründe funktionieren anders. Statt ein vorgerendertes Video abzuspielen, baut Voxal eine dreidimensionale Szene auf und rendert sie in Echtzeit auf deinem Gerät. Die Szene besteht aus Geometrie, Materialien, Licht und Animation, nicht aus einem Film, der hinter dir läuft.
Voxal bietet sechs integrierte Szenen:
- Office: das Studio eines Architekten in Kopenhagen an einem Oktobermorgen, mit tiefstehender Sonne durch ein hohes Fenster.
- Island: die schattige Terrasse eines Überwasserbungalows an einer Lagune, mit türkisfarbenem Flachwasser und einer schiefen Palme.
- Cyber café: ein Internetcafé aus den 90ern, das in Lissabon zur Espressobar umgebaut wurde, mit Azulejos und alten Terminals.
- Mountain: ein spiegelglatter See unter Kalksteinspitzen, mit goldenen Lärchen und Nebel über dem fernen Wasser.
- Countryside: goldener Weizen auf den sanften Hügeln der Toskana an einem Juniabend.
- Neon rain: ein Penthouse hoch über einer Hafenstadt bei Nacht, mit Regen auf dem Glas und einem spiegelnd polierten Boden.
Jede Szene wird von der Grafikhardware deines Geräts gezeichnet. Die App muss dafür keine Hintergrundbilder oder -videos mitliefern.
Das verändert mehr als nur die Optik. Weil die Szene erzeugt statt abgespielt wird, lässt sie sich neu ausleuchten, kann deinen Schatten tragen und auf Bewegung reagieren. Auf dem Smartphone dreht sich die Szene leicht mit, wenn du das Gerät neigst.
Dein Hintergrund reagiert auf dich
Ein überzeugender virtueller Raum muss mehr können, als gut auszusehen. Er sollte sich so anfühlen, als gehörtest du hinein.
Die Pipeline von Voxal nutzt eine lokale Personensegmentierung, um dich vom Kamerabild zu trennen. Anschließend kombiniert sie deine Silhouette mit der gerenderten 3D-Szene.
Außerdem schätzt sie das Licht, das auf dich fällt, und stellt damit Belichtung, Farbstich und Lichtrichtung der Szene ein. Ziel ist ein stimmiges Gesamtbild: Du und die Umgebung teilt euch eine ähnliche Lichtstimmung, statt wie zwei unabhängige Ebenen zu wirken.
Deine Silhouette wirft zudem einen weichen Schatten auf die Szene, was dazu beiträgt, dass du dich als Teil des Raums fühlst.
Wenn du möchtest, kannst du die Beleuchtung selbst wählen. Zur Auswahl stehen eine feste Tageszeit (Morgen, Mittag, Nachmittag, Abend oder Nacht), die lokale Uhrzeit oder das Design deines Bildschirms.
Bring deine eigene Welt mit
Die integrierten Szenen sind nur der Anfang. Unter Einstellungen → Video → Hintergrund kannst du hinzufügen:
- Ein 360°-Panorama. Jedes equirektanguläre Foto funktioniert, zum Beispiel aus dem Panoramamodus eines Smartphones oder von einer 360°-Kamera. Du stehst mittendrin, und es dreht sich, wenn du die Vorschau ziehst oder dein Smartphone drehst.
- Ein 3D-Modell als
.glb-Datei (die Binärform von glTF), zum Beispiel aus Blender exportiert. Voxal verwendet die Kamera, die Lichter und die Animationen des Modells selbst.
Eigene Szenen werden lokal auf deinem Gerät gespeichert, nicht auf einen Server hochgeladen, und du kannst bis zu 12 davon behalten.
Der clevere Teil: Deine Freunde können deinen Hintergrund rendern
Bei einem herkömmlichen Videoanruf sendet der Absender das fertige Bild: du, der Hintergrund und alles andere zusammen in einem Frame.
Voxal bietet für seine integrierten Szenen eine Alternative. Wenn Let others draw my scene aktiviert ist und ein kompatibler Teilnehmer direkt mit dir verbunden ist, empfängt diese Person dich vor einer einfarbig grünen Fläche statt des fertigen Bildes. Ihr Gerät findet die kleinen Eckmarkierungen im Bild, schneidet dich aus und zeichnet die passende Szene hinter dich.
Praktisch zeichnen zwei Geräte unabhängig voneinander dieselbe Welt.
Die Einstellung ist standardmäßig aktiviert, und du kannst sie unter Einstellungen → Video ausschalten. Sie greift nur, wenn du eine animierte Szene gewählt hast und ein kompatibler Peer verbunden ist.
Warum ist das wichtig? Eine einfarbige Fläche ist für einen Videoencoder viel günstiger als eine detaillierte, animierte Szene. Und die Szene selbst muss nicht durch das Netzwerk, weil sie aus wenigen Zahlen aufgebaut wird: welche Szene, wie hell und woher das Licht kommt.
Was gemessen wurde und was nicht
In kontrollierten Offline-Tests (VP9 bei fester Qualität, 1280 × 720, 30 Bilder pro Sekunde, mit einem bewegten Stellvertreter-Motiv) kostete das Kompositbild über den integrierten Szenen etwa 130–287 kb/s, die Person vor einfarbigem Grün etwa 96 kb/s. Das sind 26–67 % weniger Bits bei gleicher Qualität.
Bitte lies diese Zahlen mit ihren Einschränkungen im Hinterkopf:
- Sie stammen aus Offline-Tests mit einem Stellvertreter-Motiv, nicht aus Live-Anrufen.
- Ein echter Anruf läuft nicht mit fester Qualität. Sein Encoder verbraucht die Bitrate, die ihm zugestanden wird. In einem Live-Anruf liegt der Vorteil in einer niedrigeren Bitratenobergrenze für den Sender, und das wurde in einem echten Anruf noch nicht gemessen.
- Die Einsparungen hängen von Szene, Encoder, Verbindung und beteiligten Geräten ab.
Außerdem gibt es Grenzen dafür, wann das funktioniert:
- Es braucht eine direkte (Peer-to-Peer-)Videoverbindung (siehe was Peer-to-Peer bedeutet). Mit dem Standard-Routing sind das Räume mit zwei Personen. Läuft das Video über das Relay (ein SFU), erhält das Relay immer das fertige Bild.
- Das empfangende Gerät muss die Szene zeichnen können: Es braucht WebGL2, eine Chromium-basierte Engine und eine Hardware-GPU. Wenn nicht, sendet der Sender weiterhin das normale fertige Video.
- Geht etwas schief, etwa wenn ein Kopf eine Markierung verdeckt, fällt Voxal ebenfalls auf normales Video zurück.
- Für deine eigenen Szenen gilt es nicht, weil niemand sonst deine Datei hat.
Wir treffen keine Aussage zur Bandbreite im Vergleich zu anderen Produkten, weil wir keines gemessen haben.
Darauf ausgelegt, lokal zu bleiben
Die Bildverarbeitung für deinen Hintergrund findet auf deinem Gerät statt. Ein kleines Machine-Learning-Modell läuft lokal über WebAssembly, um dich im Kamerabild zu finden. Der Hintergrund wird gezeichnet und mit dir kombiniert, bevor das Video gesendet wird. Kein Kamerabild wird an einen Server geschickt, um den Hintergrund zu berechnen.
Deine eigenen Panoramen und .glb-Dateien bleiben im lokalen Speicher deines Geräts. Sie werden nicht hochgeladen und nicht mit anderen Geräten geteilt.
Du musst nichts davon nutzen. Steht der Hintergrund auf None, sendet Voxal den rohen Kamerastream und führt die Hintergrund-Pipeline gar nicht aus.
Eine Unterscheidung ist wichtig. Sprachaudio bleibt immer Peer-to-Peer. Kameravideo hat eigene Routing-Optionen und kann in größeren Räumen über ein optionales Relay laufen. Ein Relay kann das Video, das es weiterleitet, technisch sehen. Dieser Artikel beschreibt, wie die Funktion aufgebaut ist. Er ist kein Versprechen absoluter Privatsphäre, und die Personen in deinem Anruf sehen dein Video weiterhin.
Für Entwickler: Szenen sind kleine Programme
Eine integrierte Szene ist ein kleines Modul im Voxal-Repository. Szenen müssen deterministisch sein (gesteuert durch die Zeit und eine Zufallsfunktion mit festem Seed), damit ein anderes Gerät aus ihrem Namen und ein paar Zahlen exakt dieselbe Welt nachbauen kann. Die Dokumentation der Szenen-Engine erklärt das Modulformat, und die eigenen Szenen behandeln die Dateien, die du selbst mitbringen kannst.
Für Nutzer bedeutet das mehr Möglichkeiten, einen Anruf zu personalisieren. Für Entwickler bedeutet es, dass ein Hintergrund ein kleines, reproduzierbares Programm sein kann statt einer großen Mediendatei.
Voxal ausprobieren
Du kannst einfache Weichzeichnung nutzen, eine animierte 3D-Szene wählen, ein Bild hochladen, ein 360°-Panorama erkunden oder dein eigenes 3D-Modell ausprobieren.
Ein virtueller Hintergrund muss kein statisches Bild hinter dir sein. Er kann eine Welt sein, die dein Gerät in Echtzeit erschafft, beleuchtet und animiert, und, wenn die Bedingungen es zulassen, eine Welt, die auch die Person am anderen Ende erschafft.
Voxal ist Open Source unter der MIT-Lizenz. Funktionen und Plattformunterstützung können je nach Gerät und Verbindung variieren.
