Latar Belakang Virtual 3D Real-Time untuk Panggilan Video
Latar belakang virtual 3D Voxal adalah adegan langsung yang digambar di perangkat Anda dan digambar ulang oleh lawan bicara. Cara kerja dan batasannya.
Latar belakang virtual 3D Voxal mengganti ruangan di belakang Anda dengan adegan yang digambar langsung oleh perangkat Anda, lengkap dengan cahaya dan bayangan yang disesuaikan dengan Anda, bukan sekadar gambar diam. Pada koneksi video langsung yang kompatibel, perangkat lawan bicara bisa menggambar adegan yang sama sendiri, sehingga latar belakang jadi tidak perlu dikirim sebagai video.
Berikut ini: apa yang dilakukan fitur ini, cara kerjanya, apa yang sudah dan belum diukur, serta batasan yang perlu diketahui sebelum Anda mengandalkannya.
Kenalan dengan Voxal: push-to-talk tanpa repot
Voxal adalah aplikasi push-to-talk (tekan untuk bicara) yang dibangun di atas prinsip sederhana: percakapan harus mudah dimulai, berjalan di berbagai platform, dan menghindari infrastruktur yang tidak perlu. Anda bisa membuat atau bergabung ke ruang suara tanpa akun, dan aplikasi web tidak perlu dipasang. Voxal juga punya aplikasi desktop dan seluler, dengan peredam bising, kontrol mikrofon, mode bebas genggam, video, dan berbagi layar.
Buka ruang, bergabunglah dengan teman atau rekan tim, lalu tahan tombol saat ingin bicara. Lebih suka bebas genggam? Itu juga tersedia.
Audio suara selalu peer-to-peer. Voxal tidak menyalurkan suara Anda lewat server media.
Video dan berbagi layar terpisah. Keduanya bisa memakai koneksi langsung atau, di ruang yang lebih besar tergantung pengaturan Anda, relay video opsional. Suara tetap peer-to-peer apa pun pilihannya.
Pendekatan ringan ini adalah bagian dari yang membuat Voxal menarik: ia tidak berusaha mengubah setiap percakapan menjadi rapat yang berat. Dan ketika Anda menyalakan kamera, latar belakang tidak lagi harus jadi urusan belakangan.
Latar belakang yang lebih dari sekadar gambar
Kebanyakan latar belakang virtual mengikuti resep yang sama. Perangkat lunak mendeteksi orang di depan kamera, memisahkannya dari ruangan, lalu menggabungkannya dengan gambar diam atau video.
Voxal juga mendukung pilihan yang sudah familiar. Anda bisa membiarkan kamera apa adanya, mengaburkan latar belakang, atau memilih gambar sendiri.
Latar belakang animasi bekerja dengan cara berbeda. Alih-alih memutar video yang sudah dirender sebelumnya, Voxal membangun adegan tiga dimensi dan merendernya secara real-time di perangkat Anda. Adegan itu berupa geometri, material, cahaya, dan animasi, bukan film yang diputar di belakang Anda.
Voxal memiliki enam adegan bawaan:
- Office: studio seorang arsitek di Kopenhagen pada pagi hari bulan Oktober, dengan matahari rendah menembus jendela tinggi.
- Island: dek teduh sebuah bungalo di atas air di laguna, dengan perairan dangkal berwarna pirus dan pohon palem yang miring.
- Cyber café: warnet era 90-an yang disulap menjadi kedai espresso di Lisbon, dengan azulejo dan terminal tua.
- Mountain: danau sebening kaca di bawah menara batu kapur, dengan larch keemasan dan kabut di air yang jauh.
- Countryside: gandum keemasan di perbukitan Tuscany yang bergelombang pada sore hari bulan Juni.
- Neon rain: penthouse tinggi di atas kota pelabuhan pada malam hari, dengan hujan di kaca dan lantai yang mengilap seperti cermin.
Setiap adegan digambar oleh perangkat keras grafis di perangkat Anda. Aplikasi tidak perlu menyertakan gambar atau video latar belakang untuk adegan tersebut.
Itu mengubah lebih dari sekadar tampilan. Karena adegan dihasilkan, bukan diputar ulang, adegan bisa diberi pencahayaan ulang, bisa membawa bayangan Anda, dan bisa merespons gerakan. Di ponsel, adegan berputar sedikit saat Anda memiringkan ponsel.
Latar belakang Anda merespons Anda
Ruang virtual yang meyakinkan harus lebih dari sekadar tampak bagus. Ruang itu harus terasa seolah Anda memang berada di dalamnya.
Pipeline Voxal memakai segmentasi orang secara lokal untuk memisahkan Anda dari gambar kamera. Lalu siluet Anda digabungkan dengan adegan 3D yang dirender.
Pipeline ini juga memperkirakan cahaya yang jatuh pada Anda, dan memakainya untuk mengatur eksposur, rona warna, dan arah cahaya adegan. Tujuannya satu gambar yang koheren: Anda dan lingkungan memiliki suasana pencahayaan yang serupa, bukan terlihat seperti dua lapisan yang tidak berhubungan.
Siluet Anda juga menjatuhkan bayangan lembut ke adegan, yang membantu Anda terasa menjadi bagian dari ruang tersebut.
Jika mau, Anda bisa memilih pencahayaan sendiri. Pilihannya mencakup waktu tetap dalam sehari (pagi, tengah hari, sore, petang, atau malam), jam lokal, atau tema layar Anda.
Bawa dunia Anda sendiri
Adegan bawaan hanyalah titik awal. Di Pengaturan → Video → Latar Belakang Anda bisa menambahkan:
- Panorama 360°. Foto equirectangular apa pun bisa dipakai, misalnya dari mode panorama ponsel atau kamera 360°. Anda berdiri di dalamnya, dan panorama itu berputar saat Anda menggeser pratinjau atau memutar ponsel.
- Model 3D dalam berkas
.glb(bentuk biner dari glTF), misalnya diekspor dari Blender. Voxal memakai kamera, lampu, dan animasi bawaan model itu sendiri.
Adegan kustom disimpan secara lokal di perangkat Anda, tidak diunggah ke server, dan Anda bisa menyimpan hingga 12 adegan.
Bagian cerdasnya: teman Anda bisa merender latar belakang Anda
Pada panggilan video konvensional, pengirim mengirim gambar jadi: Anda, latar belakang, dan semuanya digabung dalam satu bingkai.
Voxal punya opsi lain untuk adegan bawaannya. Ketika Let others draw my scene aktif, dan peserta yang kompatibel terhubung langsung dengan Anda, orang itu menerima Anda di atas bidang hijau polos, bukan gambar jadi. Perangkatnya menemukan penanda kecil di sudut bingkai, memotong Anda keluar, dan menggambar adegan yang sesuai di belakang Anda.
Pada dasarnya, dua perangkat menggambar dunia yang sama secara mandiri.
Pengaturan ini aktif secara default, dan Anda bisa mematikannya di Pengaturan → Video. Pengaturan ini hanya bekerja ketika Anda telah memilih adegan animasi dan ada peer kompatibel yang terhubung.
Mengapa ini penting? Bidang warna polos jauh lebih murah bagi encoder video dibandingkan adegan animasi yang detail. Dan adegannya sendiri tidak perlu melintasi jaringan, karena dibangun dari beberapa angka: adegan yang mana, seberapa terang, dan dari mana cahaya datang.
Apa yang sudah diukur, dan apa yang belum
Dalam pengujian offline terkendali (VP9 pada kualitas tetap, 1280 × 720, 30 bingkai per detik, dengan subjek pengganti yang bergerak), komposit di atas adegan bawaan membutuhkan sekitar 130–287 kb/s, dan orang di atas hijau polos sekitar 96 kb/s. Itu berarti 26–67% lebih sedikit bit untuk kualitas yang sama.
Mohon baca angka-angka itu dengan memperhatikan batasannya:
- Angka itu berasal dari pengujian offline dengan subjek pengganti, bukan dari panggilan langsung.
- Panggilan nyata tidak berjalan pada kualitas tetap. Encoder-nya menghabiskan batas bitrate apa pun yang diberikan. Dalam panggilan langsung, manfaatnya adalah batas bitrate yang lebih rendah bagi pengirim, dan hal itu belum diukur pada panggilan nyata.
- Penghematannya bergantung pada adegan, encoder, koneksi, dan perangkat yang terlibat.
Ada juga batasan mengenai kapan fitur ini bisa bekerja:
- Fitur ini membutuhkan koneksi video langsung (peer-to-peer) (lihat apa arti peer-to-peer). Dengan routing default, itu berarti ruang berisi dua orang. Ketika video melewati relay (sebuah SFU), relay selalu menerima gambar jadi.
- Perangkat penerima harus mampu menggambar adegan: perlu WebGL2, mesin berbasis Chromium, dan GPU perangkat keras. Jika tidak mampu, pengirim terus mengirim video jadi yang biasa.
- Jika ada yang salah, misalnya kepala menutupi penanda, Voxal juga kembali ke video biasa.
- Fitur ini tidak berlaku untuk adegan kustom Anda sendiri, karena tidak ada orang lain yang memiliki berkas Anda.
Kami tidak membuat klaim apa pun tentang bandwidth dibandingkan produk lain, karena kami belum mengukurnya.
Dirancang agar tetap lokal
Pemrosesan gambar untuk latar belakang Anda terjadi di perangkat Anda. Model machine learning kecil berjalan secara lokal lewat WebAssembly untuk mendeteksi Anda dalam umpan kamera. Latar belakang digambar dan digabungkan dengan Anda sebelum video dikirim. Tidak ada bingkai kamera yang dikirim ke server untuk menghitung latar belakang.
Panorama kustom dan berkas .glb Anda tetap berada di penyimpanan lokal perangkat. Berkas itu tidak diunggah, dan tidak dibagikan ke perangkat lain.
Anda tidak harus memakai semua ini. Dengan latar belakang disetel ke None, Voxal mengirim aliran kamera mentah dan sama sekali tidak menjalankan pipeline latar belakang.
Ada satu pembedaan yang perlu dijelaskan. Audio suara selalu tetap peer-to-peer. Video kamera punya opsi routing tersendiri dan bisa melewati relay opsional di ruang yang lebih besar. Relay secara teknis dapat melihat video yang diteruskannya. Artikel ini menjelaskan bagaimana fitur ini dibangun. Artikel ini bukan janji privasi mutlak, dan orang-orang dalam panggilan Anda tetap melihat video Anda.
Untuk pengembang: adegan adalah program kecil
Adegan bawaan adalah satu modul kecil di repositori Voxal. Adegan harus deterministik (digerakkan oleh waktu dan fungsi acak ber-seed), agar perangkat lain bisa membangun ulang dunia yang persis sama dari namanya dan beberapa angka. Dokumentasi mesin adegan menjelaskan format modul, dan adegan kustom membahas berkas yang bisa Anda bawa sendiri.
Bagi pengguna, itu berarti lebih banyak cara untuk mempersonalisasi panggilan. Bagi pengembang, itu berarti latar belakang bisa berupa program kecil yang dapat direproduksi, bukan berkas media besar.
Coba Voxal
Anda bisa memakai blur sederhana, memilih adegan 3D animasi, mengunggah gambar, menjelajahi panorama 360°, atau mencoba model 3D Anda sendiri.
Latar belakang virtual tidak harus berupa gambar statis di belakang Anda. Ia bisa menjadi dunia yang diciptakan, diberi cahaya, dan dianimasikan oleh perangkat Anda secara real-time, dan, ketika kondisi memungkinkan, dunia yang juga diciptakan oleh orang di ujung sana.
Voxal bersifat open source di bawah Lisensi MIT. Fitur dan dukungan platform dapat berbeda tergantung perangkat dan koneksi.
