Découvrez les Gaussian Splats 4D en VR : de la capture à la distribution

Dans cette édition, nous nous entretenons avec Georgii Vysotskii, CEO de Gracia AI🔗, l'application qui permet d'explorer le Gaussian Splatting 4D en réalité virtuelle immersive. Georgii nous explique les différences entre le Gaussian Splatting 3D et 4D, le potentiel de la capture volumétrique en temps réel, et comment ces innovations vont révolutionner notre façon de consommer du contenu numérique.

Et pour satisfaire encore davantage votre curiosité sur le contenu volumétrique 3D, la section Product Spotlight est consacrée à une application qui vous permet de découvrir des captures volumétriques d’une qualité EXCEPTIONNELLE directement sur votre Quest.

Interview avec Georgii Vysotskii

Qu'est-ce que le Gaussian Splatting et pourquoi est-ce important ?

Georgii Vysotskii : Le Gaussian Splatting est une nouvelle méthode de représentation des scènes 3D. Elle diffère des techniques comme NeRF et les maillages traditionnels. Imaginez un objet 3D composé de minuscules points, chacun ayant sa propre couleur. Contrairement aux méthodes plus anciennes, le Gaussian Splatting permet d'entraîner des modèles plus facilement et de les restituer en temps réel, ce qui le rend beaucoup plus accessible pour une utilisation grand public.

Pouvez-vous expliquer la différence entre le Gaussian Splatting 3D et 4D ?

Georgii Vysotskii : Bien sûr ! Nous distinguons deux types de Gaussian Splatting : 3D et 4D.
Le Gaussian Splatting 3D concerne les scènes statiques, où les objets ne bougent pas, comme une chaise ou une table. On capture ces objets sous différents angles à l’aide d’une seule caméra.
Le Gaussian Splatting 4D, en revanche, est utilisé pour les vidéos volumétriques, permettant de capturer des scènes dynamiques avec du mouvement, comme une personne qui marche ou parle.
Chez Gracia AI, nous nous concentrons principalement sur le Gaussian Splatting 4D, car il est particulièrement adapté aux contenus en vidéo volumétrique.

Comment capture-t-on un Gaussian Splatting 4D ?

Georgii Vysotskii : Capturer des scènes dynamiques nécessite une installation complexe, surtout si l’on veut une liberté totale de point de vue à 360 degrés. Il faut environ 40 à 50 caméras positionnées autour du sujet pour enregistrer la scène sous tous les angles.

Si une liberté plus restreinte vous convient, comme une vue à 180 degrés, vous pouvez utiliser moins de caméras. Nous avons même expérimenté la capture de scènes dynamiques avec des GoPros. Bien que cette approche ne soit pas aussi précise qu’un studio équipé, elle permet tout de même d’obtenir des résultats intéressants.

En quoi le Gaussian Splatting est-il différent des méthodes traditionnelles de capture volumétrique ?

Georgii Vysotskii : Le Gaussian Splatting et la capture volumétrique traditionnelle diffèrent dans leur façon de reconstruire l’espace 3D. Les méthodes traditionnelles utilisent souvent des nuages de points ou des maillages, qui peuvent être plus complexes et plus lents à traiter.

Le Gaussian Splatting, lui, repose sur une approche plus simple et plus efficace, où la scène est représentée par des "splats" ou taches qui définissent à la fois la géométrie et la texture. Cela permet un rendu plus rapide et une lecture plus fluide, ce qui est essentiel pour une expérience optimale en réalité virtuelle.

Comment Gracia AI gère-t-elle la distribution du contenu en Gaussian Splatting ?

Georgii Vysotskii : La distribution est l’un des plus grands défis sur lesquels nous travaillons. Les fichiers de Gaussian Splatting peuvent être très volumineux, surtout pour les scènes dynamiques.

Nous avons développé des méthodes de compression qui réduisent la taille des fichiers jusqu’à six fois sans perte de qualité. Nous proposons également des solutions de streaming via le cloud, ce qui permet de déléguer le traitement lourd à des serveurs distants. Cela facilite la diffusion de contenus haute qualité sur des casques VR comme le Quest 3 ou l’Apple Vision Pro.

Quels outils proposez-vous aux développeurs et créateurs qui souhaitent utiliser le Gaussian Splatting ?

Georgii Vysotskii : Nous avons intégré notre technologie de Gaussian Splatting dans Unity et Unreal Engine, afin que les créateurs puissent l’utiliser dans leurs workflows existants.

Nous fournissons également des SDKs qui permettent aux développeurs de distribuer leur contenu de manière efficace, que ce soit via un rendu en local ou par streaming depuis le cloud.

Bien que ces outils soient pour l’instant principalement destinés aux créateurs professionnels, nous travaillons constamment pour les rendre plus accessibles.

Comment le Gaussian Splatting fonctionne-t-il sur différents casques VR ?

Georgii Vysotskii : Le Gaussian Splatting est assez exigeant en ressources, surtout en VR, où une haute résolution et un taux de rafraîchissement élevé sont nécessaires. Par exemple, en VR, il faut afficher 72 images par seconde par œil, ce qui double la charge de calcul.

Actuellement, notre technologie fonctionne au mieux sur des casques hautes performances comme le Quest 3 et l’Apple Vision Pro, notamment lorsqu’ils sont connectés à un PC pour bénéficier d’une puissance de calcul supplémentaire. Mais nous continuons d’optimiser le rendu pour le rendre plus efficace et accessible sur davantage de dispositifs.

Quels sont les principaux cas d’usage du 4D Gaussian Splatting ?

Georgii Vysotskii : Nous nous concentrons sur plusieurs secteurs où le 4D Gaussian Splatting peut avoir un impact significatif :

• Sport : Capturer un combat de UFC et permettre aux spectateurs de le regarder sous tous les angles en temps réel.
• Mode : Offrir une expérience immersive d’un défilé, comme si l’utilisateur était sur scène.
• Concerts : Permettre aux fans de se tenir aux côtés de leur artiste préféré pendant une performance.
• Cuisine : Apprendre des techniques complexes en observant des chefs en 3D sous tous les angles.

Quand pourrons-nous diffuser du contenu en Gaussian Splatting en temps réel ?

Georgii Vysotskii : Nous nous rapprochons de la diffusion en temps réel, en particulier pour des cas d’usage comme le sport et les concerts, où le timing est essentiel.

Techniquement, nous sommes presque prêts, mais il reste des défis logistiques à surmonter, comme le transfert des données et l’optimisation de la vitesse de traitement.

Je dirais que nous sommes à un ou deux ans d’une solution totalement en temps réel pour des événements à grande échelle.

Qu'est-ce qui est actuellement disponible pour les utilisateurs qui veulent explorer le Gaussian Splatting ?

Georgii Vysotskii : Actuellement, nous proposons Gracia AI sur Steam, où les utilisateurs peuvent téléverser leurs propres Gaussian Splats ou explorer ceux créés par d'autres.

Nous avons aussi lancé une application sur le Meta Store, permettant aux utilisateurs VR de visualiser des splats 2D dans des environnements immersifs.

L’upload est gratuit pour les créateurs, et nous construisons une communauté passionnée autour de ce nouveau médium. Nous continuons également d'améliorer la plateforme en ajoutant de nouvelles fonctionnalités basées sur les retours des utilisateurs.

Quels sont les prochains projets pour Gracia AI en 2025 et au-delà ?

Georgii Vysotskii : Nos deux priorités principales sont l'amélioration de la distribution et le lancement de projets spécifiques à certains cas d’usage.

Nous voulons rendre le Gaussian Splatting disponible sur tous les casques VR et nous assurer que le contenu puisse être diffusé en temps réel ou quasi-temps réel.

En parallèle, nous travaillons sur des projets spécifiques à certains secteurs, comme des tutoriels de cuisine ou des événements sportifs, afin de démontrer la puissance des médias volumétriques.

Nous sommes impatients de faire avancer cette technologie et de la rendre plus accessible à un plus grand nombre d'utilisateurs et de créateurs.

Retrouvez l'intégralité de l'interview ici (en anglais).

Abonnez-vous à la newsletter de Gabriele pour le soutenir.