À la découverte de l'art volumétrique avec Ruben Frosali

Entretien avec Ruben Frosali

Dans cette édition, nous plongeons dans le monde des VFX et examinons :

• Comment les techniques de capture de la réalité peuvent être utilisées pour générer de nouvelles formes d'art comme les réalités ponctuelles de dissolution de Ruben Frosali .
• Une application Web qui offre aux créateurs des capacités sans précédent lors de l'édition de leurs captures d'éclaboussures gaussiennes.

Ruben Frosali, également connu sous le nom de RubenFro sur X, est un artiste en effets visuels connu pour son travail pionnier dans le domaine de la capture volumétrique et des nuages ​​de points. Ruben se penche sur son parcours artistique, en expliquant sa profonde passion pour les nuages ​​de points et ses expériences plus récentes avec le Gaussian Splatting. Il met en lumière les avancées technologiques qui ont façonné son travail, notamment sa préférence pour Unity dans la création d'effets visuels complexes et sa contribution clé à l'application Jadu AR.

Pouvez-vous nous dire comment votre fascination pour les particules et les effets visuels a commencé ?

Ruben : J'ai toujours été attiré par l'intersection entre la technologie et l'art. J'ai commencé mon parcours en tant que développeur et j'ai développé un intérêt particulier pour la photographie et la réalisation de vidéos. En 2018, je me suis plongé dans la photogrammétrie et les nuages ​​de points à travers un projet d'installation interactive. Cette technologie, qui capture la réalité d'une manière unique, m'a vraiment captivé. Chaque point d'un nuage de points est comme un atome, et les utiliser dans des effets de particules, c'est comme jouer à Dieu avec la réalité. C'est une expérience exaltante, transformer et créer de nouvelles choses à partir de ces éléments fondamentaux.

Pouvez-vous expliquer les différences entre les technologies de nuages ​​de points, Nerf et G Splat ?

Ruben : Les nuages ​​de points sont la forme la plus simple de capture volumétrique, représentant des scènes avec des points précis dans l'espace. Cependant, ils peuvent présenter des imperfections, comme des détails manquants sur des surfaces uniformes. Nerf utilise le traitement neuronal pour générer des images, offrant plus de détails et de reflets, mais il est plus difficile à mettre en œuvre dans les moteurs en temps réel. G Splat, une technologie plus récente, restitue les points sous forme de taches transparentes pour créer des images réalistes, en équilibrant les détails et la facilité de manipulation.

Votre travail avec les particules est particulièrement frappant. Comment avez-vous relevé les défis liés au travail avec de nouvelles technologies comme Nerf et G Splat dans des moteurs en temps réel ?

Ruben : Nerf et G Splat représentent des avancées significatives dans la capture et le rendu de la réalité. Nerf offre des avantages comme les réflexions, mais il est assez difficile à utiliser dans les moteurs en temps réel, en particulier pour les effets dynamiques comme les systèmes de particules. G Splat, en revanche, est plus accessible et plus facile à gérer dans les moteurs en temps réel. J'ai adapté mes bibliothèques pour que les nuages ​​de points fonctionnent avec G Splat, ce qui permet d'obtenir des effets visuels plus réalistes et détaillés, qui sont également plus faciles à manipuler.

Vous avez mentionné l'utilisation d'Unity plutôt que d'Unreal pour votre travail sur les effets visuels. Qu'est-ce qui a conduit à ce choix ?

Ruben : Unity offre une plus grande flexibilité dans le codage et la création de shaders, ce qui est crucial pour mon travail avec les nuages ​​de points et les effets. Bien qu'Unreal dispose de meilleurs systèmes de rendu et d'éclairage, j'ai trouvé qu'Unity était plus personnalisable et adapté aux exigences uniques de mes projets. J'ai créé une bibliothèque importante d'effets dans Unity, ce qui me permet de restituer et de manipuler efficacement les nuages ​​de points.

Comment intégrez-vous le son dans vos projets visuels et quel rôle joue-t-il ?

Ruben : Le son fait partie intégrante de mon processus créatif. Je compose souvent de la musique et j’ajoute des échantillons qui complètent l’aspect visuel de mon travail. Pour des projets comme « Dissolving Realities », j’ai même converti des données de nuages ​​de points en fichiers audio wave, ajoutant ainsi une autre dimension à l’expérience. Ce processus, bien qu’abstrait, me permet de créer une expression artistique plus immersive et holistique.

En tant que responsable cinématographique chez Jadu AR, quelle est votre approche pour créer du contenu en réalité augmentée ?

Ruben : Chez Jadu AR, nous nous concentrons sur la création d'expériences immersives en réalité augmentée, notamment un jeu de combat multijoueur en réalité augmentée. Mon rôle consiste à créer des cinématiques et des concepts artistiques pour les interactions en réalité augmentée. Nous repoussons les limites du possible en réalité augmentée, notamment en termes de réalisme et d'interactivité. Travailler avec du contenu volumétrique en réalité augmentée présente des défis et des opportunités uniques, que nous sommes impatients d'explorer.

Comment envisagez-vous l’avenir de la XR et de l’IA dans votre travail créatif ?

Ruben : La réalité virtuelle et l'intelligence artificielle sont des domaines en évolution rapide qui offrent des possibilités infinies d'expression créative. Je m'intéresse à l'exploration de la réalité mixte et à des expériences plus interactives, notamment avec du contenu volumétrique. Le développement de technologies comme G Splat et les avancées dans le domaine du matériel de réalité virtuelle et de réalité augmentée permettront des expériences plus détaillées et plus réalistes. J'ai hâte de voir où ces technologies nous mèneront et comment elles façonneront l'avenir de l'art numérique et de l'interaction.

Découvrez l'interview complète ici.