L'outil GenAI pour la génération d'actifs 3D en temps réel

Interview avec Andreas Edesberg

En quoi l’approche de Sloyd se distingue-t-elle des outils traditionnels d’IA générative ?

Andreas Edesberg : Nous avons adopté une approche très différente, en misant sur une méthode hybride qui combine la modélisation procédurale et paramétrique avec l'IA. Plutôt que de nous appuyer sur des modèles de diffusion pour générer des objets, nous utilisons des modèles prédéfinis créés par nos artistes. Cela permet à l'IA de personnaliser ces modèles, rendant le processus plus rapide, optimisé pour les jeux et capable de fournir des actifs prêts à l'emploi sans nécessiter de retouches manuelles.

Comment Sloyd répond-il aux préoccupations liées à la propriété intellectuelle dans l’IA générative ?

Andreas Edesberg : C'est un enjeu majeur pour nous. Contrairement à de nombreux outils d'IA générative qui s'appuient sur des bases de données récupérées sur Internet, tous les actifs de Sloyd sont créés par nos artistes en interne. Cela signifie qu'il n'y a aucun risque lié à la propriété intellectuelle, et que les studios peuvent utiliser notre technologie en toute confiance pour des projets commerciaux. Le respect des artistes et de leur travail a toujours été un principe fondamental pour nous.

Qu'est-ce qui a inspiré l’approche hybride combinant modélisation procédurale et paramétrique ?

Andreas Edesberg : Tout est parti de notre vision de créer des jeux dynamiques, où le contenu se génère en temps réel au fil de la partie. Pour y parvenir, nous avions besoin d’actifs prêts pour le jeu, optimisés pour la rapidité et les appareils aux performances limitées. En 2017, l’IA générative basée sur la diffusion n’était pas une option viable, alors nous avons développé un système où l’IA personnalise des composants modulaires. Cette approche garantit à la fois évolutivité et qualité, en particulier pour les objets à surface dure comme les bâtiments, les véhicules et les accessoires.

Comment Sloyd garantit-il que les actifs sont optimisés pour les appareils aux performances limitées ?

Andreas Edesberg : L'optimisation est intégrée directement dans notre système. Par exemple, vous pouvez ajuster le niveau de détail (LOD) d’un actif en quelques millisecondes, en passant de la version low-poly à high-poly avec un simple curseur. Cela rend nos actifs parfaits pour les jeux mobiles, la réalité virtuelle ou les expériences web, où les performances sont cruciales. Notre objectif est de permettre aux créateurs de travailler de manière fluide sur différentes plateformes, sans se soucier des problèmes de performance.

Quelle est l’approche de Sloyd pour développer sa bibliothèque d’actifs et la personnalisation ?

Andreas Edesberg : Nous abordons cela en décomposant les actifs en pièces modulaires — poignées, portes, fenêtres, etc. — et en permettant à l'IA de les combiner et de les placer de manière nouvelle. Cela augmentera exponentiellement la variété sans repartir de zéro. Les utilisateurs pourront créer un piano avec des ailes ou un tank fait de beignets. L'objectif est de favoriser la créativité tout en maintenant la qualité et l'optimisation nécessaires pour des actifs prêts à l'emploi pour les jeux.

Qui bénéficie le plus de la technologie de Sloyd actuellement ?

Andreas Edesberg : Les studios de taille moyenne et les plus petits en bénéficient le plus, car ils peuvent produire des environnements et des actifs de haute qualité plus rapidement, ce qui leur permet de rivaliser avec les grands studios. Les développeurs de réalité virtuelle et mobiles tirent également parti de nos actifs optimisés, qui fonctionnent bien même sur des appareils à faibles performances. Cela dit, les grands studios commencent à explorer comment Sloyd peut les aider à relever des défis de l'industrie, comme l'augmentation des coûts de production et les délais serrés.

Pourquoi les créateurs devraient-ils utiliser des actifs 3D générés avec Sloyd ?

Andreas Edesberg : L’un des plus grands avantages est la rapidité : notre système génère des actifs en temps réel, même sur des appareils à faibles performances. Les actifs sont entièrement personnalisables, jusqu'aux pièces individuelles, offrant un niveau de flexibilité inégalé par les packs d’actifs traditionnels. Et puisque nous avons tout conçu à partir de zéro, il n’y a aucune inquiétude concernant la propriété intellectuelle, ce qui rend leur utilisation commerciale sûre.

Comment Sloyd gère-t-il le texturage ?

Andreas Edesberg : Le texturage avec Sloyd est sans couture. Lorsque vous générez un actif, il est accompagné d'une carte UV propre et logiquement organisée — les toits ressemblent à des toits, et non à des morceaux éparpillés. Cela rend l'édition des textures très simple. Une fonctionnalité récente permet aux utilisateurs d'appliquer des textures stylisées ou réalistes via des invites. Les textures sont parfaitement modulables et s'ajustent dynamiquement avec les modifications de l'objet, garantissant que tout reste cohérent et soigné.

Quels sont les principaux cas d'utilisation des actifs 3D générés avec Sloyd ?

Andreas Edesberg : Il y a deux principaux cas d'utilisation : la production et la génération en temps réel. Pour la production, cela accélère la création d'actifs pendant la pré-production, permettant aux artistes de prototyper ou de remplir des scènes plus rapidement. La génération en temps réel est encore à ses débuts, mais elle permet de créer des actifs en temps réel pendant le gameplay. Imaginez créer des bâtiments, des véhicules ou des environnements entiers à la volée dans un jeu.

Comment fonctionne la génération en temps réel et quelles sont ses applications potentielles ?

Andreas Edesberg : La génération en temps réel permet aux utilisateurs de créer des actifs directement dans un jeu, en temps réel. Par exemple, un joueur pourrait utiliser des commandes vocales pour construire une ville ou concevoir des accessoires personnalisés sur le moment. Cela ouvre des possibilités pour un gameplay émergent et du contenu généré par les utilisateurs. Associée à une narration procédurale ou des campagnes pilotées par l'IA, cela permet de créer des expériences profondément dynamiques et interactives qui évoluent en fonction des actions du joueur.

Quelles opportunités voyez-vous pour Sloyd dans les espaces VR et XR ?

Andreas Edesberg : La VR et l'XR sont particulièrement passionnants car ils sont interactifs par nature. Imaginez créer et modifier des environnements avec des commandes vocales tout en étant immergé en VR. Nous avons vu des utilisateurs faire cela, et les retours ont été extrêmement positifs — des mots comme "magique" reviennent souvent. Grâce à la rapidité et à l’optimisation de Sloyd, il est possible de créer des mondes dynamiques et immersifs qui réagissent en temps réel aux entrées de l'utilisateur.

Quelles sont les façons dont les utilisateurs peuvent expérimenter avec la génération d'actifs de Sloyd ?

Andreas Edesberg : Les utilisateurs peuvent expérimenter avec notre application web, l'intégration Unity ou l'API. Par exemple, vous pouvez générer un pack d'actifs complet pour un thème — comme une ville futuriste — en quelques secondes. Vous pouvez ensuite affiner ces actifs à l’aide de curseurs ou d’invites. La possibilité d’itérer rapidement et de personnaliser rend Sloyd un outil puissant pour le prototypage rapide, le développement de jeux, et même l'impression 3D.

Comment les créateurs peuvent-ils exploiter Sloyd pour les mécaniques de gameplay émergentes ?

Andreas Edesberg : Sloyd permet aux créateurs de lier la génération d’actifs aux mécaniques de gameplay. Par exemple, un joueur pourrait améliorer une arme, et celle-ci évoluerait visuellement en temps réel. Cette transformation continue ajoute de la profondeur au gameplay. De même, des actifs peuvent être générés dynamiquement en fonction de la progression de l’histoire, mêlant ainsi la narration et l’environnement de manière fluide. C’est une nouvelle façon de créer des expériences captivantes et évolutives.

Quelles sont les futures mises à jour que les utilisateurs peuvent attendre avec impatience ?

Andreas Edesberg : Nous travaillons sur l'assemblage par IA pour augmenter la personnalisation en combinant des pièces modulaires de manière innovante. Cela rendra notre bibliothèque encore plus polyvalente. De plus, nous améliorons le support pour les formes organiques et explorons des intégrations avec davantage de plateformes et d'outils. Notre vision à long terme inclut le rendu IA en temps réel, où les textures et les styles peuvent être ajustés dynamiquement pendant le gameplay ou la conception.

Pour regarder l'interview complète c'est par ici.

Pour soutenir Gabriele, vous pouvez vous abonner à sa newsletter.