Wist permet de capturer et de revivre des souvenirs en 3D

Interview avec Andrew McHugh

Qu’est-ce que Wist et comment capture-t-on réellement un souvenir spatial ?

Andrew McHugh : Wist vous permet de capturer n’importe quel souvenir de la même manière que vous le faites actuellement. Vous sortez votre téléphone, vous enregistrez une vidéo, mais nous capturons également des informations 3D sur le monde qui vous entoure. Nous combinons ces données, et ensuite vous pouvez revisiter ce souvenir, soit en réalité augmentée (AR) sur votre téléphone, soit avec un casque comme le Quest ou le Vision Pro. On a l’impression d’être à nouveau sur place, et c’est là que réside toute la magie. La possibilité de revivre des moments de façon vraiment immersive est ce qui distingue Wist. Ce n’est pas seulement regarder une vidéo, c’est pouvoir se déplacer et expérimenter ce souvenir comme si vous y étiez à nouveau.

Faut-il un appareil spécifique pour capturer ces souvenirs ?

Andrew McHugh : Actuellement, nous utilisons les capteurs LiDAR des modèles Pro des iPhone et iPad. Le capteur LiDAR est essentiel car il nous aide à capturer des informations précises sur la profondeur, indispensables pour retranscrire l’image en 3D. Sans cela, nous ne pourrions pas créer les expériences immersives offertes par Wist.

Le traitement des souvenirs capturés se fait-il localement ou dans le cloud ?

Andrew McHugh : Pour l’instant, tout est traité localement, ce qui est pratique puisque vous n’avez pas toujours accès au cloud. Cela aide aussi pour le stockage ultérieur. Bientôt, nous intégrerons une certaine part de traitement dans le cloud, mais nous réfléchissons encore aux éléments à déployer et au moment de le faire. Le traitement local garantit que, même dans des endroits où la connectivité est faible, vous pouvez capturer et revivre vos souvenirs.

Comment revit-on un souvenir avec Wist ?

Andrew McHugh : Sur le téléphone, c’est une expérience de réalité augmentée mobile. Vous voyez le monde réel avec le souvenir superposé. Sur Quest et Vision Pro, c’est encore plus immersif. Cela donne vraiment l’impression d’être là, car vous êtes complètement entouré par le souvenir. C’est difficile à décrire autrement qu’en disant : « vous y êtes à nouveau ». Revivre un souvenir de manière aussi immersive peut être incroyablement émouvant, vous ramenant directement au moment comme s’il se passait à nouveau.

En quoi la capture d’un souvenir spatial dans Wist diffère-t-elle d’une vidéo spatiale sur Vision Pro ?

Andrew McHugh : Du côté d’Apple, ils capturent directement à partir de deux caméras et restituent cela dans votre œil gauche et droit. C’est puissant, mais cela présente des limites dès que vous bougez la tête. Avec Wist, nous capturons la caméra, la profondeur et la position, ce qui donne l’impression qu’il y a « quelque chose » dans votre monde. Vous pouvez bouger, vous déplacer, et vivre le souvenir sous différents angles. Par exemple, si vous voulez suivre votre enfant qui se déplace, vous pouvez le faire avec Wist, alors qu’avec Vision Pro, vous êtes plus fixe, regardant l’action se dérouler devant vous sans pouvoir vous déplacer à travers elle.

Comment gérez-vous les lacunes ou les trous dans la capture des souvenirs ?

Andrew McHugh : Nous nous concentrons sur le fait de donner l’impression que vous prenez simplement une vidéo. Nous utilisons des modèles 3D et expérimentons avec des modèles de diffusion pour combler certains trous lorsque vous bougez. C’est un travail en cours, et nous continuons à itérer et à prototyper pour affiner cette expérience. Combler ces lacunes est essentiel pour maintenir l’illusion d’être présent, et bien que cela soit complexe, cela constitue une grande partie de ce qui rend la technologie si captivante.

Comment imaginez-vous l’intégration de ces souvenirs dans nos vies ?

Andrew McHugh : Pour l’instant, Wist est une expérience individuelle, mais cette année, nous lançons des fonctionnalités sociales et multijoueurs. Nous nous concentrons sur le partage avec des amis proches et la famille, car capturer un souvenir spatial est une expérience intime. L’intimité de ces moments exige un modèle de partage restreint. Nous explorons également des moyens de rendre ces souvenirs plus accessibles, comme des notifications ou des widgets sur l’écran d’accueil pour rappeler aux utilisateurs leurs moments capturés. Il s’agit de faire de ces souvenirs une partie intégrante de votre vie, pas juste quelque chose que vous regardez occasionnellement, mais quelque chose qui peut surgir et vous surprendre, apportant joie et nostalgie.

Qu’est-ce qui vous a poussé à quitter Samsung pour poursuivre la capture des souvenirs spatiaux ?

Andrew McHugh : Les souvenirs ont toujours été importants pour moi. Des événements marquants, comme la perte de ma grand-mère, m’ont fait réaliser à quel point il est essentiel de capturer et revivre ces moments. J’ai vu que les capacités techniques de l’iPhone et du Quest atteignaient un point où cela devenait possible. Rester chez Samsung et ne pas poursuivre cette passion semblait plus risqué. J’avais les compétences et la vision pour concrétiser cette idée, et c’est ce qui m’a poussé à sauter le pas.

Quelle est la prochaine étape pour Wist et comment comptez-vous utiliser l’IA dans votre application ?

Andrew McHugh : Nous avons lancé la version TestFlight sur Vision Pro et continuons à développer des fonctionnalités pour correspondre à celles sur Quest et iPhone. Nous utilisons également des modèles d’apprentissage automatique pour améliorer les captures, affiner la précision des profondeurs et perfectionner la segmentation. Les fonctionnalités sociales et multijoueurs sont de grands objectifs pour cette année. L’IA nous aidera à améliorer la résolution des images et à combler les lacunes, rendant les souvenirs capturés encore plus immersifs et précis. Le potentiel de l’IA pour améliorer la fidélité et le réalisme de nos captures est énorme, et nous sommes impatients de voir comment cela pourra rendre nos expériences encore plus fascinantes.

Si vous avez des questions ou souhaitez explorer cette technologie, découvrez l’interview complète ici.