Frame : les premières lunettes AR open source alimentées par l'IA

Cet article est réalisé en collaboration avec Gabriele Romagnoli, il est l’auteur original de cette interview et nous a donné l’autorisation en exclusivité de traduire son contenu en français. Gabriele est une pointure dans le domaine des technologies immersives dont il est avant tout un passionné. Cette interview est tirée de sa newsletter que nous vous recommandons pour plus d'interviews avec des fondateurs et créateurs à l'intersection de la XR et de l'IA.

Ces derniers mois, nous avons assisté à une montée en puissance des produits intégrant l'IA, qui repoussent les limites de ce que nous pensions possible. Il est fort probable que ces dispositifs deviendront bientôt des incontournables dans vos stratégies de communication et marketing, surtout lorsqu'ils s'associent à la réalité augmentée.

Cette synergie entre IA et AR ouvre des perspectives inédites, promettant d'enrichir les interactions avec les consommateurs et de transformer votre communication avec vos publics. C’est pourquoi nous avons sélectionné cette interview de Gabriele avec Bobak Tavangar.

Après la sortie tumultueuse du pin's Humane AI et du Rabbit R1, le monde des wearables IA s'est réchauffé. Dans ce numéro, nous allons plonger dans ce sujet avec Bobak Tavangar, le PDG de Brilliant Labs, qui développe Frame : les premières lunettes AR OPEN SOURCE alimentées par l'IA.

Entretien avec Bobak Tavangar

Pouvez-vous nous donner une idée de ce à quoi ressemble une journée dans la vie d’un utilisateur typique de Frame ?

Bobak Tavangar : Actuellement, notre clientèle de départ est composée en grande partie de développeurs. Nous avons des développeurs issus de divers secteurs comme la santé, l'éducation et le secteur public qui développent toutes sortes d'applications intéressantes. Par exemple, un médecin ou une infirmière peut l'utiliser pour soigner ses patients, un enseignant ou un étudiant à des fins pédagogiques, ou un biologiste marin pour des recherches sur le terrain. Cela dépend vraiment du domaine spécifique et de ce que font les gens. Nous en sommes encore aux premiers stades et il faudra du temps avant que ces appareils ne conquièrent le marché de masse.

Quels défis avez-vous rencontrés lors du développement et du lancement de Frame ?

Bobak Tavangar : Assurer que le matériel soit léger, abordable et doté d’une autonomie de batterie décente tout en intégrant des capacités d’IA avancées a été un défi technique de taille. De plus, favoriser un écosystème open source qui encourage l’innovation tout en maintenant la compétitivité nécessite une stratégie et une exécution minutieuses. Malgré ces défis, la réponse positive de la communauté des développeurs et des premiers utilisateurs a été très encourageante.

Comment les lunettes Frame communiquent-elles avec l'utilisateur ?

Bobak Tavangar : Frame utilise un écran optique devant les yeux et un son via des appareils connectés comme les AirPods. L'écran optique fournit un affichage tête haute avec du texte, des graphiques, des émojis et des images, tandis que le composant audio, géré par vos écouteurs, permet à notre assistant IA, Noah, de vous répondre. Les développeurs disposent d'une grande flexibilité pour personnaliser la sortie visuelle et audio afin de créer des expériences immersives et interactives pour les utilisateurs.

Qu'est-ce qui distingue Frame sur le marché encombré des lunettes AR ?

Bobak Tavangar : Frame se distingue par son caractère entièrement open source. Cela permet aux développeurs d'inspecter, de vérifier et de modifier à la fois le matériel et le logiciel. Cette ouverture ouvre la voie à l'innovation et à la personnalisation, et permet à chacun de créer des applications uniques dans différents secteurs. De plus, notre souci d'accessibilité et de légèreté rend Frame accessible à un public plus large, encourageant des utilisations et des applications plus créatives.

Comment Noah, l'assistant IA, fonctionne-t-il avec les lunettes Frame ?

Bobak Tavangar : Noah est notre assistant IA intégré à Frame. Il utilise un modèle de base, actuellement GPT-4, pour comprendre l'intention derrière les entrées de l'utilisateur, qu'il s'agisse d'audio, de texte ou d'images. Noah effectue ensuite des appels de fonctions pour sélectionner l'outil approprié à la tâche, comme la génération d'images avec Stable Diffusion, des recherches Web précises avec Perplexity ou le raisonnement sur les informations. Cette approche modulaire permet aux développeurs d'ajouter de nouveaux modèles et de personnaliser la manière dont Noah répond à des requêtes spécifiques.

Pouvez-vous expliquer le rôle de l’open source dans la stratégie de Brilliant Labs ?

Bobak Tavangar : L'open source est fondamental pour nous pour deux raisons principales. Tout d'abord, il est important que ces nouvelles technologies qui changent le monde soient ouvertes, inspectables, vérifiables et modifiables. Cela garantit la transparence et l'adaptabilité. Ensuite, d'un point de vue stratégique, nous pensons qu'à une époque où les développeurs et les clients recherchent davantage de réciprocité de la part des fournisseurs de plateformes, un écosystème ouvert favorisera l'innovation et créera une communauté forte autour de nos produits.

Quels sont quelques exemples d’applications que les développeurs ont créées sur Frame ?

Bobak Tavangar : Les développeurs ont développé une large gamme d'applications sur Frame. Par exemple, certains travaillent sur la reconnaissance faciale et les applications orientées vers le commerce de détail, tandis que d'autres se concentrent sur des cas d'utilisation médicale comme la reconnaissance des symptômes et la fourniture d'instructions étape par étape. Il existe également des applications de traduction dans des situations de niche et divers outils pédagogiques. Notre communauté Discord dynamique partage ces projets, et il est passionnant de voir les façons diverses et innovantes dont les développeurs utilisent Frame.

Comment garantissez-vous la confidentialité et la confiance avec les données collectées par Frame ?

Bobak Tavangar : La confidentialité et la confiance sont primordiales pour nous. Nous abordons la gestion des données comme une banque, en agissant en tant que dépositaire. Les utilisateurs ont le contrôle de leurs données, stockées sur un serveur avec des clés auxquelles eux seuls peuvent accéder. Ils décident qui a accès à leurs données et peuvent les modifier ou les supprimer comme bon leur semble. Nous pensons que ce modèle est essentiel pour instaurer la confiance et garantir que les utilisateurs se sentent en sécurité lorsqu'ils utilisent notre technologie.

Quels sont les modèles économiques actuels de Frame et Brilliant Labs ?

Bobak Tavangar : Notre modèle économique comprend une vente ponctuelle de matériel et des abonnements pour un accès de niveau professionnel aux services d'IA via Noah. Les utilisateurs peuvent accéder à des modèles plus avancés ou à des niveaux d'utilisation plus élevés moyennant un abonnement mensuel. De plus, nous prévoyons de proposer des services de personnalisation de l'IA, qui nécessitent une puissance de calcul importante, sur la base d'un abonnement. Cette approche nous permet de fournir une valeur et un soutien continus tout en générant des revenus récurrents.

Comment conciliez-vous le fait d’être open source tout en restant compétitif sur le marché ?

Bobak Tavangar : Pour trouver un équilibre entre open source et compétitivité, nous devons nous concentrer sur les domaines dans lesquels nous pouvons apporter une valeur ajoutée unique, comme la création de matériel léger et abordable avec une autonomie de batterie décente. Nous ne cherchons pas à concurrencer directement les entreprises spécialisées dans le développement de modèles, mais nous nous concentrons plutôt sur l'intégration et le traitement des données pour rendre les interactions avec l'IA de plus en plus personnelles. La confidentialité et la confiance sont des facteurs de différenciation clés pour nous, car elles garantissent que les utilisateurs se sentent en sécurité lorsqu'ils utilisent notre technologie.

Quelle est votre impression sur la façon dont les réseaux sociaux et les influenceurs ont réagi aux critiques du Rabbit R1 et du Humane AI Pin ?

Bobak Tavangar : C'est vraiment intéressant. D'un côté, les gens disent qu'ils aiment l'innovation et veulent célébrer la culture des startups, mais d'un autre côté, Internet est devenu comme les anciens Colisée de l'époque romaine. Il y a beaucoup de soif de sang, et les gens semblent avoir une poussée de dopamine en détruisant les autres. Cette réaction est souvent motivée par le modèle économique d'Internet, qui récompense les clics et les vues. Bien qu'il existe des publications fiables, beaucoup de critiques visent davantage à générer des vues qu'à fournir une analyse réfléchie.

Comment voyez-vous l’évolution du marché des appareils d’IA portables au cours des trois prochaines années ?

Bobak Tavangar : Au cours des trois prochaines années, nous nous attendons à ce que les modèles de base deviennent plus intelligents et plus performants, avec une latence réduite à mesure que le coût des GPU diminue et que davantage de modèles s'exécutent localement sur les appareils. Les assistants IA deviendront plus interactifs et capables d'effectuer des tâches complexes à la fois numériquement et dans le monde physique. À mesure que l'IoT s'intègre davantage, ces agents agiront sur divers appareils qui nous entourent, rendant nos interactions avec la technologie plus fluides et plus puissantes.

Retrouvez l'interview complète ci-dessous (en anglais) :