⌨️ Pourquoi la saisie dans la XR est-elle toujours aussi pénible ?

Olivier Plante est le PDG de Fleksy, un SDK de clavier en marque blanche qui offre les expériences de frappe les plus rapides au monde. Avec plus de 12 ans d'expérience, il travaille à rendre la saisie de texte toujours plus fluide, aussi bien sur mobile que dans la XR.

Dans cette conversation, nous explorons en profondeur :

• Pourquoi la saisie dans la XR reste si frustrante

• Pourquoi la voix ne remplacera pas la frappe de sitôt

• Comment l'IA transforme notre manière de taper

Interview avec Olivier Plante

Pourquoi la saisie dans la XR est-elle toujours aussi pénible ?

Olivier Plante : C’est une excellente question, et cela tient à trois grands défis.

Premièrement, il n’y a pas de retour tactile. Sur un clavier physique, on sent les touches. Même sur un écran tactile, il y a au moins une surface avec laquelle interagir. Mais en XR, vous tapez dans le vide : le système doit deviner si vous avez réellement appuyé sur une touche ou non.

Deuxièmement, la précision de la saisie est beaucoup plus difficile. Sur mobile, vous touchez un écran, et nous suivons chaque mouvement au milliseconde près. En XR, le système doit interpréter la position de vos doigts dans l’espace 3D, ce qui génère beaucoup plus d’erreurs.

Troisièmement, il n’existe pas de standard universel. Le clavier du Vision Pro d’Apple est différent de celui de Meta, et aucun d’entre eux n’est encore véritablement optimisé pour la XR.

Au-delà de l'absence de retour tactile, qu'est-ce qui rend les claviers XR si frustrants ?

Olivier Plante : Le principal problème, c’est le moteur derrière le clavier. Il doit comprendre : « L’utilisateur voulait-il taper Q, W ou E ? »

En XR, vous n’avez pas de point de contact fixe comme sur un écran tactile. Le logiciel doit donc être extrêmement tolérant tout en s’assurant que les mots produits ne soient pas totalement erronés.

Des entreprises comme Meta ont investi massivement dans ce domaine, mais c’est encore un défi de taille.

Chez Fleksy, notre expertise est justement de gérer la frappe approximative : notre moteur est capable de corriger l’entrée même lorsque l’utilisateur est imprécis.

C’est ce qu’il faut pour que la saisie en XR fonctionne réellement.

Comment évaluez-vous la qualité d'un clavier virtuel ?

Olivier Plante : Nous utilisons plusieurs indicateurs.

Il y a d’abord le F-score, qui mesure la précision de l’autocorrection, la prédiction du mot suivant et la précision du glissement de doigt.

Ensuite, nous mesurons la vitesse de frappe, en mots par minute (WPM). Aujourd’hui, un bon clavier tactile atteint entre 80 et 100 mots par minute.

En XR ? On en est encore très loin !

La qualité du modèle linguistique est également essentielle : à quel point sait-il gérer différentes langues, le langage familier ou encore les termes techniques ?

Tous ces éléments déterminent si un clavier aide vraiment l’utilisateur… ou l’irrite.

Qu'est-ce qui fait de Fleksy une solution idéale pour la XR ?

Olivier Plante : Contrairement aux claviers d’Apple ou de Google, Fleksy n’a pas besoin d’être réentraîné lorsque la position du clavier change.

En XR, vous pouvez vouloir afficher le clavier sur votre poignet, en flottement dans l’espace, ou projeté sur un bureau.

Avec les modèles traditionnels, chaque changement de position exige de réentraîner l’IA, ce qui est lent et coûteux.

Fleksy fonctionne de manière dynamique : vous pouvez redimensionner le clavier, qu’il soit aussi petit qu’une montre connectée ou grand comme un clavier de bureau, il restera tout aussi précis.

Pouvez-vous partager un exemple concret de l'utilisation de Fleksy ?

Olivier Plante : Bien sûr !

L'un de mes exemples préférés vient du secteur de la santé. Certains de nos clients utilisent les données de frappe de Fleksy pour détecter précocement des signes de Parkinson, d'Alzheimer ou de démence, en analysant l'évolution de la frappe des utilisateurs dans le temps.

Un autre exemple : des claviers intégrant l’IA permettent de réécrire un message d’un simple geste, en s’appuyant sur des suggestions de type ChatGPT directement dans WhatsApp.

Comment Fleksy collabore-t-il avec les développeurs pour créer de meilleures expériences de saisie ?

Olivier Plante : Nous proposons un SDK de clavier qui permet aux développeurs de créer un clavier personnalisé et haute performance sans repartir de zéro.

Que ce soit pour la XR, pour de la saisie assistée par l’IA, ou pour des applications bancaires sécurisées, notre SDK aide les développeurs à construire des claviers plus rapides et plus précis en moins de temps.

Nous comptons déjà plus de 60 clients dans des secteurs comme la santé, l’IA ou l’automobile.

Mais les utilisateurs ne risquent-ils pas de faire plus d'erreurs sur un clavier plus petit ?

Olivier Plante : Étonnamment, non.

Parce que notre IA compense les erreurs de frappe, nous pouvons réduire considérablement la taille du clavier sans sacrifier la précision.

Imaginez que vous êtes dans un bus et que vous faites apparaître un minuscule clavier monté sur votre poignet pour répondre à un message avec un geste de glissement.

Ou que vous êtes en VR et souhaitez afficher un clavier flottant sur le côté de votre champ de vision.

Avec Fleksy, tout cela est possible, car notre technologie s’adapte automatiquement aux différentes tailles et positions.

Vous avez mentionné le swipe input (glissement), comment voyez-vous son évolution dans la XR ?

Olivier Plante : Le swipe input va devenir la méthode dominante pour la saisie en XR.

Si vous utilisez le suivi des mains, glisser sur un clavier virtuel est beaucoup plus simple que d’essayer de taper sur des touches individuelles en plein air.

Mais le swipe ne signifie pas forcément faire glisser son doigt sur un clavier classique : avec des interfaces neuronales comme le bracelet de Meta, vous pourrez effectuer des gestes de glissement par de simples micro-mouvements des doigts.

C’est clairement dans cette direction que va évoluer la saisie en XR.

Pourquoi n'avons-nous pas encore ces claviers XR avancés ?

Olivier Plante : Honnêtement ?

Les grandes entreprises sont trop concentrées sur l’idée de tout réinventer plutôt que de s’appuyer sur ce qui fonctionne déjà.

Il y a une obsession pour "l’innovation radicale", mais parfois, la meilleure solution est d'améliorer intelligemment l'existant.

Aujourd'hui, les claviers XR sont soit de simples claviers QWERTY flottants, soit des systèmes expérimentaux difficiles à utiliser.

La meilleure voie consiste à conserver des mises en page familières tout en y intégrant des améliorations basées sur l’IA : redimensionnement dynamique, meilleure prédiction de mots, méthodes de saisie adaptatives.

Alors pourquoi ne pas simplement utiliser la saisie vocale ?

Olivier Plante : On nous pose tout le temps cette question :

« Pourquoi avons-nous encore besoin de claviers alors que la reconnaissance vocale existe ? »

La réponse est simple : la voix est publique.

Si je suis dans un bureau calme, dans un bus ou en réunion, je n’ai pas envie de dicter mes messages à voix haute.

De plus, la saisie vocale manque de précision : elle peine avec les termes techniques, les noms propres et les accents.

La voix et le clavier vont coexister, mais la frappe n’est pas près de disparaître.

Comment l'IA transforme-t-elle la technologie des claviers ?

Olivier Plante : L’IA révolutionne les claviers de deux façons principales :

Premièrement, par les suggestions contextuelles.

Au lieu de simplement prédire le prochain mot, les claviers du futur prédiront des phrases entières en fonction de votre conversation.

Deuxièmement, par des agencements dynamiques.

Imaginez un clavier qui se réorganise en temps réel selon ce que vous êtes en train de taper.

Par exemple, si vous écrivez « Je vais à », le clavier pourrait faire apparaître des boutons géants pour « la boutique », « la maison » ou « au travail » afin de sélectionner plus rapidement.

C’est vers cela que nous allons.

C’est tout pour aujourd’hui !

N’oubliez pas de vous abonner à la newsletter si vous avez trouvé cet échange intéressant.

Découvrez l’interview complète en vidéo ici.