Clé à emporter
- Navi utilise SharePlay et la synthèse vocale intégrée d'Apple pour proposer des sous-titres et des traductions dans FaceTime.
- C'est loin d'être parfait mais déjà assez bien.
- Les sous-titres sont parfaits pour l'accessibilité.
Navi est une application qui ajoute des sous-titres en direct et des traductions en temps réel à vos appels FaceTime.
L'application utilise SharePlay et la reconnaissance vocale intégrée pour ajouter des sous-titres et des traductions dans 20 langues à vos appels FaceTime. C'est une utilisation incroyable de SharePlay, que la plupart d'entre nous considèrent comme un moyen astucieux de regarder des films synchronisés avec des personnes ailleurs. Vous n'aurez peut-être pas besoin de renvoyer votre traducteur pour l'instant, mais une application qui le fait bien pourrait être incroyablement utile.
"Je ne reçois pas l'audio de l'appel FaceTime", écrit Jordi Bruin, développeur de Navi, sur Twitter, "mais j'utilise SharePlay pour le partager entre les participants à l'appel."
SharePlay
SharePlay est une nouvelle fonctionnalité d'iOS 15 et de macOS 12.1 qui vous permet de partager et de synchroniser des éléments dans les appels FaceTime. Avec l'exemple de visionnage de film ci-dessus, n'importe quel participant peut mettre en pause ou lire le film, par exemple, pendant que vous discutez tous dans l'appel FaceTime. La vidéo FaceTime reste ouverte dans un petit panneau flottant d'image dans l'image, et chaque participant exécute l'application localement sur son appareil. L'astuce de SharePlay consiste à synchroniser tout ce qui se passe dans ces applications locales, afin que tout le monde partage l'expérience, qu'il s'agisse d'un film, d'un entraînement Fitness+ ou d'une feuille de calcul.
Navi utilise la même technologie, seule l'application en appel n'est pas un film, c'est un moteur de traduction en temps réel. Pour l'utiliser, vous lancez l'application pendant un appel FaceTime et appuyez sur le bouton "Activer les sous-titres". Ensuite, d'autres participants peuvent également rejoindre l'action et voir les sous-titres en direct pour l'orateur actuel. Si quelqu'un monologue, sa bulle grossit et reste un peu plus longtemps.
Pour les sourds, cela peut faire la différence entre appeler ou non. Et pour tout le monde, cela signifie que vous pouvez avoir des conversations utiles entre des personnes qui ne partagent pas une langue.
Texte Universel
Internet est construit sur du texte, et c'est formidable. Il est petit et facile à créer, à lire et à traduire. Il est également simple de se transformer en discours synthétisé. Le résultat est que n'importe qui de n'importe où peut participer à n'importe quelle conversation. La langue n'est pas un obstacle, pas plus que la surdité ou tout autre type de cécité, tant que vous utilisez un appareil doté de bons outils d'accessibilité pour les malvoyants ou malentendants.
Mais le mot parlé est beaucoup plus difficile à traiter. La dictée de la parole en texte est impressionnante, mais ce n'est que relativement récemment que la reconnaissance vocale générale est devenue suffisamment bonne pour une utilisation générale - l'application Translate d'Apple en est un bon exemple. Introduit dans iOS 15, il propose des traductions audio en temps réel. Si nous partions encore en vacances à l'étranger, ce serait parfait.
Maintenant, nous utilisons de plus en plus la vidéo pour le travail et pour rester en contact avec nos amis et notre famille. Quelle que soit la façon dont nous travaillerons à l'avenir, la barrière des appels vidéo a été complètement brisée. C'est désormais un outil courant, mais il manque beaucoup de la finesse des outils de communication écrite.
Quelque chose comme Navi, qui offre des sous-titres et une traduction en temps réel, pourrait être significatif. L'accessibilité est un aspect, mais la capacité de converser avec des personnes dont vous ne parlez pas la langue ouvre les affaires internationales à un degré surprenant.
En action
J'ai testé Navi avec Graham Bower, développeur d'applications, auteur et utilisateur d'appareils auditifs. C'est assez bon mais pas encore prêt pour les tâches critiques. Certaines des transcriptions étaient comiquement mauvaises et trop vulgaires pour être racontées. Au fur et à mesure que notre conversation avançait, cependant, la reconnaissance de son discours était bien meilleure. Cela a du sens car le moteur de dictée iOS s'adapte à votre voix au fil du temps.
La traduction a également fonctionné, bien que la qualité de ses traductions dépende de l'exactitude de la saisie.
Il est facile de projeter ce type de technologie dans les futures lunettes Apple ou tout autre produit AR/VR sur lequel la rumeur travaille cette semaine.
"Je peux voir cela fonctionner dans des lunettes AR", a déclaré Bower lors de notre conversation. "Certaines personnes, même avec une ouïe normale, préfèrent les sous-titres dans les films. Ce serait comme des sous-titres pour la vraie vie."
Bien qu'il s'agisse d'une démonstration technique impressionnante, Navi n'en est pas encore là. Pour une utilisation professionnelle fiable, la reconnaissance vocale initiale d'Apple devra être beaucoup plus précise. Mais en termes de rapidité, ça va, et les traductions sont aussi bonnes que n'importe quelle autre.
Mais nous sommes sur la bonne voie maintenant, et ce genre de choses ne fera que s'améliorer.
