Clé à emporter
- Le système d'intelligence artificielle appelé DALL-E2 semble avoir créé son propre système de communication écrite.
- Certains experts disent que le langage apparent n'est peut-être que du charabia.
- C'est un exemple de la difficulté d'interpréter les résultats des systèmes d'IA avancés.
Il semble que l'intelligence artificielle (IA) ait développé son propre langage, mais certains experts sont sceptiques quant à cette affirmation.
Le système d'intelligence artificielle texte-image d'OpenAI appelé DALL-E2 semble avoir créé son propre système de communication écrite. C'est un exemple de la difficulté d'interpréter les résultats des systèmes d'IA avancés.
"En raison de la taille et de la profondeur des grands modèles, il est très difficile d'expliquer le comportement des modèles", a déclaré Teresa O'Neill, directrice de l'architecture des solutions pour la compréhension du langage naturel chez iMerit, à Lifewire dans une interview par e-mail. "C'est l'un des principaux défis, et dans certains cas, des problèmes éthiques avec des modèles de plus en plus puissants. Si nous ne pouvons pas expliquer pourquoi ils se comportent comme ils le font, pouvons-nous prédire leur comportement ou le maintenir en ligne avec nos normes et nos attentes ?"
Chats IA
Giannis Daras, étudiant en informatique, a récemment noté que le système DALLE-2, qui crée des images basées sur la saisie de texte, renverrait des mots absurdes sous forme de texte dans certaines circonstances.
"Une limitation connue de DALLE-2 est qu'il a du mal avec le texte", a-t-il écrit dans un article publié sur le serveur de préimpression Arxiv. "Par exemple, des invites textuelles telles que: "Une image du mot avion" génèrent souvent des images contenant du texte charabia."
Mais, écrit Daras, il y a peut-être une méthode derrière ce charabia apparent. "Nous découvrons que ce texte produit n'est pas aléatoire, mais révèle plutôt un vocabulaire caché que le modèle semble avoir développé en interne", a-t-il poursuivi. "Par exemple, lorsqu'il est alimenté avec ce texte charabia, le modèle produit fréquemment des avions."
Dans son tweet, Daras a souligné que lorsqu'on a demandé à DALLE-2 de sous-titrer une conversation entre deux agriculteurs, cela les a montrés en train de parler, mais les bulles étaient remplies de ce qui ressemblait à des mots absurdes. Mais Daras a découvert que les mots semblaient avoir leur propre signification pour l'IA: les agriculteurs parlaient de légumes et d'oiseaux.
Nicola Davolio, PDG de la société technologique Hupry, qui travaille avec l'IA, a expliqué à Lifewire dans une interview par e-mail que le langage est basé sur des symboles que le système DALL-E2 a appris à associer à certains concepts. Par exemple, le symbole pour "chien" peut être lié à l'image d'un chien, tandis que le symbole pour "chat" peut être associé à l'image d'un chat. DALL-E2 a créé son langage car il lui permet de communiquer plus efficacement avec d'autres systèmes d'IA.
Les puzzles comme le vocabulaire apparemment caché de DALL-E2 sont amusants à résoudre, mais ils mettent également en évidence des questions plus lourdes…
"La langue est composée de symboles qui ressemblent à des hiéroglyphes égyptiens et ne semble pas avoir de signification spécifique", a-t-il ajouté. "Les symboles n'ont probablement aucun sens pour les humains, mais ils sont parfaitement logiques pour le système d'IA puisqu'il a été formé sur des millions d'images."
Les chercheurs pensent que le système d'IA a créé le langage pour l'aider à mieux comprendre les relations entre les images et les mots, a déclaré Davolio.
"Ils ne savent pas pourquoi le système d'IA a développé son langage, mais ils soupçonnent que cela pourrait avoir quelque chose à voir avec la façon dont il apprenait à créer des images", a ajouté Davolio. "Il est possible que le système d'IA ait développé son langage pour rendre la communication entre les différentes parties du réseau plus efficace."
AI Mystères
DALL-E2 n'est pas le seul système d'IA qui a développé son langage interne, a souligné Davolio. En 2017, le système AutoML de Google a créé une nouvelle forme d'architecture neuronale appelée "réseau enfant" après avoir été laissé libre de décider de la meilleure façon d'accomplir une tâche donnée. Ce réseau d'enfants était incapable d'être interprété par ses créateurs humains.
"Ces exemples ne sont que quelques exemples dans lesquels les systèmes d'IA ont développé des façons de faire les choses que nous ne pouvons pas expliquer", a déclaré Davolio. "C'est un phénomène émergent qui est à la fois fascinant et alarmant. À mesure que les systèmes d'IA deviennent plus complexes et autonomes, nous pouvons de plus en plus nous retrouver dans la position de ne pas comprendre comment ils fonctionnent."
O'Neill a déclaré qu'elle ne pensait pas que DALL-E2 créait son propre langage. Au lieu de cela, elle a dit que la raison de l'invention linguistique apparente est probablement un peu plus prosaïque.
"Une explication plausible est une chance aléatoire - dans un modèle aussi grand, un peu de la loi de Murphy pourrait s'appliquer: si une chose étrange peut se produire, cela se produira probablement", a ajouté O'Neill. Une autre possibilité suggérée par l'analyste de recherche Benjamin Hilton dans un fil Twitter discutant des découvertes de Daras est que la forme de l'expression "apoploe vesrreaitais" imite la forme d'un nom latin pour un animal. Ainsi, le système a engendré un nouvel ordre d'Aves, a ajouté O'Neill.
"Les puzzles comme le vocabulaire apparemment caché de DALL-E2 sont amusants à résoudre, mais ils mettent également en évidence des questions plus lourdes concernant le risque, les préjugés et l'éthique dans le comportement souvent impénétrable des grands modèles", a déclaré O'Neill..
