Clé à emporter
- Un nouvel outil logiciel permet à l'IA de surveiller les commentaires sur Internet à la recherche de discours de haine.
- L'IA est nécessaire pour modérer le contenu Internet en raison de l'énorme volume de matériel qui dépasse les capacités humaines.
- Mais certains experts affirment que la surveillance de la parole par l'IA soulève des problèmes de confidentialité.
Alors que les discours de haine en ligne augmentent, une entreprise affirme qu'elle pourrait avoir une solution qui ne repose pas sur des modérateurs humains.
Une startup appelée Spectrum Labs fournit une technologie d'intelligence artificielle aux fournisseurs de plateformes pour détecter et arrêter les échanges toxiques en temps réel. Mais les experts disent que la surveillance de l'IA soulève également des problèmes de confidentialité.
"La surveillance de l'IA nécessite souvent d'examiner les modèles au fil du temps, ce qui nécessite de conserver les données", a déclaré David Moody, associé principal chez Schellman, une société d'évaluation de la conformité en matière de sécurité et de confidentialité, à Lifewire dans un entretien par e-mail. "Ces données peuvent inclure des données que les lois ont signalées comme des données de confidentialité (informations personnellement identifiables ou PII)."
Plus de discours de haine
Spectrum Labs promet une solution high-tech au problème séculaire du discours de haine.
"En moyenne, nous aidons les plateformes à réduire leurs efforts de modération de contenu de 50 % et à multiplier par 10 la détection des comportements toxiques", affirme l'entreprise sur son site Web.
Spectrum affirme avoir travaillé avec des instituts de recherche spécialisés dans des comportements nuisibles spécifiques pour créer plus de 40 modèles d'identification des comportements. La plate-forme de modération de contenu Guardian de l'entreprise a été créée par une équipe de scientifiques des données et de modérateurs pour "soutenir la protection des communautés contre la toxicité"."
Il y a un besoin croissant de moyens de lutter contre le discours de haine car il est impossible pour un humain de surveiller chaque élément du trafic en ligne, Dylan Fox, PDG d'AssemblyAI, une startup qui fournit la reconnaissance vocale et a des clients impliqués dans la surveillance de la haine discours, a déclaré Lifewire dans une interview par e-mail.
"Il y a environ 500 millions de tweets par jour rien que sur Twitter", a-t-il ajouté. "Même si une personne pouvait vérifier un tweet toutes les 10 secondes, Twitter aurait besoin d'employer 60 000 personnes pour le faire. Au lieu de cela, nous utilisons des outils intelligents comme l'IA pour automatiser le processus."
Contrairement à un humain, l'IA peut fonctionner 24h/24 et 7j/7 et potentiellement être plus équitable car elle est conçue pour appliquer uniformément ses règles à tous les utilisateurs sans aucune interférence de croyances personnelles, a déclaré Fox. Il y a aussi un coût pour les personnes qui doivent surveiller et modérer le contenu.
"Ils peuvent être exposés à la violence, à la haine et à des actes sordides, qui peuvent nuire à la santé mentale d'une personne", a-t-il déclaré.
Spectrum n'est pas la seule entreprise qui cherche à détecter automatiquement les discours de haine en ligne. Par exemple, Center Malaysia a récemment lancé un tracker en ligne conçu pour détecter les discours de haine parmi les internautes malaisiens. Le logiciel qu'ils ont développé, appelé Tracker Benci, utilise l'apprentissage automatique pour détecter les discours de haine en ligne, en particulier sur Twitter.
Le défi consiste à créer des espaces dans lesquels les gens peuvent vraiment s'engager les uns avec les autres de manière constructive.
Problèmes de confidentialité
Bien que des solutions technologiques comme Spectrum puissent lutter contre les discours de haine en ligne, elles soulèvent également des questions sur l'ampleur de la surveillance des ordinateurs.
Il y a des implications sur la liberté d'expression, mais pas seulement pour les orateurs dont les messages seraient supprimés en tant que discours de haine, Irina Raicu, directrice de l'éthique sur Internet au Markkula Center for Applied Ethics de l'Université de Santa Clara, a déclaré à Lifewire dans un e-mail entretien.
"Autoriser le harcèlement au nom de la 'liberté d'expression' a poussé les cibles d'un tel discours (en particulier lorsqu'il s'adresse à des individus particuliers) à cesser de parler, à abandonner complètement diverses conversations et plates-formes", a déclaré Raicu."Le défi est de savoir comment créer des espaces dans lesquels les gens peuvent vraiment s'engager les uns avec les autres de manière constructive."
La surveillance de la parole par IA ne devrait pas soulever de problèmes de confidentialité si les entreprises utilisent des informations accessibles au public pendant la surveillance, a déclaré Fox. Cependant, si l'entreprise achète des détails sur la façon dont les utilisateurs interagissent sur d'autres plates-formes pour pré-identifier les utilisateurs problématiques, cela pourrait soulever des problèmes de confidentialité.
"Cela peut certainement être un peu une zone grise, selon l'application", a-t-il ajouté.
Justin Davis, le PDG de Spectrum Labs, a déclaré à Lifewire dans un e-mail que la technologie de l'entreprise peut examiner 2 à 5 000 lignes de données en quelques fractions de seconde. "Plus important encore, la technologie peut réduire la quantité de contenu toxique auquel les modérateurs humains sont exposés", a-t-il déclaré.
Nous sommes peut-être à l'aube d'une révolution dans la surveillance par l'IA de la parole humaine et du texte en ligne. Les avancées futures incluent de meilleures capacités de surveillance indépendantes et autonomes pour identifier des formes de discours de haine jusque-là inconnues ou tout autre schéma censurable qui évoluera, a déclaré Moody.
AI sera également bientôt en mesure de reconnaître les modèles dans les modèles de discours spécifiques et de relier les sources et leurs autres activités grâce à l'analyse des actualités, aux documents publics, à l'analyse des modèles de trafic, à la surveillance physique et à de nombreuses autres options, a-t-il ajouté.
Mais certains experts disent que les humains devront toujours travailler avec des ordinateurs pour surveiller les discours de haine.
"L'IA seule ne fonctionnera pas", a déclaré Raicu. "Il doit être reconnu comme un outil imparfait qui doit être utilisé en conjonction avec d'autres réponses."
Correction 1/25/2022: Ajout d'une citation de Justin Davis dans le 5e paragraphe à partir de la fin pour refléter un e-mail post-publication.
