Clé à emporter
- ToxMod, de la société Modulate basée à Boston, prétend détecter et agir contre les discours perturbateurs automatiquement, en temps réel.
- Au lieu d'être limité par un langage simple, ToxMod utilise l'apprentissage automatique pour comprendre des éléments intangibles comme l'émotion, le volume et le rythme.
- ToxMod est actuellement conçu pour être utilisé avec les salles de discussion en jeu, mais il n'y a aucune raison pour qu'il ne puisse pas arriver sur votre chaîne Twitch.
Une entreprise basée à Boston utilise l'apprentissage automatique pour créer ce qu'elle considère comme le premier service de modération vocale natif au monde, qui peut faire la différence entre ce qui est dit et ce que cela signifie.
ToxMod est une tentative de résoudre le paradoxe de la modération de tout espace ouvert sur Internet; il n'y a pas assez d'humains pour répondre à la demande, mais les algorithmes, les filtres et un système de rapport ne comprennent pas les nuances.
Avec la base de données de ToxMod, il peut suivre des facteurs dans le discours des joueurs comme l'émotion et le volume, ce qui l'aide à faire la distinction entre un laps de temps momentané et un modèle de comportement. Il a récemment été annoncé comme un ajout au jeu de football américain 7v7 Gridiron, actuellement en accès anticipé à Steam.
"Tout le monde sait que le harcèlement, les discours de haine et la toxicité dans le chat vocal et les jeux sont un énorme problème. C'est généralement compris", a déclaré Carter Huffman, directeur de la technologie et co-fondateur de Modulate, lors d'une réunion Google avec Fil de vie. "Nous pourrions prendre les fonctionnalités que nous extrayions à travers cette variété de systèmes d'apprentissage automatique et les fusionner dans un système qui prendrait en compte toutes ces connaissances expertes que nous apprenions de la communauté."
All Hail Our New Robot Modérateurs
Modulate travaille sur ToxMod depuis l'automne dernier et l'a intégré comme l'un des trois services de base de l'entreprise. Il propose également VoiceWear, un déguisement vocal alimenté par l'apprentissage automatique, et VoiceVibe, un service d'agrégation qui permet aux utilisateurs de découvrir ce dont les membres de leurs communautés discutent.
Lorsque ToxMod est en cours d'exécution dans un chat, il peut être programmé via le panneau d'administration de Modulate pour prendre une variété d'actions automatiques, telles que l'émission d'avertissements, la mise en sourdine des joueurs ou le réglage individuel du volume.
Il utilise un système de triage où son instance locale est la première à agir, avant de vérifier auprès des serveurs de Modulate pour confirmation. Ensuite, cela dégénère finalement au point où cela pourrait nécessiter une intervention humaine. En parcourant chaque vérification à tour de rôle, ce que Modulate appelle des "portes de triage", l'idée est que ToxMod donne à une petite équipe de modérateurs les outils avec lesquels modérer efficacement une communauté beaucoup plus large.
"La triste vérité est que tout le monde a eu cette expérience, d'essayer d'utiliser le chat vocal sur n'importe quelle plate-forme sur laquelle vous étiez, et de découvrir que, mon garçon, c'était une mauvaise idée", a déclaré Mike Pappas, PDG de Modulate, dans un appel vidéo avec Lifewire. "Pouvoir entrer et dire: "Ce n'est pas le Far West. Il y a des règles". Je pense que c'est vraiment important."
Briser le système
Naturellement, la deuxième ou la troisième question à se poser à propos de ToxMod est de savoir comment le casser.
Avec de nombreux systèmes de modération automatique, tels que les algorithmes qui régissent Twitter, il est facile de les jouer contre des personnes que vous n'aimez pas. Signalez simplement en masse votre cible avec quelques comptes de marionnettes et ils mangeront de manière fiable une interdiction.
"Au niveau de base, ToxMod n'a pas besoin de s'appuyer sur ces rapports de joueurs supplémentaires", a déclaré Pappas. "Il est toujours capable de produire des estimations solides des infractions auxquelles nous devons prêter attention. Vous n'avez pas à vous soucier des joueurs essayant de déjouer le système, car il n'y a vraiment rien à jouer.
Tout le monde sait que le harcèlement, les discours de haine et la toxicité dans le chat vocal et les jeux sont un énorme problème.
"Tout ce que vous contrôlez en tant que joueur, c'est votre propre audio", a poursuivi Pappas. "La pire chose que vous puissiez faire est d'être moins mauvais d'une personne afin que nous ne vous signalions pas comme un mauvais acteur, ce qui, je dirais, est quelque chose de proche du succès de la mission."
En général, l'idée derrière ToxMod est donc une tentative de récupération active. À ce stade, de nombreux joueurs ont subi une forme de harcèlement de la part d'inconnus au hasard dans des canaux vocaux ouverts, allant d'insultes aléatoires à des menaces actives. En conséquence, les joueurs ont tendance à éviter le chat vocal en général, préférant renoncer à sa commodité en échange de leur propre tranquillité d'esprit.
"Ce que nous nous attendons à voir [ce sont les mauvais acteurs qui passent] beaucoup moins de temps dans le chat vocal avant d'être trouvés et supprimés", a déclaré Pappas."Cela a plus qu'un simple impact linéaire. Quand tout le monde voit le chat vocal comme un endroit plus sûr, plus de bons acteurs sont prêts à revenir au chat vocal et à essayer. Je pense que tout peut tourner dans une direction positive."
