Des logiciels pour gérer le cyberharcèlement

Un articlerepris du blog binaire une publication sous licence CC by

Le cyberharcèlement est une forme d’intimidation perpétrée par des moyens électroniques. Ce type de harcèlement est en croissance constante, en particulier du fait de la propagation d’Internet et des appareils mobiles chez les jeunes. En 2016, un million d’adolescents ont été harcelés, menacés ou soumis à d’autres formes de harcèlement en ligne uniquement sur Facebook. On estime qu’environ 70 % des victimes de harcèlement classique ont également subi des épisodes via des canaux virtuels. On sait maintenant que le cyberharcèlement peut conduire les victimes à la dépression, nuire à leur santé mentale, ou augmenter leur propension à consommer des substances. On a aussi observé, qu’en particulier chez les jeunes, le cyberharcèlement pouvait encourager au suicide.

L’informatique, qui fournit aux intimidateurs de nouveaux moyens de perpétrer un comportement nocif, permet également de lutter contre le cyberharcèlement. Le projet CREEP(pour Cyberbullying Effects Prevention ) s’efforce de développer des logiciels dans ce sens. C’est un projet multidisciplinaire cofinancé par l’Institut Européen de la Technologie et du Numérique (EIT-Digital) qui regroupe un certain nombre de partenaires en Europe, la Fondation Bruno Kessler , les sociétés Expert System et Engineering, l’Université Côte d’Azur et Inria Rennes.

Le projet envisage notamment la création de deux produits innovants.

– CREEP Virtual Coaching System est un assistant virtuel qui offre des conseils et des recommandations de prévention aux adolescents victimes ou susceptibles de l’être. L’utilisateur interagit avec son propre système de coaching virtuel via un chatbot, un assistant vocal s’appuyant sur l’intelligence artificielle.
– CREEP Semantic Technology est un outil de surveillance automatique des réseaux sociaux permettant de détecter rapidement les situations de cyberharcèlement et de surveiller des jeunes victimes (même potentielles), dans le strict respect de la législation en vigueur, de la confidentialité et protection des données personnelles.

Un groupe interdisciplinaire de sociologues et psychologues a coordonné des analyses sociologiques, qualitatives et quantitatives, visant à mieux comprendre le phénomène du cyberharcèlement, les profils des victimes et des intimidateurs ainsi que la dynamique sous-jacente pour répondre aux exigences socio-techniques nécessaires pour le développement de technologies. Par exemple, une enquête a été menée sur un échantillon d’étudiants italiens âgés de 11 à 18 ans (3 588 répondants) dans le but de comprendre la composition socio-démographique des victimes, leurs mécanismes de réaction et ce qui les influence. Les résultats de l’enquête ont montré par exemple que les plus jeunes (11-13 ans), en particulier, refusaient fortement de demander de l’aide. L’objectif est de définir les suggestions les plus efficaces à fournir par l’assistant virtuel en fonction du profil de l’utilisateur.

Pour cette raison, les conseils doivent viser à briser le « mur de caoutchouc », à pousser les harcelés à se confier aux adultes et à renforcer les réseaux sociaux sur lesquels ils peuvent compter (enseignants, amis, parents). Dans le même temps, des différences significatives ont été constatées entre les hommes et les femmes. Pour cette raison, l’assistant virtuel fournira des suggestions diversifiées en fonction du genre. Enfin, de manière générale, la nécessité de sensibiliser les jeunes à l’utilisation consciente des réseaux sociaux et des applications mobiles est apparue, l’activité intense en ligne augmentant de manière exponentielle le risque de nouveaux cas de harcèlement.

emb4777|center>
CREEP Semantic Technology (réseaux utilisateurs, et messages haineux détectés)

Pour ce qui concerne la détection, le problème est complexe.

Un défi vient de l’énorme masse de données échangées tous les jours dans les réseaux sociaux par des millions d’utilisateurs dans le monde entier. La détection manuelle de ce type de messages haineux est irréalisable. Il faut donc bien s’appuyer sur des logiciels, même si un modérateur humain doit être impliqué pour confirmer le cas de harcèlement ou pas.

La tâche algorithmique de détection de cyberharcèlement ne peut pas se limiter à détecter des gros mots, insultes et autres termes toxiques. Certains termes qui sont insultants dans certains contextes peuvent sonner différemment entre amis ou accompagnés d’un smiley. Pour des adolescents par exemple, un mot très insultant, comme bitch en anglais, peut être utilisé de manière amicale entre amis. Il faut donc se méfier des faux positifs. Au contraire, des messages qui a l’apparence ne contiennent pas de termes toxiques peuvent être beaucoup plus offensifs s’ils contiennent du second dégré ou des métaphores haineuses. Un risque de faux négatifs existe donc aussi si on se limite à l’analyse textuelle des contenus.

Alors comment faire ? On s’est rendu compte qu’on pouvait détecter les cas de cyberharcèlement en effectuant une analyse de réseau et des contenus textuels des interactions. Puisque le cyberharcèlement est par définition une attaque répétée dirigée contre une victime donnée par un ou plusieurs intimidateurs, un système détectant automatiquement ce phénomène doit prendre en compte non seulement le contenu des messages échangés en ligne, mais également le réseau d’utilisateurs impliqués dans cet échange. En particulier, il convient également d’analyser la fréquence des attaques contre une victime, ainsi que leur source.

C’est ce que réalise CREEP Semantic Technology en analysant un flux de messages échangés sur les réseaux sociaux liés à des sujets, hashtags ou profils spécifiques. Pour ce faire, l’équipe a d’abord développé des algorithmes pour identifier les communautés locales dans les réseaux sociaux et isoler les messages échangés uniquement au sein de cette communauté. Elle a ensuite produit un algorithme de détection de cyberharcèlement qui s’appuie sur plusieurs indicateurs pour la classification des messages courts comme les émotions et sentiments identifiés dans les messages échangés. C’est là que l’intelligence artificielle trouve sa place : des méthodes d’apprentissage automatique et d’apprentissage profond, des réseaux de neurones récurrents.

Afin de tester l’efficacité du prototype, plusieurs tests ont été réalisés sur différents jeux de données contenant des instances de cyberharcèlement ou d’autres types de harcèlement sur les plates-formes de médias sociaux. Les résultats sont bons.

Dans l’avenir, la CREEP Semantic Technology va évoluer dans deux directions : l’analyse des images potentiellement associées aux messages (avec une équipe de recherche d’Inria Rennes), et l’extension du prototype à d’autres langues telle que le Français, l’Espagnol et l’Allemand, en plus de Italien et de l’Anglais qui ont été pris en compte au début du projet.

Elena Cabrio et Serena Villata, Université Côte d’Azur, CNRS, Inria, I3S