Nous sommes dans une ère de la polycrise, et ces crises sont économiques, sociales, environnementales, politiques, technologiques, etc. Cela concerne notamment l’enseignement supérieur et la recherche, et le constat est partagé. La diffusion de l’IA au travers des IA génératives fait partie des facteurs de risques déclencheur potentiel de crises. Le Rapport « intelligence artificielle et enseignement supérieur » : formation, structuration et appropriation par la société cite ainsi 63 fois le mot risque, avec plusieurs acceptions (données, décrochage, augmentation des inégalités, …). La proposition Charte d’usages et bonnes pratiques de l’IA des projets DemoES, 16 fois. Elle propose des recommandations vers la gouvernance pour diminuer les risques psycho-sociaux et environnementaux. Mais est-ce suffisant ? Y-a-t-il eu une étude systémique ? Certes cette nouvelle technologie est porteuse d’opportunités, et il y de nombreuses raisons pour lesquelles elle s’impose à l’agenda de l’enseignement supérieur et de la recherche, mais vue l’ampleur de la transformation en cours, une posture critique impose une gestion des risques plus rigoureuse.
Concernant les risques liés à l’IA, le MIT propose une initiative, la “MIT AI Risk Initiative” qui recense 1700 risques et mérite qu’on s’y arrête. Elle propose une taxonomie des risques liés à l’IA, en termes de causalité et de domaine, basée sur plus de 70 autres cadres existants, ce qui garantit une certaine exhaustivité.
| 1 – Discrimination et toxicité | 2 – Vie privée et sécurité | 3 – Désinformation / information trompeuse |
| 1.1 Discrimination injuste et mauvaise représentation 1.2 Exposition à des contenus toxiques 1.3 Inégalité de résultats entre les groupes | 2.1 Atteinte à la vie privée par obtention, fuite ou inférence d’informations sensibles 2.2 Vulnérabilités de sécurité des systèmes d’IA et attaques | 3.1 Informations fausses ou trompeuses 3.2 Pollution de l’écosystème informationnel et perte de consensus |
| 4 – Acteurs malveillants et mésusage | 5 – Interaction humain- machine | 6 – Préjudices socioéconomiques et environnementaux |
| 4.1 Désinformation, surveillance et influence à grande échelle 4.2 Fraude, escroqueries et manipulations ciblées 4.3 Cyberattaques, développement ou usage d’armes, et dommages de masse | 5.1 Confiance excessive et usage non sûr 5.2 Perte d’agentivité et d’autonomie humaines | 6.1 Centralisation du pouvoir et répartition injuste des bénéfices 6.2 Augmentation des inégalités et dégradation de la qualité de l’emploi 6.3 Dévalorisation économique et culturelle de l’effort humain 6.4 Dynamiques de compétition 6.5 Défaillance de la gouvernance 6.6 Préjudice environnemental |
| 7 – Sécurité, défaillances et limites des systèmes d’IA | ||
| 7.1 IA poursuivant ses propres objectifs en conflit avec les objectifs ou valeurs humaines 7.2 IA possédant des capacités dangereuses 7.3 Manque de capacité ou de robustesse 7.4 Manque de transparence ou d’interprétabilité 7.5 Bien‑être et droits de l’IA 7.6 Risques multi‑agents |
Elle propose aussi une taxonomie proposant 4 catégories de mécanismes pour l’atténuation des risques : gouvernance et supervision, techniques et de sécurité, processus opérationnels, transparence et responsabilité.
| 1. Mécanismes de gouvernance et de supervision | 2. Mécanismes techniques et de sécurité | 3.Mécanismes de processus opérationnels | 4. Mécanismes de transparence et de responsabilité |
| 1.1 Structure de la gouvernance & supervision 1.2 Gestion des risques 1.3 Protections contre les conflits d’intérêts 1.4 Signalement & protection des lanceurs d’alerte 1.5 Cadres de décision en matière de sûreté 1.6 Gestion de l’impact environnemental 1.7 Évaluation de l’impact sociétal | 2.1 Sécurité des modèles et de l’infrastructure 2.2 Alignement des modèles 2.3 Ingénierie de sûreté des modèles 2.4 Contrôles de sûreté des contenus | 3.1 Tests & audits 3.2 Gouvernance des données 3.3 Gestion des accès 3.4 Déploiement progressif 3.5 Surveillance post‑déploiement 3.6 Réponse aux incidents & reprise | 4.1 Documentation des systèmes 4.2 Diffusion des risques 4.3 Signalement des incidents 4.4 Publication de la gouvernance 4.5 Accès de tiers aux systèmes pour évaluation 4.6 Droits et recours des utilisateurs |
L’analyse des risques potentiels issus de l’IA est intéressante à considérer de manière globale. Il est clair que ces risques dépassent largement l’espace technique et ont des répercussions potentielles sur toutes les dimensions des polycrises. Elles doivent donc être abordées avec un point de vue global, holistique.
La question des risques est clairement identifiée dans les documents de cadrage. Et les premiers éléments opérationnels offrent des éléments de réponse en proposant de développer des formations, notamment pour limiter les risques d’atrophie cognitive, de développement d’inégalités, ou de fuite de données, et permettre des usages pertinents (notamment au sens écologique ou éthique). La maîtrise des modèles et les questions de souveraineté ont rapidement mené à proposer des infrastructures dédiées (RAGaRenn, Ilaas, partenariat avec Mistral) avec une logique de mutualisation et de communs. Le partage d’expérience permet aussi d’avancer, et d’initier des éléments de documentation. Mais cela ne permet pas encore de développer une culture de l’anticipation, et de garantir une adaptation en cas d’événements indésirables.
Une culture de la gouvernance des risques semble encore absente dans nos institutions. Des éléments apparaissent dans les conseils de gouvernance de la proposition de DemoES, sans pour autant être aboutie. Et pourtant, plusieurs crises se sont succédées : Covid, grèves au moment des examens, déficit chronique, remise en question par certains politiques (wokisme) … qui laissent nos établissements à chaque fois plus fragiles. Or cette ère de polycrise est clairement appelée à se prolonger, et sans doute à s’intensifier. Il est donc indispensable de gouverner dans cette perspective et d’anticiper ces risques dans une perspective de long terme.
Le cadre de la résilience pour les entreprises propose un cadre au niveau de l’organisation en trois étapes : anticipation, gestion et adaptation qui permet a priori de gérer des événements dits VICA (pour Volatile, Incertain, Complexe, Ambigu ou VUCA en anglais). Plus récemment le cadre de la robustesse permet d’aller au-delà de la dimension organisationnelle, pour poser la question de la santé commune des organisations, des personnes, et de l’environnement au sens large. Cette robustesse remet en question la notion de performance ou d’optimisation en posant la question de conserver des marges de manœuvre. La robustesse étant effectivement la capacité à se maintenir stable (sur le court terme) et viable (sur le long terme) malgré les fluctuations. Cette définition de la robustesse est basée sur les principes du vivant tels que : la coopération, la circularité, l’adaptabilité. Notons que le terme de fluctuations se veut plus large que la notion de risque couramment acceptée, en proposant des fluctuations au niveau plus large que le le système considéré et amenant à des points de bascule globaux. L’hypothèse étant que ces fluctuations sont maintenant possibles dans un monde de polycrise. Les pistes de solutions qui ressortent des ateliers d’études de scénarios de réponses à ces fluctuations débordent les sentiers techniques ou organisationnels classiques pour privilégier l’entraide.
Si la formation est un premier chantier évident pour minimiser les risques liés aux IA, ce premier chantier est sans doute insuffisant. Le développement d’infrastructures dédiées est important pour permettre de développer des usages pertinents, mais il serait vain d’initier des cycles de formation sans intégrer les questions géopolitiques et économiques liées aux organisations capitalistiques qui développent les IA grand publics, qui ont aussi vocation à bouleverser le monde du travail dans une perspective d’un capitalisme encore resserré, et qui ont des comportements de voyous selon Dominique Boullier, et qui s’attaquent directement à la construction et à la diffusion de la connaissance, ainsi qu’aux fondements de ce qui fait société, sans parler des impacts écologiques ;
L’enseignement supérieur et la recherche forment un écosystème en lien avec l’ensemble de la société. Il a vocation à soutenir le développement de cette société par l’éducation et la recherche. Il est donc nécessaire que les solutions proposées puissent irriguer la société : développement de l’esprit critique pour la formation, infrastructures numériques saines (réseaux sociaux et IA notamment), solutions IA plus respectueuses. La diversité des risques potentiels impose une approche interdisciplinaire, systémique, et ne permet pas d’aborder ces questions en affichant une neutralité illusoire de la science, mais nous oblige a contrario une rigueur scientifique renforcée.
La première étape est de renforcer la résilience organisationnelle de nos établissements (et donc une gestion proactive des risques). L’aborder sous l’angle de la robustesse nous poussera à aller plus loin en nous posant des questions de santé commune et de la place de l’enseignement et de la recherche dans la société, et en nous permettant de nous reconstituer pour pouvoir les aborder.
Crédit photo : Risk Factory – Stuart Caie – licence CC-by-2.0
Répondre à cet article
Suivre les commentaires :
|
