Cet article a pour objectif de démystifier ce qu’il se cache derrière ce sujet pour pouvoir en mesurer toute son étendue et sa complexité. Nous y aborderons des thématiques comme l’interprétabilité des modèles de Machine Learning, la place de l’humain dans les prises de décision à base d’IA, la gouvernance autour du ML, l’éthique, les biais présents à chaque étape du workflow du ML, la privacité et la sécurité.
Nous vous proposons dans cet article une catégorisation de l’IA Responsable en 8 principaux enjeux. Cette structuration se veut la plus représentative possible du sujet, mais ne se vante pas d’être exhaustive dans un domaine aussi mouvant que celui-ci.
Pour trouver un tour d’horizon des pilliers de l’IA Responsable mis en avant par les principaux acteurs de l’IA, nous vous invitons à consulter notre article dédié sur le sujet.
Enjeu #1 : Interpretability & Trust (Interprétabilité et Confiance)
Les praticiens du Machine Learning ont longtemps été confrontés à un choix complexe à l’heure de décider de l’approche pour résoudre un problème : Interprétabilité (souvent apportée par des modèles plus simples et donc potentiellement moins performants) ou performance (via des modèles plus complexes mais considérés comme des “black-box”) ?
Avec l'essor des techniques d’interprétabilité des modèles, ce choix n’a plus lieu d’être. Il devient de plus en plus simple d’associer des explications à des modèles aux architectures complexes, permettant ainsi de rétablir la confiance dans les prédictions grâce aux explications compréhensibles en termes d’intuition métier.
Ce domaine est en constante évolution et fait régulièrement l’objet de nouvelles publications et avancées. Prendre des décisions éclairées, mais aussi répondre à une demande croissante de transparence de la part des utilisateurs, devient possible grâce à ces techniques.
Enjeu #2 : Fairness (Équité)
“Garbage In, Garbage Out” dit le dicton célèbre en informatique. Dans le cadre de l’IA Responsable, nous pouvons aller dans le même sens et dire “Discrimation In, Discrimination Out”.
Les problématiques liées à l’équité dans les prédictions d’un modèle de Machine Learning ont bien sûr un lien fort avec le design de ce dernier, ainsi qu’avec les potentiels écarts de performance pour certaines populations. Mais ce que ce dicton veut souligner, c’est que ce sujet est bien plus vaste que l’on ne pourrait le croire.
En effet, la difficulté vient notamment du fait qu’il n’existe pas une même définition standard de l’équité, car c’est un sujet qui touche à des notions allant bien au-delà du Machine Learning, comme la culture, l’histoire, la politique, l’éthique et bien d’autres encore.
Les problèmes d’équité remettent en question l’ensemble de la chaîne de valeur autour de la data, dès la phase de collecte de données et même en amont par nos biais et stéréotypes comportementaux historiques et jusqu’à ses impacts en aval dans l’utilisation des résultats. En effet, l’extraction de patterns est l’essence même d’un modèle de Machine Learning : si certains stéréotypes ou discriminations historiques sont présents dans la donnée, le modèle les exploitera sans distinction entre une simple extraction de connaissance utile et un pattern discriminatoire.
Enjeu #3 : Human Centered AI (IA centrée sur l’humain)
Les produits à base d’IA ont un fort potentiel pour le business, mais ils ont aussi un potentiel de risque très élevé lorsqu’ils sont mal dimensionnés ou utilisés à mauvais escient. Les incidents causés par ces produits sont de plus en plus nombreux, tellement nombreux qu’il existe une base de données des incidents dû à l’intelligence artificielle.
Face à ces constats, il devient essentiel de s’assurer que les humains soient bien dans la boucle de prise de décision (“Human In The Loop”). De même, avoir une réflexion dès les phases initiales d’un projet IA sur les impacts négatifs que pourraient causer des prédictions erronées ou biaisées s’avère primordial, afin entre autres de s’éviter des situations de crise, mais aussi des conséquences néfastes pour certains utilisateurs.
Enjeu #4 : Security (Sécurité)
Au-delà des problématiques de sécurité relatives à tout type de software, certaines menaces spécifiques au Machine Learning doivent être envisagées avec attention. On peut notamment citer :
- Des manipulations des données d’entraînement des modèles ;
- Des manipulations des prédictions des modèles ;
- L’extraction de la logique interne des modèles ou bien des données d’entraînement ;
- Des chevaux de troie cachés dans les logiciels de ML, les modèles ou les données.
Il a en effet été maintes fois prouvé que de simples lignes de données ont la possibilité de faire basculer les prédictions d’un modèle. C’est ce qu’on appelle des adversarial examples.
Le sujet de la sécurité des produits à base d’IA est donc vaste et complexe, et inclut des pratiques telles que le contrôle d’accès, l’authentification, les permissions, l’accès à distance ou encore la gestion des données externes, et bien sûr la documentation.
Enjeu #5 : Compliance & Governance (Conformité et Gouvernance)
La gouvernance des données impacte l’ensemble de l’organisation des entreprises. Elle permet de définir clairement les rôles et les processus internes afin de s’assurer de la bonne traçabilité et gestion de la donnée.
Concernant les projets à base de ML, une réelle gouvernance est donc primordiale afin d’en limiter ses risques potentiels. Il est essentiel de définir qui est réellement responsable pour les risques liés au ML, pour son audit et pour la gestion de ses incidents. Il est en effet essentiel d’avoir réfléchi à cette question dès le début d’un projet, afin d’identifier des plans d’action en cas de défaillance du produit.
Enjeu #6 : Privacy (Confidentialité)
Le domaine de la privacité lié au Machine Learning touche à des sujets aussi bien légaux (consentement d’utilisation, obligations légales pour la collecte de données, obligations d’anonymisation, limitations de la durée de stockage d’informations personnelles, droit à l’oubli) que techniques, et est un sujet de recherche très actif.
Des techniques comme le differential privacy ou le federated learning offrent des perspectives prometteuses afin de tacler ce sujet mathématiquement parlant.
Enjeu #7 : ML Workflow Reproducibility & Resilience (Reproductibilité et Résilience dans le workflow de ML)
Un produit à base de Machine Learning est avant tout un logiciel. Cela veut donc dire que l’ensemble des bonnes pratiques de développement logiciel, et notamment le testing, s’appliquent aussi au ML.
À cela viennent s’ajouter certaines spécificités relatives au Machine Learning qu’il est important de prendre en considération. En particulier le monitoring en live des modèles qui est une étape cruciale dans le workflow de ML. Il permet de mesurer et d’alerter de toute potentielle dérive du modèle dans le temps, lorsque les caractéristiques de la donnée d’entrée changent petit à petit et rendent les performances du modèle moins bonnes.
Un autre enjeu majeur autour des systèmes de Machine Learning concerne la reproductibilité des entraînements et des résultats. Être capable de tracer les différents artifacts ayant permis d’aboutir à un modèle (données, pre-processing, structure du modèle, conditions de déploiement, etc.) est crucial pour être capable de reproduire les résultats en cas de besoin, ou de comparer des résultats.
Enjeu #8 : Responsabilité Sociale et Environnementale
Dernier pilier et non des moindres, la responsabilité sociale et environnementale est un pan de plus en plus important aux yeux des acteurs de l’IA, ainsi que des utilisateurs finaux.
Comme nous l’avons vu dans la partie sur l’équité, le fait de réfléchir dès le début à l’impact que peut avoir un produit à base d’IA sur les comportements et sur la confirmation de certains biais ou stéréotypes est primordial. Il y a une dimension éthique de nos développements à prendre en compte en plus de l’impact business.
Les acteurs de l’IA en entreprise ont aussi un rôle important à jouer en ce qui concerne les craintes d’autres collaborateurs sur l’impact que peut avoir l’IA sur l’avenir de leur emploi. Un accompagnement et une acculturation sont souvent nécessaires pour éviter des discussions et adoptions difficiles.
Enfin, de nombreuses études montrent l’impact que peut avoir le numérique en termes d’empreinte carbone, et l’Intelligence Artificielle, avec ses entraînements intensifs de modèles de plus en plus complexes et demandeurs en ressources, y joue un rôle clé. Les principes de sobriété numérique s’appliquent donc aussi à l’IA, et des réflexions s’avèrent nécessaires afin d’éviter tout gaspillage inutile.
En conclusion, ce dont nous pouvons être certains, c’est qu’il est impossible de considérer l’IA Responsable comme un simple sujet à traiter par l’angle technique et mathématique. Ce sujet touche à l’ensemble de la chaîne de prise de décision et nous force à nous poser des questions difficiles que nous n’aurions pas forcément vues au premier abord. Nous n’en sommes qu’au début de l’histoire, et chaque acteur a une responsabilité pour tendre vers un impact plus positif de l’Intelligence Artificielle au sens large.
Quelques lectures complémentaires :
