Tout le monde a entendu parler de ce logiciel de prédiction de récidive utilisé par les juges américains qui pénalisait les populations afro-américaines et, plus récemment, de l’algorithme d’Apple Pay Card accordant un plafond de crédit plus élevé aux hommes qu’aux femmes, malgré des revenus équivalents.
Ce sont des exemples de discriminations racistes et sexistes involontaires qui ont attiré méfiance et discrédit sur des solutions technologiques conçues pour accélérer des processus et, paradoxalement, optimiser des prises de décision en réduisant la part de subjectivité de tout arbitrage humain.
Si de telles révélations ont un impact négatif sur la réputation des organisations concernées, elles ont cependant un triple mérite :
- Faire reculer l’idée trop bien installée d’une IA neutre et infaillible, intrinsèquement juste et équitable parce que reposant sur une science objective : les mathématiques.
- Pousser les gouvernements et les instances de régulation à mettre l’accent, au regard des bénéfices attendus de l’IA, sur les implications sociétales et éthiques de ces technologies.
- Alerter les entreprises sur la nécessité de s’assurer que les outils algorithmiques qu’elles développent ou utilisent sont exempts de biais induisant des discriminations.
Des biais omniprésents mais invisibilisés
Ces systèmes algorithmiques que l’on voudrait « objectifs » comportent en réalité trois points de faiblesse :
D’une part, les algorithmes eux-mêmes : La plupart des développeurs d’applications n’utilisent pas d’algorithmes d’apprentissage qu’ils ont personnellement créés sur mesure.
En libre accès, ces algorithmes génériques ont en grande majorité été développés par des scientifiques dont la priorité est de valider la précision de leur modèle mathématique et d’éviter le sur-apprentissage, et non de s’assurer de la généralisation en toute équité des modèles créés grâce à ces algorithmes.
Ainsi, non seulement aucun de ces algorithmes n’a été conçu avec un objectif explicite de non-discrimination mais, ils ont été développés par une population singulièrement homogène…
D’autre part, les données d’apprentissage : Le modèle étant construit à partir des données, on comprend la nécessité cruciale de disposer, pour l’apprentissage et la validation du modèle lui-même, de jeux de données conséquents, mais aussi représentatifs de la diversité des situations/cas à traiter.
Enfin, les critères de performance : Un modèle est jugé performant lorsque, après la phase d’apprentissage, il traite correctement un pourcentage élevé de nouveaux cas.
Des tests pré-opérationnels sont généralement réalisés sur des échantillons globaux qui ne permettent pas de savoir si le modèle discrimine ou pas sur des critères de genre, d’origine ou autres.
Ils se concentrent sur l’évaluation de la précision du modèle et jugent si le taux d’erreur est acceptable : aucun autre critère n’est pris en compte.
3 axes pour faire face aux discriminations algorithmiques
C’est précisément parce que le recours à l’IA et aux algorithmes d’apprentissage se généralise, tant dans le secteur public que dans les entreprises, que lutter durablement contre les discriminations algorithmiques devient une priorité.
Cela demande de s’attaquer aux causes mises en évidence précédemment et pour cela – plutôt que de légiférer a priori – d’en appeler à la responsabilité et à la déontologie des différents acteurs.
À ce titre, trois axes d’action doivent être travaillés en parallèle :
- Accroître la diversité des équipes de conception
- Renforcer les protocoles de validation
- Améliorer l’information des décideurs et des managers
Nombre d’acteurs travaillent déjà dans ce sens et démontrent qu’il est tout à fait possible de corriger les biais discriminatoires, dès lors qu’il y a prise de conscience et volonté de les débusquer.
Par exemple, constatant des différences stigmatisantes dans les traductions de Google Translate dans certaines langues, Google a fait en sorte de générer des traductions genrées pour toutes les phrases où le modèle d’origine proposait uniquement une version masculine.
Les indicateurs mis en place ont permis de mesurer les progrès et de réduire ce biais jusqu’à plus de 90 % dans les traductions du hongrois, du finnois, du persan et du turc vers l’anglais.
Le nouveau modèle n’en est que plus pertinent et comprend désormais que dans ces langues « docteur » et « ingénieur » peuvent être féminins !
Ce qui est en jeu aujourd’hui, à travers ce type de démarches, c’est l’acceptabilité sociale de ces technologies qui sont vouées à jouer un rôle croissant et structurant dans nos vies.
Pour que ces technologies contribuent à la construction d’une société inclusive et juste, cette acceptabilité est conditionnée, en Europe et particulièrement en France, par le respect de principes éthiques, au premier rang desquels figurent la non-discrimination et l’égalité de traitement des personnes.
C’est dans cet esprit que la Commission européenne a publié, en avril 2019, des Lignes directrices en matière d’éthique pour une IA digne de confiance.
Non contraignante, cette proposition de cadre éthique place « la diversité, la non-discrimination et l’équité » parmi les 7 exigences essentielles d’une IA éthique et s’adresse à toutes les personnes « qui conçoivent, (…) utilisent l’IA ou sont soumises à ses incidences ».
Si la formalisation d’un cadre éthique commun va dans le bon sens, une question fondamentale doit néanmoins être posée : à date, les instances européennes réfléchissant à ces questions d’éthique dans l’IA sont-elles elles-mêmes représentatives de la diversité européenne ?
En termes d’équilibre femmes/hommes probablement, mais qu’en est-il en termes d’origines sociales, culturelles et ethniques ?..
