Qu’est-ce qu’un biais d’IA et comment les développeurs peuvent-ils l’éviter ?

Les capacités de l’intelligence artificielle se développent de manière exponentielle, l’IA étant désormais utilisée dans des secteurs allant de la publicité à la recherche médicale. L’utilisation de l’IA dans des domaines plus sensibles, tels que les logiciels de reconnaissance faciale, les algorithmes d’embauche et la prestation de soins de santé, a précipité le débat sur la partialité et l’équité.

La partialité est une facette de la psychologie humaine qui a fait l’objet de nombreuses recherches. L’intelligence artificielle elle-même ne peut pas être biaisée, mais les humains qui développent et forment le modèle peuvent l’être. La recherche met régulièrement en évidence nos préférences et nos préjugés inconscients, et les systèmes d’IA reflètent désormais certains de ces préjugés dans leurs algorithmes.

Alors, comment l’intelligence artificielle devient-elle partiale ? Et en quoi cela est-il important ?

Comment l’IA devient-elle partiale ?

Par souci de simplicité, dans cet article, nous désignerons les algorithmes d’apprentissage automatique et d’apprentissage profond comme des algorithmes ou des systèmes d’IA.

Les chercheurs et les développeurs peuvent introduire des biais dans les systèmes d’IA de plusieurs manières. Ici, nous avons fait la lumière sur deux d’entre elles.

Premièrement, les biais cognitifs des chercheurs peuvent être intégrés accidentellement dans les algorithmes d’apprentissage automatique. Les biais cognitifs sont des perceptions humaines inconscientes qui peuvent affecter la façon dont les gens prennent des décisions. Cela devient un problème important lorsque les préjugés sont dirigés contre des personnes ou des groupes de personnes.

Ces biais peuvent être introduits directement mais accidentellement, ou bien les chercheurs peuvent former l’IA sur des ensembles de données qui ont elles-mêmes été affectées par des biais. Par exemple, une IA de reconnaissance faciale pourrait être entraînée à l’aide d’un ensemble de données ne comprenant que des visages à la peau claire. Dans ce cas, l’IA sera plus performante avec des visages à la peau claire qu’avec des visages à la peau foncée. Cette forme de biais de l’IA est connue sous le nom d’héritage négatif.

Deuxièmement, des biais peuvent survenir lorsque l’IA est entraînée sur des ensembles de données incomplets. Par exemple, si une IA est entraînée sur un ensemble de données qui ne comprend que des informaticiens, elle ne représentera pas l’ensemble de la population. Cela conduit à des algorithmes qui ne parviennent pas à fournir des prédictions précises.

Exemples de biais d’IA dans le monde réel

De nombreux exemples récents et bien documentés de biais d’IA illustrent le danger de laisser ces biais s’infiltrer.

Google Photos a marginalisé les personnes de couleur

En 2015, BBC a rapporté une grave erreur de reconnaissance faciale commise par Google Photos, qui s’est avérée biaisée à l’encontre des personnes de couleur. Le logiciel d’intelligence artificielle a étiqueté par erreur les photos d’un couple noir comme étant des « gorilles ».

Quelques années plus tard, AlgorithmWatch a mené une expérience et publié ses conclusions. Google Vision Cloud, un service d’IA qui étiquette automatiquement les images, a étiqueté une photo d’un homme à la peau foncée tenant un thermomètre comme étant une photo d’arme à feu ; une photo similaire représentant une main blanche tenant un thermomètre a été étiquetée « thermomètre ».

Ces deux incidents ont été largement médiatisés et ont suscité des inquiétudes quant au préjudice potentiel que les biais de l’IA peuvent causer à certaines communautés. Bien que Google se soit excusé pour les deux incidents et ait pris des mesures pour résoudre le problème, ces événements soulignent l’importance de développer des systèmes d’IA impartiaux.

Un algorithme de soins de santé américain favorise les patients blancs

En 2019, un algorithme d’apprentissage automatique a été conçu pour aider les hôpitaux et les compagnies d’assurance à déterminer quels patients bénéficieraient le plus de certains programmes de soins de santé. Scientific American a rapporté que l’algorithme, qui était basé sur une base de données contenant environ 200 millions de personnes, favorisait les patients blancs par rapport aux patients noirs.

Il a été déterminé que cela était dû à une hypothèse erronée dans l’algorithme concernant la variation des coûts des soins de santé entre les Noirs et les Blancs, et le biais a finalement été réduit de 80 %.

COMPAS a étiqueté les criminels blancs comme étant moins risqués que les criminels noirs.

L’algorithme COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) est un algorithme d’IA conçu pour prédire si certaines personnes vont récidiver. L’algorithme a produit deux fois plus de faux positifs pour les délinquants noirs que pour les délinquants blancs. Dans ce cas, l’ensemble de données et le modèle étaient défectueux, introduisant un biais important.

L’algorithme d’embauche d’Amazon a révélé des préjugés sexistes

En 2015, l’algorithme d’embauche utilisé par Amazon pour déterminer l’aptitude des candidats s’est avéré favoriser fortement les hommes par rapport aux femmes. En effet, l’ensemble de données contenait presque exclusivement des hommes et leurs CV, car la plupart des employés d’Amazon sont des hommes.

Plus tard, Reuters a rapporté que le système d’Amazon avait appris de lui-même à favoriser les candidats masculins. L’algorithme est allé si loin qu’il a pénalisé les candidats qui incluaient le mot « femmes » dans le contenu de leur CV. Il va sans dire que l’équipe qui a conçu ce logiciel a été dissoute peu après le scandale.

Comment mettre fin aux biais de l’IA

L’IA est déjà en train de révolutionner notre façon de travailler dans tous les secteurs d’activité, y compris des emplois dont vous n’avez jamais su qu’ils étaient pilotés par l’IA. Avoir des systèmes biaisés qui contrôlent des processus décisionnels sensibles est moins que souhaitable. Au mieux, cela réduit la qualité de la recherche basée sur l’IA. Au pire, cela nuit activement aux groupes minoritaires.

Il existe des exemples d’algorithmes d’IA déjà utilisés pour faciliter la prise de décision humaine en réduisant l’impact des biais cognitifs humains. En raison de la manière dont les algorithmes d’apprentissage automatique sont formés, ils peuvent être plus précis et moins biaisés que les humains dans la même position, ce qui se traduit par une prise de décision plus équitable.

Mais, comme nous l’avons montré, l’inverse est également vrai. Les risques liés à l’intégration et à l’amplification des préjugés humains par l’IA peuvent l’emporter sur certains des avantages possibles.

En fin de compte, La qualité de l’IA dépend des données avec lesquelles elle est formée. Le développement d’algorithmes impartiaux nécessite une analyse préalable approfondie des ensembles de données, afin de s’assurer que les données sont exemptes de préjugés implicites. C’est plus difficile qu’il n’y paraît, car nombre de nos préjugés sont inconscients et souvent difficiles à identifier.

Les défis de la prévention des biais de l’IA

Lors du développement de systèmes d’IA, chaque étape doit être évaluée pour déterminer si elle est susceptible d’intégrer des préjugés dans l’algorithme. L’un des principaux facteurs de prévention des préjugés est de veiller à ce que l’équité, plutôt que les préjugés, soit « intégrée » dans l’algorithme.

Définition de l’équité

L’équité est un concept relativement difficile à définir. En fait, c’est un débat qui n’a jamais abouti à un consensus. Pour rendre les choses encore plus difficiles, lors du développement de systèmes d’IA, le concept d’équité doit être défini mathématiquement.

Par exemple, en ce qui concerne l’algorithme d’embauche d’Amazon, l’équité se traduirait-elle par une répartition parfaite de 50/50 entre les hommes et les femmes ? Ou une proportion différente ?

Détermination de la fonction

La première étape du développement de l’IA consiste à déterminer exactement ce qu’elle va accomplir. Si l’on reprend l’exemple du COMPAS, l’algorithme devrait prédire la probabilité de récidive des criminels. Ensuite, il convient de déterminer les données d’entrée claires qui permettront à l’algorithme de fonctionner.

Cela peut nécessiter la définition de variables importantes telles que le nombre d’infractions antérieures ou le type d’infractions commises. Définir correctement ces variables est une étape difficile mais importante pour garantir l’équité de l’algorithme.

Création de l’ensemble de données

Comme nous l’avons vu, les données incomplètes, non représentatives ou biaisées sont l’une des principales causes de la partialité de l’IA. Comme dans le cas de l’IA de reconnaissance faciale, les données d’entrée doivent être soigneusement vérifiées pour s’assurer qu’elles ne sont pas biaisées, appropriées et complètes avant le processus d’apprentissage automatique.

Choix des attributs

Dans les algorithmes, certains attributs peuvent être pris en compte ou non. Il peut s’agir du sexe, de la race ou de l’éducation, c’est-à-dire de tout ce qui peut être important pour la tâche de l’algorithme. En fonction des attributs choisis, la précision prédictive et le biais de l’algorithme peuvent être gravement affectés. Le problème est qu’il est très difficile de mesurer le degré de biais d’un algorithme.

Les biais de l’IA ne sont pas près de disparaître

Il y a biais d’IA lorsque les algorithmes font des prédictions biaisées ou inexactes en raison de données d’entrée biaisées. Il se produit lorsque des données biaisées ou incomplètes sont reflétées ou amplifiées lors du développement et de l’entraînement de l’algorithme.

La bonne nouvelle, c’est qu’avec la multiplication des financements pour la recherche sur l’IA, nous verrons probablement de nouvelles méthodes pour réduire et même éliminer les biais de l’IA.

S’abonner à notre lettre d’information