Des experts de l’ONU sonnent l’alarme sur les biais raciaux de certains algorithmes

638

Les pays doivent faire plus pour combattre le profilage racial, d’autant que l’intelligence artificielle utilisée pour la reconnaissance faciale ou pour les méthodes de prévisions policières pourrait venir renforcer cette pratique, ont mis en garde jeudi des experts de l’ONU. «Il y a un grand danger à ce que (l’intelligence artificielle) ne reproduise et ne renforce les biais et n’aggrave ou conduise à des pratiques discriminatoires», a prévenu Verene Shepherd, experte des droits humains.
Cette Jamaïcaine fait partie des 18 experts du Comité de l’ONU pour l’élimination de la discrimination raciale, qui ont publié un rapport jeudi sur la manière dont les autorités devraient combattre le profilage racial pratiqué par les forces de l’ordre. Le comité s’inquiète tout particulièrement des algorithmes – de longues suites d’instructions – utilisés dans des outils «prédictifs» ou «d’évaluation du risque» de la police, tout comme par votre moteur de recherche ou réseau social préféré pour vous bombarder de publicités ultra-ciblées par exemple. Ces systèmes d’aide au maintien de l’ordre, qui sont censés aider à la prévention de la criminalité et ont été d’abord déployés aux Etats-Unis mi-2000, sont aussi critiqués pour renforcer les préjugés envers certaines communautés. «Les données historiques sur les arrestations dans un certain quartier (dont on nourrit l’intelligence artificielle pour l’éduquer, NDLR) peuvent très bien refléter des pratiques policières biaisées» et donc les reproduire, souligne Mme Shepherd. «Ces données augmentent le risque d’une sur-présence policière qui peut mener à plus d’arrestations et créer ainsi un cercle vicieux», met-elle en garde. «De mauvaises données créent de mauvais résultats», résume-t-elle.
Dans ses recommandations le comité s’inquiète aussi de l’usage de plus en plus répandu de la reconnaissance faciale ou d’autres technologies de surveillance utilisées pour des missions de sécurité. Là encore le discernement de l’intelligence artificielle est intimement lié aux données utilisées pour «éduquer» les systèmes.
Or des études ont montré qu’ils ont du mal à reconnaître les visages à la peau foncée ou mais aussi celui de femmes. Un biais illustré par exemple par l’arrestation à Detroit cette année d’un Afro-américain, Robert Williams, sur la base des conclusions d’un algorithme mal ficelé, qui l’a identifié comme un suspect dans un vol. «Nous avons eu des plaintes pour ce genre de mauvaise identification à cause de l’origine des technologies, de qui les développe et des échantillons utilisés par ces systèmes», souligne Mme Shepherd. Et d’ajouter: «C’est une réelle inquiétude». Le comité demande notamment aux pays de réglementer les entreprises qui travaillent dans ce domaine pour s’assurer que ce genre de système respecte les lois internationales sur les droits de l’homme et insiste sur le besoin de transparence sur la conception et l’application en particulier envers le grand public. Les recommandations du comité ne s’arrêtent pas à ces nouvelles technologies. «Le profilage racial n’a pas commencé avec ces technologies», rappelle Mme Shepherd. Elle espère que «l’intensification et l’internationalisation du mouvement Black Lives Matter… et d’autres campagnes dénonçant les discriminations à l’encontre de certains groupes vulnérables vont aider (à souligner) l’importance de ces recommandations», espère t-elle.