L’intelligence artificielle est de plus en plus utilisée par les administrations avec une utilisation massive des données, l’analyse par des algorithmes au détriment parfois de l’humain. Exemple avec l’histoire de Lucie…
Repérée par un confrère de Télérama, Lucie a été la cible de ce qu’elle appelle un robot à dette. Elle a reçu un mail de la Caisse d’allocations familiales (CAF) qui lui réclame plus de 500 euros de trop-perçu alors qu’elle en est certaine, ses revenus sont correctement déclarés. Elle passe des coups de téléphone et apprend que c’est un logiciel qui a analysé sa situation. Pire, elle découvre que la CAF lui a attribué un « score de risque » : 0,4 sur une échelle de 0 à 1. Suffisant pour déclencher l’alerte. Six mois plus tard écrit Télérama : elle ne sait toujours pas à qui s’adresser pour régler la situation.
L’essor du data mining
Un logiciel peut ainsi déterminer quel est le risque d’un allocataire par l’utilisation massives des données différentes par allocataire pour calculer ce « score de risque », et si celui-ci est trop élevé, la procédure est lancée automatiquement.
Ces données sont variées: des éléments d’état civil, des habitudes de consommation, etc. Tout est croisé, analysé, et cela concerne près de treize millions de foyers.
Cela s’appelle data mining, l’exploitation massive de données provenant de différentes sources. Cela fait plusieurs années que la CAF l’utilise, mais cela monte de plus en plus en gamme et toutes les administrations s’y mettent. Le fisc par exemple. Selon le rapport 2021, sur la fraude fiscale, on découvre que l’intelligence artificielle est ainsi à l’origine d’un tiers des contrôles réalisés en 2020. C’était un cinquième par rapport à l’année précédente.
Le chiffre est en augmentation constante d’une année sur l’autre et c’est volontaire. L’algorithme derrière tout ça, c’est le CFVR, le Ciblage de la fraude et valorisation des requêtes ; il bénéficie d’un fichier qui comprend les informations de 37 millions de foyers français.
En principe, l’utilisation de ces données personnelles par l’administration doit être encadrée par la Commission nationale informatique et liberté (Cnil), et la création et l’utilisation de chaque fichier doit d’abord obtenir son approbation. Malheureusement, elle est sous-dimensionnée pour pouvoir tout contrôler.
Énorme potentiel discriminatoire
Il y a également d’autres garde-fous. Quand on parle de données personnelles et de leur protection on pense automatiquement RGPD, le règlement européen de la protection des données. Tous les internautes européens ont affaire à lui, c’est par exemple pour le respecter que tous les sites internet nous obligent désormais systématiquement à cliquer pour choisir si on souhaite ou non qu’ils installent des cookies sur nos ordinateurs. Le champs d’action du RGPD est évidemment bien plus vaste que cela, et si on reprend l’histoire de Lucie, il interdit expressément toute décision entièrement automatisée. Le problème, c’est qu’elle n’a pu parler à aucun humain pour lui expliquer son problème.
On se trouve donc vraiment dans une zone grise. C’est d’autant plus flagrant que l’Europe a publié en avril 2021 son projet de régulation des usages de l’intelligence artificielle. Elle dit clairement qu’elle ne veut pas de contrôle social à la chinoise avec un système de notation pour trier les mauvais des bons citoyens. Mais en même temps, il y a cette utilisation de l’IA par les administrations notamment dans le cadre de l’attribution des prestations sociales. Human Rights Watch a publié il y a quelques jours un long rapport sur le sujet et ce qu’il en ressort : ces scores de risque, automatisés, basés sur les données personnelles ont un énorme potentiel discriminatoire. Un un risque complétement passé sous le tapis. (rfi.fr)
