Selon le dictionnaire Lexico d’Oxford, un Biais est défini comme « une inclination ou un préjugé pour ou contre une personne ou un groupe, d’une manière considérée comme injuste plus particulièrement » et constitue un problème plus important qu’on a tendance à le penser. Les biais existent dans les applications modernes basées sur l’Intelligence Artificielle (IA). Pas toutes les applications, mais celles qui sont entraînées à partir de données générées par des êtres humains ont des risques de biais plus élevés.
Qu’est-ce que le biais dans l’IA?
Pour le site AI Multiple , le biais dans l’IA est défini comme « une anomalie dans la donnée de sortie (output) d’un algorithme d’apprentissage automatique, en raison d’hypothèses de départ biaisées formulées au cours du processus de développement de l’algorithme ou de préjugés dans les données d’entraînement ». En clair : c’est l’hypothèse que parce que les développeurs de logiciels dans ce domaine, la plupart du temps jeunes, masculins et venant de pays occidentaux, considèrent les « données » générées comme la norme et interchangeables avec les données générées par « d’autres ».
Concentrons-nous sur la Technologie du Langage Humain (Human Language Technology) avec l’exemple d’une IA « parlant anglais » : naturellement on peut se dire que comme cette IA me comprend, alors elle comprend tous ceux qui parlent anglais. Mais… nous oublions souvent que « nos » données, normes et valeurs ne sont pas forcément valides ou vraies pour tous les anglophones, ou pour toute autre langue d’ailleurs. Ainsi, un algorithme entraîné avec ce type de données peut très bien fonctionner si les utilisateurs sont plus ou moins du même « groupe », mais les performances diminueront, voire auront des conséquences négatives, si les utilisateurs appartiennent à autre un groupe. Ce changement de performance s’appelle le biais.
L’impact de la collecte des données
Le développement de logiciels utilise de plus en plus de programmes basés sur l’IA où l’algorithme principal est entraîné sur des données « générées par l’homme ». Par « Données générées par l’homme » (Human Generated Data), nous considérons les données produites par les humains et caractéristiques de ces humains. Pensez à votre visage, à votre voix, à votre façon de marcher ou de dormir, ou encore aux livres que vous lisez.
Souvent, un projet commence avec une bonne idée et une quantité (limitée) de données, données que vous essayez souvent d’obtenir à partir de votre propre environnement. Et c’est là que le risque survient !
Un des premiers biais remarquables dans le développement a concerné la reconnaissance des visages. Le groupe d’entraînement et de test se composait pour la plupart de photos de jeunes hommes issus du même milieu social et économique. Après un développement, un entraînement et des tests rigoureux, un assez bon résultat a été obtenu et le logiciel a été mis sur le marché ! Mais… il est vite apparu que les femmes étaient moins bien reconnues que les hommes. Ainsi, une nouvelle base de données de jeunes femmes a été rapidement ajoutée et le système a été entraîné de nouveau. Avec cette V2, les hommes ET les femmes pouvaient être correctement reconnus. Mais… de nouveaux écueils dans la reconnaissance faciale ont été détectés : les personnes âgées et/ou les personnes ayant d’autres couleurs de peau étaient moins bien reconnues à leur tour. Ainsi, de nouvelles données ont été ajoutées et ce jusqu’à ce que la base de données soit enfin une bonne représentation non discriminante des personnes.
Reconnaissance vocale automatique et biais
Y a-t-il un biais avec la reconnaissance vocale ? Malheureusement, oui ! Ce n’est pas différent des autres applications basées sur l’IA qui utilisent des données générées par l’humain (Human Generated Data, HGD). Avec la reconnaissance vocale automatique (Automatic Speech Recognition, ASR) et d’autres projets basés sur la parole, la « Bias Law » s’applique. Nous avons entraîné l’outil de reconnaissance de telle manière à reconnaitre ce que NOUS disons. Par « NOUS », nous entendons : nos mots, notre ton et bien sûr notre prononciation. Une fois que la reconnaissance vocale sort du laboratoire, elle est lancée sur le marché en tant qu’application spécifique pour répondre à un besoin précis permettant à une certaine cible de profiter de cette automatisation et d’obtenir quelque chose plus facilement, plus rapidement et / ou moins cher par exemple.
Cependant alors que la reconnaissance vocale est de plus en plus performante, elle devient plus populaire aussi et est utilisée par un nombre croissant d’autres personnes. Et au fur et à mesure que les groupes d’utilisateurs grandissent, les hypothèses de départ (vous parlez comme moi, vous dites ceci ou cela comme moi) sont plus restrictives et biaisées. Il y a cinq ou dix ans, nous pouvions encore dire que nous pouvions reconnaître « l’anglais correctement parlé » par des « Anglais natifs ». Bien que toujours vrai, cela s’avère de moins en moins utile. L’anglais est la lingua franca de notre époque et il est parlé par une grande diversité de personnes dont l’anglais n’est pas langue maternelle. Sur les quelque 1,5 milliard de personnes qui parlent anglais, moins de 400 millions l’utilisent comme langue maternelle. Cela signifie que plus de 1 milliard de personnes le parlent comme langue secondaire avec leur propre prononciation.
De plus, la reconnaissance vocale n’est pas quelque chose qui est faite une bonne fois pour toute. Les langues évoluent, les nouvelles générations peuvent prononcer différemment les mots existants, la langue elle-même change sous l’influence des langues voisines et à travers les échanges culturels avec des locuteurs dont c’est la langue secondaire (l’utilisation de la langue par des groupes qui ne parlaient pas cette langue auparavant).
Il suffit d’écouter une interview avec un anglophone non natif ou une émission des années 1930. Vous pouvez généralement le suivre mais cela sonne différemment à vos oreilles. Pour suivre ces évolutions et être capable de reconnaître différentes variétés linguistiques et la prononciation par différents groupes afin de délivrer ce qu’on en attend, l’outil de reconnaissance vocale doit être mis à jour en permanence. Vous devez rassembler des conversations, ré-entraîner vos modules et lancer une nouvelle version. N’arrêter jamais de l’entraîner ! Et après tout cela, êtes-vous prêt ? Pas tout à fait, car en dehors du biais qui disparaît lentement, nous devons nous concentrer sur le prochain grand défi : « comprendre ce que l’on veut dire ». Mais ce sera le sujet d’une autre discussion.
Quelques exemples d’utilisation innovante de l’IA mais qui ont souffert de biais au lancement :
Dans le but d’automatiser le processus de recrutement, Amazon a lancé un projet d’IA en 2014. Le projet était uniquement basé sur l’examen des CV des candidats et l’évaluation des candidats à l’aide d’algorithmes alimentés par l’IA. Le but étant que les recruteurs ne passent plus de temps sur des tâches manuelles de lecture de CV. Cependant Amazon s’est vite rendu compte que son nouveau système de recrutement par IA n’évaluait pas les candidats équitablement et qu’il montrait un biais contre les femmes.
En 2016, Microsoft lance « Tay », un Chabot censé discuter avec des adolescents sur les réseaux sociaux et avoir de « vraies » conversations sur de nombreux sujets différents. Tay a été conçu comme une étude de la compréhension de la langue et plus particulièrement la langue d’un adolescent de 19 ans. Mais des personnes mal intentionnées ont introduit des biais en alimentant Tay sur Twitter avec des contenus inappropriés afin que ses réponses deviennent de plus en plus offensantes. Cet exemple montre à quelle vitesse l’IA peut passer du bon au mauvais côté sans supervision objective.
Comment peut-on éviter les biais ?
Contrairement à beaucoup de mes collègues, je ne suis pas vraiment surpris par ces résultats. Après tout, vous devez commencer avec les données disponibles, avec des personnes dont vous avez un profil, un visage ou leur discours. Et souvent, ce sont des gens qui vous ressemblent, qui font partie de votre environnement direct. La principale erreur sur le sujet, c’est le moment de mise sur le marché. Surtout avec les données générées par l’homme que vous utilisez pour l’entraînement de vos algorithmes, vous savez que vous devez élargir vos données car elles doivent être une bonne et honnête représentation des personnes qui utiliseront le logiciel. Avec l’augmentation rapide des logiciels basés sur l’IA dans notre vie quotidienne, cela signifie souvent tout le monde. Donc, une fois que vous avez prouvé que le principe fonctionne, vous devez continuer à collecter de nouvelles données auprès de personnes appartenant à différents groupes, puis recommencer la formation pour éviter ces biais.
Pour aller plus loin : Kriti Sharma , experte mondiale de premier plan en IA et son impact sur la société et l’avenir. Elle partage dans une conférence TED inspirante sur les préjugés de l’IA son expérience personnelle et ce qu’elle a fait pour éviter d’être prise au sérieux en tant que femme dans le monde de l’IA.
