« Je fais davantage confiance aux humains qu’aux machines »
Aglaja Schinzel, l’intelligence artificielle (IA) peut-elle améliorer les arrêts ?
Je me suis posé cette question dans le cadre de mon travail de fin d’études pour le CAS en magistrature et la réponse est la suivante : en théorie oui, mais on n’y est pas encore. Les programmes généralistes actuellement disponibles n’étant pas adaptés aux délibérations juridiques, il faudrait commencer par développer des applications spécifiques. Les modèles généralistes, sans algorithmes spécifiques à un domaine, ne sont pas en mesure d’exécuter des tâches juridiques. Des résultats de recherche montrent que les modèles juridiques spécifiques à un domaine surpassent les LLM polyvalents, même avec moins de paramètres.
Qu’est-ce qu’il faudrait pour que l’utilisation de l’IA soit pertinente dans votre travail juridique au Tribunal administratif fédéral ?
Pour commencer, il faudrait disposer d’un bon système de recherche, développé spécialement pour nos besoins et qui irait chercher les informations dans une base de données interne, ce qu’on appelle un RAG (Retrieval-Augmented Generation) ou Génération Augmentée par Récupération. Ces systèmes produisent toutefois tellement d’hallucinations qu’il faut toujours un humain pour vérifier les résultats. Idéalement, il faudrait développer ce système dans le cadre du programme de transformation numérique en cours. Sinon, je ne vois pour le moment que peu de possibilités d’utilisation avec un bénéfice à la clé pour le tribunal, excepté les petites applications telles que l’anonymisation des arrêts. J’utilise l’IA générative plutôt à des fins privées, par exemple pour répondre aux questions de mes enfants ou pour obtenir des recettes ou des modes d’emploi.
Donc vous ne craignez pas que l’IA puisse bientôt vous prendre votre travail ?
Non, je n’ai pas cette crainte. J’ai déjà essayé de saisir des questions dans une IA lorsque je cherchais des affaires ou des jugements. Les réponses étaient données avec beaucoup d’assurance, or certaines étaient de pures inventions. Il est arrivé que l’IA me donne des numéros d’arrêts qui n’existaient pas du tout. La recherche montre que les explications juridiques générées par IA semblent à première vue d’une très grande qualité, mais qu’elles contiennent toutefois des inexactitudes factuelles qui sont plus dangereuses que des erreurs manifestes car elles se soustraient à l’instinct humain de vérifier les informations. C’est pourquoi je ne crois pas que notre travail – je parle des décisions juridiques – connaisse de changements décisifs dans un avenir proche. Bien sûr, on espère que l’IA finira par améliorer l’efficacité de notre travail, encore faut-il disposer des bons outils. Or pour le moment, ce n’est pas le cas.
Quels avantages voyez-vous dans l’utilisation de l’IA en jurisprudence ?
Je vois une potentialité dans la vérification des projets d’arrêt. Après la rédaction d’un projet, l’IA pourrait me dire si mon arrêt contredit un texte existant et ainsi apporter un regard critique sur mon projet. Elle nous servirait ainsi de miroir, car les greffières et les greffiers sont souvent seuls dans leur travail.
« Pour le moment, je ne vois guère comment tirer avantage de l’utilisation de l’IA au tribunal. »
Aglaja Schinzel
Et quels sont les risques selon vous ?
Je vois plusieurs risques, à commencer par le système de recherche. Même s’il n’est basé que sur des données internes, le risque existe qu’il ne trouve pas certains arrêts de référence. Je vois également un grand danger lié à ce qu’on appelle le biais d’automatisation. Les humains ont tendance à privilégier les décisions émises par des systèmes automatisés au détriment des décisions humaines. On en arrive à tellement faire confiance à la technologie qu’on ne vérifie plus le résultat. Pour ma part, je ne laisserais pas une IA résumer ne serait-ce que les faits dans un arrêt. À mon avis, l’œil humain est essentiel pour distinguer ce qui est important. De plus, un contenu généré par IA crée dès le départ un parti pris.
Par ailleurs, il existe le risque que l’interaction entre l’IA et les juges ou les greffières et greffiers accentue les erreurs et les partis pris en confortant les personnes dans leurs convictions. En effet, l’IA sélectionne les éléments de preuve qui corroborent le point de vue initial des personnes concernées, créant ainsi un biais de confirmation qui tourne en boucle. Si l’IA peut évaluer la pertinence sur la base de critères juridiques définis, elle n’est pas en mesure de prendre des décisions stratégiques quant aux faits qu’il convient de mettre en avant à des fins de persuasion, car cela nécessite de comprendre le déroulement narratif de l’affaire.
Vous dites qu’un contenu généré par IA crée un parti pris. Que voulez-vous dire ?
Quand nous traitons une affaire en suivant la jurisprudence, nous devons d’abord prendre connaissance des pièces du dossier avant de lire la décision prise en première instance. Si on fait l’inverse, on court le risque de ne plus être objectif. C’est le même risque que je vois dans l’utilisation de l’IA pour générer des contenus factuels. Comment l’IA peut-elle savoir ce qui est important ? Je fais davantage confiance au jugement humain qu’à celui de la machine. C’est pourquoi je suis également une fervente défenseuse du pouvoir discrétionnaire des juges. Il ne doit pas être remplacé par l’IA. On le voit dans le droit pénal : il n’y a pas de barème précis des sanctions en fonction des délits et il faut toujours prendre en compte le contexte avant de décider.
Qu’est-ce que vous souhaiteriez dans le rapport IA et justice ?
Qu’on fasse plus de sensibilisation et d’éducation. J’observe une grande naïveté chez de nombreuses personnes dès qu’il s’agit d’utiliser l’IA générative. Sans oublier la problématique de la perception humaine face à des résultats automatisés présentés avec beaucoup d’assurance. Le biais d’automatisation est présent dans tous les domaines professionnels étudiés, notamment dans l’aviation, la médecine, la finance et les ressources humaines. Les gens ont tendance à croire tout ce que dit la machine, ils en oublient leur esprit critique. La recherche révèle que la formation ne suffit pas à se défendre contre le biais d’automatisation. C’est pourquoi il vaudrait mieux privilégier des systèmes d’IA qui fournissent des informations plutôt que des recommandations. Cela implique d’intégrer la vérification dans le processus de travail et de créer un système qui oblige à rendre des comptes.
Pourriez-vous imaginer qu’un jour, des jugements soient rendus entièrement par une IA ? Après tout, elle n’est jamais fatiguée, n’a jamais faim et n’a pas de préjugés.
Non, j’ai du mal à l’imaginer. Je ne pense pas non plus qu’un arrêt rendu par une IA serait accepté par les personnes concernées. Et s’il est vrai que l’IA n’est jamais fatiguée ou n’a jamais faim, en revanche elle n’est pas impartiale. D’une part parce qu’elle travaille avec nos données et qu’elle peut accentuer ou transformer les subjectivités qui s’y trouvent, d’autre part parce que, comme je viens de le dire, elle présente des biais dont nous n’avons pas connaissance. Et il y a aussi une répercussion chiffrée : là où un juge partial peut influencer une centaine d’affaires par an, un algorithme tendancieux peut avoir un impact sur des millions d’affaires en même temps. Je suis convaincue qu’un avis humain est bien différent d’un avis généré par IA. La justice aurait beaucoup à perdre avec des arrêts entièrement générés par IA.
Aglaja Schinzel
Aglaja Schinzel travaille depuis décembre 2018 comme greffière à la Cour IV du Tribunal administratif fédéral. C’est sa seconde affectation au TAF, elle a en effet été en poste à la Cour V de 2011 à 2016. Pour le travail de fin d’études de son CAS en magistrature en 2024, cette juriste, qui vit à Zurich avec sa famille, s’est penchée sur la question de savoir dans quelle mesure l’IA peut améliorer les arrêts du tribunal.
Plus d'articles de blog
La diversité fait du bien
Annette Nimzik est convaincue que la diversité est un facteur important de développement aussi bien chez les individus qu’au sein d’organisations. Cette gestionnaire des ressources humaines expérimentée souhaiterait plus d’introspection au sein du Tribunal administratif fédéral. Elle joue par ailleurs au bridge pour préparer sa vieillesse tant sur le plan cognitif que social.
La justice numérisée de St-Gall à Neuchâtel
Le fait que le Tribunal administratif fédéral poursuive résolument sa numérisation s'est répandu jusqu'à Neuchâtel. Une délégation des Autorités judiciaires neuchâteloises s'est récemment rendue à Saint-Gall pour se faire une idée de l'état de la mise en œuvre.