Concevoir l’IA avec des experts, sans se contenter d'audits tardifs

Description traduite par IA.

La plupart des projets d'IA au sein du gouvernement se voient greffer un processus d'audit après leur lancement — qu'il s'agisse d'un comité d'examen, d'une équipe de simulation d'attaques ou red team, ou de vérifications périodiques. Le projet « Réponses de l'IA de Canada.ca » a emprunté une voie différente : l'évaluation par des experts en la matière est directement intégrée à l'architecture en tant qu'infrastructure porteuse, plutôt que d'être superposée comme un simple mécanisme de surveillance.

Ce choix s'est imposé par l'ampleur du projet. Canada.ca constitue la porte d'entrée numérique de plus de 200 institutions fédérales. Or, la majorité des solutions d'IA gouvernementales sont développées de manière cloisonnée, ministère par ministère ou sujet par sujet. Concevoir d'emblée un outil pour l'ensemble de l'écosystème numérique d'un gouvernement met en lumière des défis de gouvernance invisibles à l'échelle d'un seul sujet — et les audits greffés après coup ne permettent de résoudre aucun d'entre eux.

Au cours de quatre essais publics (portant sur plus de 8 000 questions), des experts de 15 ministères partenaires — touchant notamment l'assurance-emploi, l'immigration, les services aux Autochtones, la santé et les pensions — ont évalué au moins 30 % de toutes les réponses générées par l'IA. Les résultats ont bousculé plusieurs idées reçues sur le fonctionnement de la gouvernance de l'IA :

• La parité de l'exactitude bilingue : Un taux d'exactitude de 96,7 % a été atteint en anglais comme en français — un résultat remarquable quand on sait que les systèmes d'IA affichent généralement des taux d'erreur 20 % plus élevés en français.

• L'évaluation de l'IA comme diagnostic de contenu : Grâce au processus d'évaluation, les ministères ont détecté des directives désuètes, des lacunes en matière de langage clair et simple ainsi que des manques dans les contenus. La surveillance de l'IA s'est ainsi transformée en une boucle d'amélioration continue du contenu Web.

• L'expertise distribuée comme stratégie de déploiement : Une équipe centralisée de l'IA ne peut pas couvrir adéquatement l'ensemble des institutions fédérales. C'est ce modèle de partenariat avec des experts sectoriels qui rend possible un déploiement sécuritaire et confiant sur tout le site.

Ce modèle de gouvernance n'a pas été adapté après coup ; il s'agissait d'une contrainte de conception qui a façonné l'architecture technique elle-même. Les exigences ont été dictées par une recherche sur la confiance (une étude menée auprès de 1 500 personnes sur l'attitude du public canadien face à l'IA gouvernementale), et le flux de travail lié à l'évaluation par les experts en en est la concrétisation. Enfin, 76 % des commentaires des utilisateurs lors des essais étaient positifs — un signal exceptionnel puisque les commentaires spontanés sont habituellement négatifs.

Cette séance comprendra une démonstration en direct du flux de travail d'évaluation par les experts et se penchera sur une question transférable : lorsque l'IA sert l'intérêt public à grande échelle — qu'elle soit fédérale, provinciale ou municipale —, à quoi ressemble une gouvernance intégrée plutôt que greffée ?