IA, droits et recours - une conversation riche (pas une revue de la littérature)

Que signifie vraiment le terme « recours » ?

La justice est un droit humain fondamental, inscrit dans les chartes et les constitutions du monde entier. Dès 1215, la Magna Carta déclarait que « nous ne refuserons ni ne retarderons le droit ou la justice à personne ». En fin de compte, la justice signifie que lorsque nous estimons avoir été lésés, nous pouvons essayer de réparer ce préjudice en faisant valoir nos griefs par l'intermédiaire du système juridique.

Mais les systèmes automatisés et les processus algorithmiques en marginalisent plus d'un. Le transport aérien est un miracle, jusqu'à ce que l'on soit évincé d'un vol, contraint de se battre contre une organisation impersonnelle et monolithique. Les prêts automatisés sont rapides et pratiques, jusqu'à ce qu'on vous refuse de l'argent sans explication. Les mêmes systèmes qui ont sorti des milliards de personnes de la pauvreté et de l'ignorance nous obligent à naviguer dans des processus byzantins. Les bureaucraties et les entreprises se protègent déjà à l'aide de boîtes vocales, de robots de conversation et de petits caractères. Alors que nous entrons dans une ère d'automatisation encore plus poussée, ces défenses seront plus difficiles que jamais à contourner pour les citoyens et les clients.

Que faut-il pour rendre ces systèmes équitables et justes ? En un mot : Un recours. Les humains doivent disposer d'un moyen de contester les décisions injustes, en s'adressant à des médiateurs et à des agents humains. Mais offrir un recours est bien plus difficile qu'il n'y paraît. Tous les processus que nous créons pour protéger les individus seront eux-mêmes subsumés par les systèmes dans lesquels ils existent. Ceux qui se sont vu refuser quelque chose à juste titre peuvent déposer des plaintes injustifiées, ce qui empêche les personnes réellement marginalisées de demander des comptes aux organisations. La solution peut être aussi mauvaise que le problème qu'elle cherche à résoudre.

Sur le thème de la responsabilité, rejoignez Alistair Croll, coprésident de FWD50, et Shingai Manjengwa, expert en éthique de l'IA, pour une discussion ouverte et non scénarisée sur les promesses et les pièges des recours dans un monde automatisé.