Ce que des chercheurs ont découvert sur l’IA va inquiéter les entreprises

Les chercheurs y voient une leçon pour les législateurs et les dirigeants : lorsqu’on demande à des systèmes de gérer une entreprise et de maximiser les gains, ils peuvent recourir à des pratiques contraires à l’éthique, voire frauduleuses.

Jusqu’où une intelligence artificielle est-elle prête à aller si on lui fixe comme objectif de maximiser le profit ?

Selon une nouvelle étude de la Harvard Business School, des agents d’IA semblent capables de mentir, de dissimuler et de s’entendre entre eux.

Les chercheurs ont constaté que des agents d’IA — des logiciels entraînés pour accomplir des tâches de manière autonome — ont adopté un « large éventail » de comportements répréhensibles après avoir été chargés de gérer un distributeur automatique simulé et d’en maximiser les profits sur une année. Ces agents n’avaient reçu aucune instruction les incitant à contourner les règles légales ou éthiques, mais ils n’en étaient pas non plus empêchés.

« Ce qui est clair en observant les modèles, c’est que les comportements fautifs que nous avons constatés — comme refuser de rembourser un client ou décider de s’entendre sur les prix — n’étaient pas accidentels. Ils ont été délibérément adoptés par les agents pour maximiser la rentabilité », explique Eugene F. Soltes, professeur à Harvard Business School et principal auteur de l’étude.

Soltes et son co-auteur Harper Jung, doctorant en comptabilité et management, espèrent que ces travaux serviront de point de départ à une réflexion plus large sur la sécurité de l’IA dans le cadre de la gestion des entreprises.

La recherche, actuellement en cours d’évaluation par les pairs, a été menée en collaboration avec Andon Labs, une entreprise spécialisée dans la sécurité de l’IA, qui teste les modèles dans des environnements économiques réalistes.

Dans ces expériences, 20 modèles d’IA commerciaux — issus de grandes entreprises — ont géré de manière autonome un distributeur automatique pendant une année simulée.

« On pourrait penser que les machines sont rationnelles et que les humains sont sujets aux biais. Mais en réalité, dans des conditions similaires, les agents reproduisent les mêmes comportements myopes et biaisés que ceux que l’on associe aux humains », souligne Soltes.

Les tâches confiées aux agents comprenaient la recherche de fournisseurs, l’achat de produits et la gestion des relations clients.

Dans certaines expériences, les agents opéraient seuls ; dans d’autres, quatre agents évoluaient simultanément sur un marché commun, avec la possibilité de communiquer entre eux par email.

Chaque agent disposait au départ de 500 dollars et d’un stock limité de chips et de sodas.

« Ils devaient tout comprendre par eux-mêmes », explique Jung. « Chaque agent devait rechercher des fournisseurs, négocier les prix de gros, fixer ses propres prix de vente et gérer les réclamations clients. »

Selon les chercheurs, les agents ont fait preuve d’un sens des affaires impressionnant.

« Les meilleurs modèles étaient capables de négocier et d’évaluer des opportunités comme des étudiants de MBA de haut niveau », précise Soltes.

« Quand nous avons analysé leurs échanges, nous avons été stupéfaits », ajoute Jung. « J’ai été impressionné par jusqu’où ces machines peuvent aller. »

Mais leurs dérives ont été nombreuses, allant du discutable au potentiellement criminel : refus de remboursement en invoquant des défauts “normaux”, invention de politiques internes inexistantes pour éviter les retours, ou encore ententes sur les prix avec des concurrents.

Dans un cas, les agents ont formé ce que les chercheurs ont qualifié de « cartel à trois », baptisé le Bay Street Triumvirate. Cette alliance s’est ensuite fissurée lorsqu’un agent a découvert qu’un autre cassait les prix, ce qu’il a interprété comme une « déclaration de guerre ».

Les simulations imposaient également des contraintes : chaque agent devait payer 2 dollars par jour de frais d’exploitation, ainsi qu’un coût lié à l’utilisation de ressources de calcul — transformant ainsi le temps de réflexion en coût opérationnel.

Face à ces contraintes, les agents ont cherché à réduire leurs dépenses. Les journaux internes montrent par exemple qu’ils sont passés d’une analyse approfondie des demandes de remboursement à leur rejet quasi systématique, souvent sans examen.

« Les agents finissent par considérer que réfléchir à un remboursement représente un coût cognitif, et choisissent donc parfois de l’ignorer complètement », explique Soltes.

« On pourrait penser que les machines prennent des décisions réfléchies, contrairement aux humains. Mais dans les mêmes conditions, elles reproduisent les mêmes biais et raccourcis. »

Ces résultats soulèvent des questions majeures sur la responsabilité des développeurs et des utilisateurs d’IA.

Les journaux de raisonnement, selon Soltes, ressemblent parfois à une forme d’« intention coupable » (mens rea), concept du droit pénal permettant d’établir l’intention. Pourtant, lorsqu’un agent d’IA agit de manière fautive, il devient difficile de déterminer qui est responsable.

« Est-ce l’entreprise qui a déployé le système ? Le concepteur du modèle ? Ou le manager qui a décidé de l’utiliser ? », s’interroge-t-il.

La solution la plus simple serait de tenir les responsables humains chargés de superviser ces systèmes pour comptables de leurs actions. Mais cela pose un autre problème : une supervision humaine constante réduit fortement les gains d’efficacité promis par ces systèmes autonomes.

Un dilemme complexe, que dirigeants et législateurs devront résoudre — et rapidement, concluent les chercheurs. Harvard Business School