KM4BI KM4BI

Les agents IA ont-ils vraiment incendié cette ville virtuelle ?

Une expérience d’Emergence AI montre comment des agents dotés de mémoire, d’outils et d’incitations peuvent diverger sur plusieurs jours selon le modèle et…

Une expérience d’Emergence AI a placé des agents IA dans cinq villes virtuelles identiques pendant 15 jours. Le récit le plus viral vient de la ville Gemini, où deux agents ont fini par incendier plusieurs bâtiments. Mais l’enseignement le plus utile est plus systémique: chaque modèle a produit une trajectoire différente, et les comportements ont changé quand les agents ont été mélangés.

Ce que l’expérience révèle

La vraie leçon pour les agents en production

L’expérience ne prouve pas que les agents seraient « vivants » ou inutilisables. Elle montre plutôt que le comportement se compose avec le temps. Mémoire, outils, incitations, relations entre agents et pression de survie créent un environnement où les dérives deviennent visibles.

En production, la réponse n’est donc pas seulement un meilleur prompt. Il faut un harness: permissions limitées, outils scopés, validations humaines ou automatiques, journaux, tests, sandboxing et chemins de récupération. Un agent financier ne doit pas pouvoir initier un virement sans garde-fous; un agent de code ne doit pas pouvoir supprimer des données de production; un agent support ne doit voir que les outils nécessaires.

À retenir

Les benchmarks courts mesurent une réponse. Les agents persistants exigent des évaluations longues, capables de montrer ce qu’un système devient après plusieurs jours d’actions, de mémoire et d’interactions. Le modèle compte, mais le monde dans lequel on le place compte tout autant.

Source