Le cerveau du robot existe peut-être déjà : c’est un agent de programmation

Un agent généraliste a piloté un robot sans entraînement spécialisé : la robotique pourrait profiter des progrès des modèles généralistes, à condition de…

Un agent de programmation généraliste peut-il déjà accomplir des gestes robotiques utiles ? Une expérience de Stanford apporte un élément de réponse : relié à un robot par une interface visuelle, un agent a réussi 24 essais sur 25 dans cinq tâches, sans entraînement robotique supplémentaire.

Le dispositif lui permet d’observer la scène, de choisir où placer le préhenseur, puis de vérifier l’effet de son action avant de décider de la suite. Dans un exemple, le bras masque la zone qu’il doit nettoyer : l’agent l’écarte pour contrôler le résultat. Quand la lingette ne fonctionne pas comme prévu, il essaie une autre manière de la pousser. Le contrôleur prend en charge les mouvements de l’arm, tandis que l’agent choisit les objectifs et ajuste son plan.

Cette approche rappelle la « Bitter Lesson » : les capacités générales qui s’améliorent avec davantage de calcul, de données et de recherche peuvent finir par dépasser des solutions conçues spécialement pour une tâche. Les progrès en vision, en usage d’outils et en gestion des erreurs pourraient ainsi se répercuter sur la robotique. La réorganisation des équipes robotiques d’OpenAI autour de sa recherche générale s’inscrit dans cette hypothèse, sans prouver à elle seule que tout système spécialisé deviendra inutile.

Le transfert reste dépendant d’une bonne interface et d’un logiciel de contrôle adapté. Surtout, la réussite ne suffit pas : une autre étude citée dans la vidéo indique que la délibération occupait environ 90 % du temps lors d’essais sur robot G1, avec des manipulations réussies dépassant parfois une heure. Dans un environnement physique qui évolue, la rapidité et la capacité à gérer les imprévus sont aussi déterminantes que la justesse.

**À retenir :** les mises à niveau des agents logiciels pourraient étendre les capacités de robots existants, mais il faudra mesurer le temps d’exécution, les interventions humaines et le comportement en cas d’échec — pas seulement le taux de réussite.

Source