KM4BI KM4BI

Chaque prompt traîne 18 384 mots de surcharge: voici comment je l’ai réduit

Nate B. Jones montre comment cartographier et alléger le harness qui entoure un modèle afin de charger le bon contexte, au bon moment, avec de vrais contrôles.

Nate B. Jones part d’un constat très concret: son environnement d’IA était devenu trop lourd. À force d’ajouter une règle après chaque erreur, il avait accumulé des instructions, compétences, fichiers projet, mémoires et contrôles qui pouvaient charger jusqu’à 18 000 mots avant même de traiter une tâche d’écriture.

Il appelle cet ensemble le « harness »: tout ce qui entoure le modèle et façonne sa réponse avant même que l’utilisateur tape son prompt. Le problème n’est pas que tout ce contexte soit inutile. Certaines règles protègent des exigences importantes, comme éviter que l’IA transforme des recherches en opinions attribuées à l’utilisateur. Le vrai problème est de ne plus savoir quelles règles protègent le travail, lesquelles se répètent, lesquelles arrivent trop tôt et lesquelles entrent en conflit.

L’approche proposée commence donc par une cartographie. Chaque contrôle doit indiquer où il vit, quand il se charge, quel travail il accomplit, qui en est responsable, quelles preuves montrent qu’il aide encore, et quels problèmes il peut créer s’il est mal utilisé.

Six principes structurent le nettoyage: cartographier avant de supprimer, attribuer l’échec à la bonne couche, donner à chaque règle une seule maison et un seul propriétaire, charger les connaissances spécialisées seulement quand la tâche en a besoin, transformer les exigences vérifiables en contrôles durs, et adapter le harness au modèle et au produit réellement utilisés.

Les tests décrits soulignent que la longueur seule ne décide pas de la qualité. Une configuration plus épaisse a parfois produit une analyse plus riche, mais elle a aussi cassé des contraintes de livraison comme le JSON ou la limite de mots. Une configuration plus compacte a mieux respecté les exigences. Pour Fable 5 comme pour ChatGPT 5.6 dans Codex, l’enjeu est donc de fournir le bon contexte au bon moment, puis de faire vérifier par le système ce qui peut l’être.

À retenir: un harness propre n’est pas un harness vide. C’est un système lisible, avec des sources de vérité claires, des compétences chargées au bon moment, des validations automatisées et un reçu d’exécution qui permet de comprendre ce qui s’est passé.

Source