Collez ceci dans Claude et ne touchez plus jamais une limite de tokens

Nate B. Jones part d’un constat très concret: quand Claude, Codex ou ChatGPT annonce une limite atteinte, le problème vient souvent beaucoup moins du dernier message que de tout ce que la conversation transporte déjà. Dans son exemple, une journée de travail Codex a fait circuler 3,77 milliards de tokens, dont près de 96 % étaient de l’entrée réutilisée. Le message humain n’est donc qu’une petite partie de l’appel réel.

La discipline de contexte comme avantage opérationnel

La vidéo présente quinze règles regroupées en trois niveaux. Le premier niveau consiste à nettoyer soi-même son « bureau »: éditer une demande mal formulée plutôt que corriger dans un nouveau message, regrouper les questions liées, ouvrir une nouvelle tâche quand le sujet change, et ne transmettre à l’étape suivante que l’artefact utile — par exemple le rapport final, pas tout le débat qui l’a produit.

Nate insiste aussi sur le coût des sorties. Une réponse trop longue est chère à générer, puis redevient un morceau de contexte coûteux à chaque tour suivant. Demander cinq puces, un paragraphe ou du JSON n’est pas seulement une préférence de format: c’est une manière de réduire la charge qui sera renvoyée au modèle.

Réduire les sources avant de les envoyer

Une autre idée forte concerne les fichiers et les sources. Le modèle peut fouiller un fichier, un PDF ou une pile de captures d’écran, mais cela consomme vite du contexte. Le meilleur réflexe consiste à chercher soi-même, extraire les passages utiles, convertir en texte ou Markdown quand la mise en page ne compte pas, puis fournir au modèle la forme la plus légère encore exploitable.

Le deuxième niveau est l’automatisation de ces gestes avec le skill « token saver ». Il cherche avant d’ouvrir de gros fichiers, sélectionne des passages, exécute en code quand c’est plus exact, conserve la version acceptée et aide à formuler le prochain prompt à partir du résultat plutôt que de l’historique complet.

Vers des garde-fous plus avancés

Les règles avancées portent sur ce qui entre dans l’enveloppe avant même que l’utilisateur parle: définitions d’outils, instructions permanentes, historique, contexte compacté et choix du modèle. Nate rappelle qu’un environnement Claude Desktop avec plusieurs outils connectés peut brûler environ 55 000 tokens en définitions d’outils avant le travail utile.

C’est là qu’il présente Ringer, son framework multi-agent local. L’idée n’est pas d’ajouter une nouvelle fenêtre de chat, mais de placer une couche entre l’outil AI et le fournisseur de modèle. Cette couche peut répondre localement, appliquer une recette fixe, sélectionner les passages nécessaires, imposer des limites dures ou arrêter une requête trop grosse.

À retenir

Le message central est simple: les fenêtres de contexte grandiront, mais cela ne dispense pas de nettoyer le contexte. Pour obtenir plus de valeur des assistants AI, il faut envoyer moins de bruit, garder les réponses acceptées retrouvables et réserver les gros appels aux moments où ils sont vraiment nécessaires.

Source

• Chaîne: AI News & Strategy Daily | Nate B Jones
• Vidéo source: https://www.youtube.com/watch?v=Y8vAQ1FgNbM