Un budget mensuel de tokens fixé globalement pour un agent ressemble, dans son fonctionnement réel, à une caisse commune partagée sans compartiment : la tâche qui consomme le plus de tokens, pas nécessairement la plus utile, finit toujours par épuiser la réserve avant les autres, quel que soit l’ordre dans lequel les tâches ont été pensées au départ.
Ce texte explique pourquoi répartir ce budget par type de tâche, plutôt qu’en un seul bloc, change concrètement ce comportement, et comment définir ces catégories sans complexifier excessivement le suivi. Il ne traite pas du coût unitaire par appel, déjà déterminé par le fournisseur du modèle utilisé.
Le symptôme d’un budget unique
Sur un agent chargé à la fois de répondre à des questions courtes sur un catalogue et de rédiger des synthèses longues à partir de plusieurs documents, un budget mensuel unique a fini, sur plusieurs mois consécutifs, par être épuisé avant la fin du mois par les synthèses longues, beaucoup plus coûteuses en tokens par appel. Les questions courtes, largement majoritaires en nombre mais négligeables en coût individuel, se sont alors retrouvées bloquées faute de budget restant, alors qu’elles représentaient l’essentiel de l’usage quotidien réel.
Pourquoi une simple alerte de consommation ne suffit pas
Une alerte déclenchée à 80 % du budget mensuel prévient d’un dépassement global, mais ne dit rien de sa cause. Sur ce projet, l’alerte se déclenchait systématiquement autour du 20 du mois, sans qu’aucune action corrective simple n’en découle : réduire l’usage global aurait pénalisé les questions courtes, largement moins coûteuses, pour un problème provoqué par une autre catégorie de tâche.
Le découpage retenu, par type de tâche
Trois catégories ont été définies, chacune avec son propre budget mensuel de tokens, dimensionné séparément selon le volume d’usage attendu et le coût moyen observé par appel.
| Catégorie | Volume mensuel attendu | Coût moyen par appel | Budget dédié |
|---|---|---|---|
| Questions courtes sur catalogue | Élevé | Faible | 40 % du budget total |
| Synthèses longues multi-documents | Faible | Élevé | 45 % du budget total |
| Tâches d’administration ponctuelles | Très faible | Variable | 15 % du budget total |
Ce qui se passe quand une catégorie dépasse son budget
La règle retenue est stricte et volontairement sans exception automatique : une catégorie qui atteint son budget mensuel dédié s’arrête pour le reste du mois, même si une autre catégorie dispose encore d’une réserve largement inutilisée. Un dépassement provisoire nécessite une décision humaine explicite d’augmenter temporairement le budget d’une catégorie précise, jamais un simple transfert automatique depuis une autre.
- Chaque catégorie de tâche dispose de son propre budget, jamais d’un budget partagé implicitement.
- Un dépassement d’une catégorie ne doit jamais réduire silencieusement la réserve d’une autre.
- Le découpage se révise à chaque changement notable de volume d’usage, pas seulement une fois par an.
Un effet secondaire utile : localiser une dérive rapidement
Ce découpage a eu un effet que le projet n’anticipait pas au départ : lorsqu’une dérive de coût est apparue, quelques mois après la mise en place, elle a immédiatement pointé vers la catégorie des synthèses longues, dont le coût moyen par appel avait doublé après l’ajout d’un nouveau type de document plus volumineux en entrée. Avec un budget unique, cette dérive serait restée noyée dans la consommation globale plusieurs semaines de plus avant d’être identifiée.
Un budget global donne une photographie de la dépense totale ; un budget par tâche donne, en plus, la carte de qui la consomme et pourquoi.
Les limites de ce découpage
Ce système suppose de classer correctement chaque appel dans sa catégorie au moment de l’exécution, ce qui demande un minimum d’instrumentation côté code. Sur des agents où les tâches se chevauchent fortement, ou changent de nature en cours de session, un découpage trop fin devient plus contraignant qu’utile ; trois à quatre catégories larges, plutôt qu’une dizaine de catégories précises, ont donné les meilleurs résultats en pratique sur les projets suivis.
En résumé
Un budget de tokens réparti par type de tâche ne réduit pas nécessairement le coût total d’un agent, mais il empêche qu’une tâche coûteuse et peu fréquente n’épuise silencieusement la réserve prévue pour des tâches simples et fréquentes. Ce découpage rend aussi les dérives de coût beaucoup plus faciles à localiser, sans nécessiter d’outil de suivi plus sophistiqué qu’un compteur par catégorie.
