Πού καταναλώνονται τα tokens

Η Microsoft Research περιγράφει ένα πρόβλημα: οι προγραμματιστές δουλεύουν επί μέρες στα ίδια repositories, αλλά οι coding agents ξεκινούν κάθε συνεδρία από το μηδέν. Σε κάθε συνεδρία ο agent στέλνει στο μοντέλο οδηγίες, περιγραφές εργαλείων και ιστορικό, και όλα αυτά κοστίζουν tokens. Η εργασία έχει τίτλο TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents, και το plugin προέρχεται από το UC Berkeley, τη Microsoft Research και τη Microsoft Security.

Για τη διάγνωση, η ομάδα μέτρησε τη συμπεριφορά του Claude Code σε 60 εργασίες από το SWE-Bench, benchmark με πραγματικές διορθώσεις σφαλμάτων σε ανοιχτού κώδικα projects Python, εκτελώντας διαδοχικά τις εργασίες κάθε repository. Εντόπισε τρεις επαναλαμβανόμενες πηγές σπατάλης. Πρώτη, η επανανακάλυψη γνωστών στοιχείων: μόλις ένα repository είχε συγκεντρώσει τουλάχιστον πέντε ολοκληρωμένες εργασίες, το 30% των κλήσεων εργαλείων επανέλαβε ενέργεια από προηγούμενη εργασία του ίδιου repository, και μόνο το 7% ταίριαζε με ενέργεια από άλλο repository.

Δεύτερη, τα αχρησιμοποίητα εργαλεία: ο agent λάμβανε 23 περιγραφές εργαλείων σε κάθε γύρο και τα 16 δεν κλήθηκαν ποτέ. Τρίτη, οι αποτυχίες: το 17% των εργασιών που απέτυχαν αντιστοιχούσε στο 32% της δαπάνης. Η ομάδα δοκίμασε και τρία δημοφιλή plugins ανοιχτού κώδικα με σταθερή στρατηγική εξοικονόμησης. Το καθένα μείωσε το κόστος σε ορισμένα repositories και όχι σε άλλα, και η Microsoft Research συμπεραίνει ότι ο έλεγχος κόστους πρέπει να προσαρμόζεται στο repository.

Πώς λειτουργεί το plugin

Μετά από κάθε συνεδρία το TokenEconomizer διαβάζει το log και ενημερώνει όσα γνωρίζει για το repository. Ενεργεί μέσω τριών μηχανισμών, χρησιμοποιώντας μόνο διεπαφές που ο agent ήδη παρέχει.

Τα micro-skills είναι σημειώσεις μίας γραμμής με γνώση ειδική για το repository. Προστίθενται στο αρχικό context του agent μόνο αφού αρκετές συνεδρίες επιβεβαιώσουν το μοτίβο, και αποσύρονται αν νεότερα στοιχεία το διαψεύσουν. Το tool pruning αφαιρεί εργαλεία που το ιστορικό δείχνει ότι δύσκολα θα χρησιμοποιηθούν, κρατώντας πάντα τα βασικά για εκτέλεση εντολών και επεξεργασία αρχείων· τα αφαιρεθέντα μπορούν να επανέλθουν.

Το failure-loop intervention παρακολουθεί αν ο agent πέφτει επανειλημμένα στην ίδια αποτυχία. Ένα μοντέλο-κριτής κρίνει αν ο agent είναι πράγματι κολλημένος ή προχωρά. Αν είναι κολλημένος, λαμβάνει σύντομη σημείωση για διαφορετική προσέγγιση. Στην έκδοση ανοιχτού κώδικα, αν παραμένει κολλημένος, το plugin ειδοποιεί τον προγραμματιστή αντί να σταματήσει μόνο του τη δουλειά. Η Microsoft Research αναφέρει ότι το κόστος των δικών του κλήσεων μοντέλου περιλαμβάνεται στις δηλωμένες εξοικονομήσεις.

Αποτελέσματα και όρια

Η αξιολόγηση έγινε σε 277 εργασίες SWE-Bench από έξι repositories, με πέντε συνδυασμούς coding agent και μοντέλου. Σε κάθε repository το plugin ξεκινούσε χωρίς ιστορικό. Το μέσο κόστος ανά εργασία έπεσε κατά 18,4–30,9%, με εξοικονόμηση σε όλα τα 30 ζεύγη repository–συνδυασμού χωρίς απώλεια απόδοσης. Σύμφωνα με την εργασία, το Pass@1 αυξήθηκε σε τέσσερις από τους πέντε συνδυασμούς. Η μείωση της προσπάθειας συλλογισμού του μοντέλου εξοικονομούσε παρόμοια ή μεγαλύτερα ποσά, αλλά με ουσιαστική υποβάθμιση της απόδοσης.

Η εξοικονόμηση μεγαλώνει με τη συσσώρευση εμπειρίας. Οι πρώτες εργασίες μπορεί να κοστίζουν περισσότερο όσο το σύστημα μαθαίνει, όμως το σωρευτικό κόστος έπεσε κάτω από την προεπιλογή σε κάθε repository μέχρι την έκτη εργασία (μέτρηση με Claude Code). Κάθε μηχανισμός συνεισφέρει μόνος του και ο συνδυασμός των τριών δίνει τη μεγαλύτερη μείωση.

Τα οφέλη εμφανίστηκαν και εκτός SWE-Bench: 16,0–21,2% χαμηλότερο κόστος στο Web-Bench, με διαδοχική ανάπτυξη web, και 6,4–19,6% στον έλεγχο ασφάλειας, όπου κάθε εργασία γίνεται σε νέο repository. Τα στοιχεία προέρχονται από τους ίδιους τους συγγραφείς και όχι από ανεξάρτητη αξιολόγηση.

Διαθεσιμότητα και επόμενα βήματα

Το plugin ανοιχτού κώδικα έχει σχεδιαστεί ώστε να τρέχει παράλληλα με υπάρχοντες coding agents χωρίς τροποποίηση των μοντέλων τους. Δεν απαιτεί δικό του API key και κρατά όσα μαθαίνει στο μηχάνημα του προγραμματιστή. Η Microsoft Research το παρουσιάζει ως αφετηρία για agents που προσαρμόζουν τον τρόπο εργασίας τους με την εμπειρία, και καλεί την κοινότητα να το αξιοποιήσει.