Τι μετρήθηκε και με ποια διάταξη

Η Hugging Face παρουσίασε μέθοδο για την προσαρμογή ενός μοντέλου στο harness, δηλαδή το περιβάλλον που οργανώνει τις κλήσεις εργαλείων και τον βρόχο του πράκτορα. Η βασική παρατήρηση της εταιρείας είναι ότι τα μοντέλα στοχεύουν γενική απόδοση και δεν είναι βελτιστοποιημένα για συγκεκριμένο harness ή κατανομή εργασιών. Έτσι, ο συνδυασμός μοντέλου και harness αφήνει περιθώριο σε ακρίβεια και κόστος.

Για το Qwen3.8-27B, με το harness pi, η ανάρτηση αναφέρει 39% στο Terminal-Bench 2.1 και μέση χρήση 2.9K tokens ανά εργασία. Με πάγωμα των βαρών και προσθήκη προσαρμογέα LoRA που εκπαιδεύτηκε με RL, το αποτέλεσμα γίνεται 55% pass@1 (ποσοστό εργασιών που λύνονται στην πρώτη προσπάθεια) με 1.5K tokens κατά μέσο όρο. Η εταιρεία αποδίδει το κέρδος κυρίως στο ότι το μοντέλο συλλογίζεται λιγότερο, καλεί λιγότερα εργαλεία και τα καταφέρνει καλύτερα με την πρώτη.

Το MarkTechPost, που αναφέρεται στον προσαρμογέα Qwen3.8-27B-pi-adapted με άδεια Apache-2.0, δίνει ακριβέστερα νούμερα: 39.5% έως 55.8% στο Terminal-Bench 2.1 και 39.2% έως 64.7% στο υποσύνολο SWE-bench Pro hard-51. Οι τιμές 39% και 55% της ανάρτησης διαφέρουν σε ακρίβεια από αυτές του MarkTechPost, και οι πηγές δεν εξηγούν τη διαφορά.

Βασικό μοντέλο και μοντέλο με προσαρμογέα LoRA, όπως τα αναφέρουν οι πηγές (pass@1)

ΜέτρησηΒασικό Qwen3.8-27BΜε προσαρμογέαΠηγή
Terminal-Bench 2.1, harness pi39%55%Hugging Face
Terminal-Bench 2.139.5%55.8%MarkTechPost
SWE-bench Pro hard-5139.2%64.7%MarkTechPost
Μέσα tokens ανά εργασία (Terminal-Bench 2.1, pi)2.9K1.5KHugging Face

Πώς χτίστηκε η εκπαίδευση

Η εκπαίδευση έγινε μέσα στα ίδια τα harnesses, με τις εκδόσεις Pi 1.5.2, OpenCode 2.2.7 και Hermes Agent v0.22.6. Σύμφωνα με την Hugging Face, το harness τρέχει όπως διανέμεται και ο εκπαιδευτής μαθαίνει από τα ακριβή tokens που παρήγαγε το μοντέλο, καταγεγραμμένα από proxy ανάμεσα στο harness και το vLLM. Αυτό διαφέρει από πλαίσια RL που εκπαιδεύουν μια επανυλοποίηση του βρόχου του πράκτορα. Τα δεδομένα, η εκπαίδευση και οι εκτελέσεις των πρακτόρων έγιναν στο Hub με Jobs, με τους AsyncGRPOTrainer της TRL, OpenEnv και harbor.

Το σύνολο εργασιών προήλθε από τρεις πηγές. Το SWE-smith εισάγει σφάλματα σε πραγματικά αποθετήρια Python και Go. Το SWE-Gym, πακεταρισμένο ως εργασίες Harbor, μετατρέπει πραγματικά GitHub issues και τις διορθώσεις τους. Το Tasksmith παράγει εργασίες από merged pull requests: από 30 pull requests προέκυψαν 24 εργασίες σε 10 αποθετήρια Python που πέρασαν τους ελέγχους του, 17 από αυτές και σε δεύτερη εκτέλεση.

Η αρχική αναζήτηση στο Hub βρήκε περίπου 59,000 εργασίες Harbor, με διπλότυπα, σετ αξιολόγησης και εργασίες μη κατάλληλες για εκπαίδευση. Το φιλτράρισμα κράτησε 1,127 υποψήφιες και 858 πέρασαν τον έλεγχο openenv validate. Οι έλεγχοι με γνωστά λάθος αποτελέσματα εντόπισαν ελαττώματα, μεταξύ άλλων έναν verifier του Terminal-Bench 2.1 (regex-log) που δεχόταν λάθος απαντήσεις. Οι περισσότερες αποτυχίες ήταν προβλήματα υποδομής, όπως images που δεν ξεκινούσαν. Ακολούθησε έλεγχος δυσκολίας με το βασικό μοντέλο, επειδή στο GRPO μια εργασία που λύνουν ή αποτυγχάνουν όλες οι προσπάθειες δεν δίνει σήμα μάθησης.

Όρια και επόμενα βήματα

Τα νούμερα προέρχονται από την ίδια την Hugging Face και αφορούν δικό της προσαρμογέα, ενώ το MarkTechPost τα μεταφέρει. Στις πηγές δεν υπάρχει ανεξάρτητη αξιολόγηση. Από τις εργασίες εκπαίδευσης αφαιρέθηκαν οι 253 εργασίες των benchmarks-στόχων και κάθε εργασία από αποθετήριο που αυτά χρησιμοποιούν, ώστε να περιοριστεί η επικάλυψη με τα σετ μέτρησης.

Η Hugging Face αναφέρει ότι κάθε προσαρμογέας υπερέχει του βασικού μοντέλου στο δικό του harness και στα δύο benchmarks, τόσο σε απόδοση όσο και σε αποδοτικότητα. Οι τρεις LoRA συγχωνεύθηκαν σε έναν κοινό προσαρμογέα που τρέχει αναλλοίωτος σε pi, Hermes Agent και OpenCode. Η εταιρεία δημοσιεύει επίσης τα artifacts (adapters, GGUFs, εργασίες RL, plugin safeagents) σε συλλογή και παρουσιάζει την εργασία ως αναπαραγώγιμη συνταγή για άλλους συνδυασμούς μοντέλου, harness και εργασιών. Στο περιεχόμενο της ανάρτησης περιλαμβάνεται και το ανοιχτό ερώτημα του τι έμαθε πραγματικά το μοντέλο.