---
title: "Προσαρμογέας LoRA για το Qwen3.8-27B: Terminal-Bench 2.1 από 39.5% σε 55.8% με RL μέσα στο harness"
url: https://aibenchmark.gr/news/prosarmogeas-lora-gia-to-qwen3-8-27b-terminal-bench-2-1-apo-39-5-se-55-8-me-rl/
language: el
published: 2026-11-20T22:21:43.026Z
updated: 2026-11-20T22:21:43.030Z
site: "AI Benchmark"
section: "Έρευνα"
---

# Προσαρμογέας LoRA για το Qwen3.8-27B: Terminal-Bench 2.1 από 39.5% σε 55.8% με RL μέσα στο harness

Η Hugging Face εκπαίδευσε με ενισχυτική μάθηση προσαρμογείς για πράκτορες κώδικα. Στο pi η επιτυχία στο Terminal-Bench 2.1 ανεβαίνει από 39.5% σε 55.8%, με περίπου μισά tokens ανά εργασία.

> Γράφτηκε με τεχνητή νοημοσύνη από τις πηγές που αναφέρονται παρακάτω. Συντακτική ευθύνη: Konstantinos Perros. Πώς γράφουμε: https://aibenchmark.gr/how-we-write/

## Βασικά στοιχεία

- Στο Terminal-Bench 2.1 με το harness pi, το Qwen3.8-27B φτάνει 39% pass@1 και, με προσαρμογέα LoRA εκπαιδευμένο με RL, 55%, σύμφωνα με την ανάρτηση της Hugging Face. [1]
- Η μέση κατανάλωση πέφτει από 2.9K σε 1.5K tokens ανά εργασία, κατά την Hugging Face. [1]
- Το MarkTechPost δίνει για τον προσαρμογέα Qwen3.8-27B-pi-adapted 64.7% στο SWE-bench Pro hard-51 (από 39.2%) και 55.8% στο Terminal-Bench 2.1 (από 39.5%). [2]
- Εκπαιδεύτηκε ένας προσαρμογέας ανά harness (pi, Hermes Agent, OpenCode) και οι τρεις συγχωνεύθηκαν σε έναν ενιαίο «super adapter». [1]
- Από 1,127 υποψήφιες εργασίες του Hub, οι 858 πέρασαν τον έλεγχο openenv validate, ενώ αφαιρέθηκαν οι 253 εργασίες των benchmarks-στόχων. [1]

## Τι μετρήθηκε και με ποια διάταξη

Η Hugging Face παρουσίασε μέθοδο για την προσαρμογή ενός μοντέλου στο harness, δηλαδή το περιβάλλον που οργανώνει τις κλήσεις εργαλείων και τον βρόχο του πράκτορα. Η βασική παρατήρηση της εταιρείας είναι ότι τα μοντέλα στοχεύουν γενική απόδοση και δεν είναι βελτιστοποιημένα για συγκεκριμένο harness ή κατανομή εργασιών. Έτσι, ο συνδυασμός μοντέλου και harness αφήνει περιθώριο σε ακρίβεια και κόστος.

Για το Qwen3.8-27B, με το harness pi, η ανάρτηση αναφέρει 39% στο Terminal-Bench 2.1 και μέση χρήση 2.9K tokens ανά εργασία. Με πάγωμα των βαρών και προσθήκη προσαρμογέα LoRA που εκπαιδεύτηκε με RL, το αποτέλεσμα γίνεται 55% pass@1 (ποσοστό εργασιών που λύνονται στην πρώτη προσπάθεια) με 1.5K tokens κατά μέσο όρο. Η εταιρεία αποδίδει το κέρδος κυρίως στο ότι το μοντέλο συλλογίζεται λιγότερο, καλεί λιγότερα εργαλεία και τα καταφέρνει καλύτερα με την πρώτη.

Το MarkTechPost, που αναφέρεται στον προσαρμογέα Qwen3.8-27B-pi-adapted με άδεια Apache-2.0, δίνει ακριβέστερα νούμερα: 39.5% έως 55.8% στο Terminal-Bench 2.1 και 39.2% έως 64.7% στο υποσύνολο SWE-bench Pro hard-51. Οι τιμές 39% και 55% της ανάρτησης διαφέρουν σε ακρίβεια από αυτές του MarkTechPost, και οι πηγές δεν εξηγούν τη διαφορά.

*Βασικό μοντέλο και μοντέλο με προσαρμογέα LoRA, όπως τα αναφέρουν οι πηγές (pass@1)*

| Μέτρηση | Βασικό Qwen3.8-27B | Με προσαρμογέα | Πηγή |
| --- | --- | --- | --- |
| Terminal-Bench 2.1, harness pi | 39% | 55% | Hugging Face |
| Terminal-Bench 2.1 | 39.5% | 55.8% | MarkTechPost |
| SWE-bench Pro hard-51 | 39.2% | 64.7% | MarkTechPost |
| Μέσα tokens ανά εργασία (Terminal-Bench 2.1, pi) | 2.9K | 1.5K | Hugging Face |

## Πώς χτίστηκε η εκπαίδευση

Η εκπαίδευση έγινε μέσα στα ίδια τα harnesses, με τις εκδόσεις Pi 1.5.2, OpenCode 2.2.7 και Hermes Agent v0.22.6. Σύμφωνα με την Hugging Face, το harness τρέχει όπως διανέμεται και ο εκπαιδευτής μαθαίνει από τα ακριβή tokens που παρήγαγε το μοντέλο, καταγεγραμμένα από proxy ανάμεσα στο harness και το vLLM. Αυτό διαφέρει από πλαίσια RL που εκπαιδεύουν μια επανυλοποίηση του βρόχου του πράκτορα. Τα δεδομένα, η εκπαίδευση και οι εκτελέσεις των πρακτόρων έγιναν στο Hub με Jobs, με τους AsyncGRPOTrainer της TRL, OpenEnv και harbor.

Το σύνολο εργασιών προήλθε από τρεις πηγές. Το SWE-smith εισάγει σφάλματα σε πραγματικά αποθετήρια Python και Go. Το SWE-Gym, πακεταρισμένο ως εργασίες Harbor, μετατρέπει πραγματικά GitHub issues και τις διορθώσεις τους. Το Tasksmith παράγει εργασίες από merged pull requests: από 30 pull requests προέκυψαν 24 εργασίες σε 10 αποθετήρια Python που πέρασαν τους ελέγχους του, 17 από αυτές και σε δεύτερη εκτέλεση.

Η αρχική αναζήτηση στο Hub βρήκε περίπου 59,000 εργασίες Harbor, με διπλότυπα, σετ αξιολόγησης και εργασίες μη κατάλληλες για εκπαίδευση. Το φιλτράρισμα κράτησε 1,127 υποψήφιες και 858 πέρασαν τον έλεγχο openenv validate. Οι έλεγχοι με γνωστά λάθος αποτελέσματα εντόπισαν ελαττώματα, μεταξύ άλλων έναν verifier του Terminal-Bench 2.1 (regex-log) που δεχόταν λάθος απαντήσεις. Οι περισσότερες αποτυχίες ήταν προβλήματα υποδομής, όπως images που δεν ξεκινούσαν. Ακολούθησε έλεγχος δυσκολίας με το βασικό μοντέλο, επειδή στο GRPO μια εργασία που λύνουν ή αποτυγχάνουν όλες οι προσπάθειες δεν δίνει σήμα μάθησης.

## Όρια και επόμενα βήματα

Τα νούμερα προέρχονται από την ίδια την Hugging Face και αφορούν δικό της προσαρμογέα, ενώ το MarkTechPost τα μεταφέρει. Στις πηγές δεν υπάρχει ανεξάρτητη αξιολόγηση. Από τις εργασίες εκπαίδευσης αφαιρέθηκαν οι 253 εργασίες των benchmarks-στόχων και κάθε εργασία από αποθετήριο που αυτά χρησιμοποιούν, ώστε να περιοριστεί η επικάλυψη με τα σετ μέτρησης.

Η Hugging Face αναφέρει ότι κάθε προσαρμογέας υπερέχει του βασικού μοντέλου στο δικό του harness και στα δύο benchmarks, τόσο σε απόδοση όσο και σε αποδοτικότητα. Οι τρεις LoRA συγχωνεύθηκαν σε έναν κοινό προσαρμογέα που τρέχει αναλλοίωτος σε pi, Hermes Agent και OpenCode. Η εταιρεία δημοσιεύει επίσης τα artifacts (adapters, GGUFs, εργασίες RL, plugin safeagents) σε συλλογή και παρουσιάζει την εργασία ως αναπαραγώγιμη συνταγή για άλλους συνδυασμούς μοντέλου, harness και εργασιών. Στο περιεχόμενο της ανάρτησης περιλαμβάνεται και το ανοιχτό ερώτημα του τι έμαθε πραγματικά το μοντέλο.

## Ερωτήσεις και απαντήσεις

**Πόσο βελτιώθηκε το Qwen3.8-27B στο Terminal-Bench 2.1;**

Η Hugging Face αναφέρει 39% χωρίς και 55% pass@1 με τον προσαρμογέα στο harness pi. Το MarkTechPost δίνει 39.5% και 55.8%.

**Μειώθηκε και η κατανάλωση tokens;**

Ναι, κατά την Hugging Face η μέση χρήση ανά εργασία στο Terminal-Bench 2.1 με pi έπεσε από 2.9K σε 1.5K tokens.

**Ποια harnesses καλύπτονται;**

Εκπαιδεύτηκαν προσαρμογείς για τα pi, Hermes Agent και OpenCode, και ένας συγχωνευμένος προσαρμογέας που τρέχει και στα τρία.

## Πηγές

1. Hugging Face: [Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost](https://huggingface.co/blog/harness-adapters-at-scale)
2. MarkTechPost: [New LoRA Adapter Lifts Qwen3.8 Coding Success From 39% to 65%](https://www.marktechpost.com/2026/11/18/hugging-face-qwen3-8-27b-pi-adapted-lora)
