Τι μετρά το XYBench και πώς χτίστηκε

Η Hugging Face, σε συνεργασία με ερευνητές από Carnegie Mellon, NVIDIA και Johns Hopkins, δημοσίευσε το XYBench. Το benchmark στηρίζεται στο λεγόμενο πρόβλημα XY: ο χρήστης θέλει να πετύχει το X, υποθέτει ότι η προσέγγιση Y θα δουλέψει και ζητά βοήθεια για το Y. Στο παράδειγμα της δημοσίευσης, κάποιος ρωτά πώς να πήξει το γλάσο που γλιστρά από τα cupcakes, ενώ το πραγματικό πρόβλημα είναι ότι τα cupcakes είναι ακόμη ζεστά.

Το σύνολο δεδομένων αποτελείται από 8.115 ερωτήσεις: 1.557 από το Stack Overflow, 184 από το Stack Exchange, 102 χειροποίητα επιλεγμένα παραδείγματα και 6.272 ερωτήσεις που παρήχθησαν από οδηγούς WikiHow. Για τις ερωτήσεις από δημόσια φόρουμ, οι ερευνητές χρησιμοποίησαν τις τρεις πιο υψηλά βαθμολογημένες απαντήσεις και, όπου υπήρχε, την αποδεκτή απάντηση, ώστε να προσδιορίσουν τον πραγματικό στόχο. Για το WikiHow, το Sonnet 4.5 παρήγαγε ερωτήσεις γύρω από εύλογες παρανοήσεις, οι οποίες στη συνέχεια εμπλουτίστηκαν με πλαίσιο. Αφαιρέθηκαν περιπτώσεις όπου η απάντηση στο κυριολεκτικό αίτημα αρκούσε.

Οι τρεις μετρικές και ο αυτόματος κριτής

Κάθε απάντηση αξιολογείται με τρεις μετρικές. Η «pragmatic solution» καταγράφει αν υπάρχει λύση για το Y και για το X, χωριστά. Η «pragmatic emphasis» δείχνει αν η απάντηση εστιάζει στο Y, στο X ή ισορροπεί ανάμεσά τους. Η «misconception identification» ελέγχει αν η απάντηση κατευθύνει τον χρήστη προς το X και αποφεύγει ή αποθαρρύνει το λανθασμένο Y.

Κριτής είναι το Claude Sonnet 4.5, που ταξινομεί τις επιμέρους προτάσεις και κρίνει την έμφαση. Για επικύρωση, δύο άνθρωποι αξιολόγησαν ανεξάρτητα 500 απαντήσεις. Η συμφωνία με τον κριτή, κατά μέσο όρο των δύο, κυμάνθηκε στο 97,5–100% για το αν εμφανίζεται λύση, στο 84,6–93,3% για τον εντοπισμό της παρανόησης και στο 74,2–79,8% για την έμφαση.

Αποτελέσματα: τα μοντέλα μένουν στο δηλωμένο αίτημα

Αξιολογήθηκαν τα Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B και DeepSeek-V4 Pro, με μία απάντηση ανά ερώτηση (single-turn). Οι απαντήσεις ανθρώπων αξιολογήθηκαν χωριστά με τις ίδιες μετρικές. Σύμφωνα με τη Hugging Face, και στις τέσσερις πηγές κάθε μοντέλο είχε μεγαλύτερη πιθανότητα να περιλαμβάνει λύση για το Y παρά για το X. Στο Stack Overflow, τα ποσοστά ήταν 75–86% για το Y και 59–71% για το X. Όσο για την έμφαση, το 35–41% των απαντήσεων εστίαζε κυρίως στο X και το 47–57% στο Y· οι υπόλοιπες έδιναν παρόμοιο βάρος στα δύο.

Σε πείραμα «oracle», όπου δόθηκαν μαζί με την ερώτηση τόσο το Y όσο και το X, το ποσοστό του Sonnet 4.6 στο Stack Overflow για λύση του υποκείμενου στόχου ανέβηκε από 59% σε 67%, ενώ το ποσοστό εντοπισμού της παρανόησης έπεσε από 47% σε 34%. Στις πηγές με ανθρώπινες απαντήσεις αναφοράς, κάθε μοντέλο υστερούσε και πάλι των ανθρώπων στον εντοπισμό της παρανόησης.

Σε δεύτερο πείραμα, έξι μοντέλα (τα πέντε συν το GPT-4.1) έκριναν δύο υποψήφιες απαντήσεις ανά ερώτηση: μία στραμμένη στο κυριολεκτικό αίτημα και μία που εξηγούσε την παρανόηση. Στο Stack Overflow διάλεξαν την απάντηση που εστιάζει στον στόχο στο 71–84% των περιπτώσεων. Η σύγκριση με το 35–41% των δικών τους απαντήσεων δείχνει, κατά τους συγγραφείς, χάσμα ανάμεσα στην αναγνώριση και στην παραγωγή χρήσιμης συμβουλής.

Όρια και επόμενα βήματα

Η δημοσίευση προέρχεται από τους ίδιους τους δημιουργούς του benchmark, και ο κριτής είναι μοντέλο, με τη χαμηλότερη συμφωνία με ανθρώπους στη μετρική της έμφασης. Το XYBench καλύπτει προς το παρόν αγγλόφωνα ερωτήματα και κυρίως διαδικαστικά προβλήματα. Η επέκταση σε άλλες γλώσσες, κουλτούρες και συνομιλιακά πλαίσια μένει ανοιχτή.

Οι συγγραφείς προτείνουν το benchmark για να ελεγχθεί αν αλλαγές στο prompting ή στην εκπαίδευση βελτιώνουν τον εντοπισμό παρανοήσεων, την παροχή λύσεων για τον υποκείμενο στόχο και τη στροφή της απάντησης προς αυτόν. Μελλοντική εργασία θα μπορούσε να εξετάσει ποιες μέθοδοι εκπαίδευσης βοηθούν τα μοντέλα να ενεργούν με βάση την εικαζόμενη πρόθεση.