---
title: "XYBench: νέο benchmark με 8.115 ερωτήσεις μετρά αν τα μοντέλα εντοπίζουν το πραγματικό πρόβλημα του χρήστη"
url: https://aibenchmark.gr/news/xybench-neo-benchmark-me-8-115-erotiseis-metra-an-ta-montela-entopizoyn-to/
language: el
published: 2026-11-16T16:19:25.354Z
updated: 2026-11-16T16:19:25.381Z
site: "AI Benchmark"
section: "Benchmarks"
---

# XYBench: νέο benchmark με 8.115 ερωτήσεις μετρά αν τα μοντέλα εντοπίζουν το πραγματικό πρόβλημα του χρήστη

Η Hugging Face παρουσίασε το XYBench, που ελέγχει αν πέντε μοντέλα εντοπίζουν την εσφαλμένη παραδοχή πίσω από μια ερώτηση. Στα αποτελέσματα, όλα υστερούν των ανθρώπων στο να στρέφουν τον χρήστη στον πραγματικό στόχο.

> Γράφτηκε με τεχνητή νοημοσύνη από τις πηγές που αναφέρονται παρακάτω. Συντακτική ευθύνη: Konstantinos Perros. Πώς γράφουμε: https://aibenchmark.gr/how-we-write/

## Βασικά στοιχεία

- Το XYBench περιλαμβάνει 8.115 ερωτήσεις από Stack Overflow, Stack Exchange, χειροποίητα παραδείγματα και οδηγούς WikiHow, και κέρδισε το Best Resource Paper Award στο EMNLP 2026. [1]
- Στο Stack Overflow, λύση για το δηλωμένο αίτημα (Y) εμφανίστηκε στο 75–86% των απαντήσεων και λύση για τον υποκείμενο στόχο (X) στο 59–71%. [1]
- Στο ίδιο σύνολο, τα μοντέλα εστίασαν κυρίως στον υποκείμενο στόχο μόνο στο 35–41% των απαντήσεων και στο δηλωμένο αίτημα στο 47–57%. [1]
- Ως αυτόματος κριτής χρησιμοποιείται το Claude Sonnet 4.5, με συμφωνία με δύο ανθρώπους αξιολογητές 74,2–79,8% στην έμφαση και 84,6–93,3% στον εντοπισμό της παρανόησης. [1]

## Τι μετρά το XYBench και πώς χτίστηκε

Η Hugging Face, σε συνεργασία με ερευνητές από Carnegie Mellon, NVIDIA και Johns Hopkins, δημοσίευσε το XYBench. Το benchmark στηρίζεται στο λεγόμενο πρόβλημα XY: ο χρήστης θέλει να πετύχει το X, υποθέτει ότι η προσέγγιση Y θα δουλέψει και ζητά βοήθεια για το Y. Στο παράδειγμα της δημοσίευσης, κάποιος ρωτά πώς να πήξει το γλάσο που γλιστρά από τα cupcakes, ενώ το πραγματικό πρόβλημα είναι ότι τα cupcakes είναι ακόμη ζεστά.

Το σύνολο δεδομένων αποτελείται από 8.115 ερωτήσεις: 1.557 από το Stack Overflow, 184 από το Stack Exchange, 102 χειροποίητα επιλεγμένα παραδείγματα και 6.272 ερωτήσεις που παρήχθησαν από οδηγούς WikiHow. Για τις ερωτήσεις από δημόσια φόρουμ, οι ερευνητές χρησιμοποίησαν τις τρεις πιο υψηλά βαθμολογημένες απαντήσεις και, όπου υπήρχε, την αποδεκτή απάντηση, ώστε να προσδιορίσουν τον πραγματικό στόχο. Για το WikiHow, το Sonnet 4.5 παρήγαγε ερωτήσεις γύρω από εύλογες παρανοήσεις, οι οποίες στη συνέχεια εμπλουτίστηκαν με πλαίσιο. Αφαιρέθηκαν περιπτώσεις όπου η απάντηση στο κυριολεκτικό αίτημα αρκούσε.

## Οι τρεις μετρικές και ο αυτόματος κριτής

Κάθε απάντηση αξιολογείται με τρεις μετρικές. Η «pragmatic solution» καταγράφει αν υπάρχει λύση για το Y και για το X, χωριστά. Η «pragmatic emphasis» δείχνει αν η απάντηση εστιάζει στο Y, στο X ή ισορροπεί ανάμεσά τους. Η «misconception identification» ελέγχει αν η απάντηση κατευθύνει τον χρήστη προς το X και αποφεύγει ή αποθαρρύνει το λανθασμένο Y.

Κριτής είναι το Claude Sonnet 4.5, που ταξινομεί τις επιμέρους προτάσεις και κρίνει την έμφαση. Για επικύρωση, δύο άνθρωποι αξιολόγησαν ανεξάρτητα 500 απαντήσεις. Η συμφωνία με τον κριτή, κατά μέσο όρο των δύο, κυμάνθηκε στο 97,5–100% για το αν εμφανίζεται λύση, στο 84,6–93,3% για τον εντοπισμό της παρανόησης και στο 74,2–79,8% για την έμφαση.

## Αποτελέσματα: τα μοντέλα μένουν στο δηλωμένο αίτημα

Αξιολογήθηκαν τα Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B και DeepSeek-V4 Pro, με μία απάντηση ανά ερώτηση (single-turn). Οι απαντήσεις ανθρώπων αξιολογήθηκαν χωριστά με τις ίδιες μετρικές. Σύμφωνα με τη Hugging Face, και στις τέσσερις πηγές κάθε μοντέλο είχε μεγαλύτερη πιθανότητα να περιλαμβάνει λύση για το Y παρά για το X. Στο Stack Overflow, τα ποσοστά ήταν 75–86% για το Y και 59–71% για το X. Όσο για την έμφαση, το 35–41% των απαντήσεων εστίαζε κυρίως στο X και το 47–57% στο Y· οι υπόλοιπες έδιναν παρόμοιο βάρος στα δύο.

Σε πείραμα «oracle», όπου δόθηκαν μαζί με την ερώτηση τόσο το Y όσο και το X, το ποσοστό του Sonnet 4.6 στο Stack Overflow για λύση του υποκείμενου στόχου ανέβηκε από 59% σε 67%, ενώ το ποσοστό εντοπισμού της παρανόησης έπεσε από 47% σε 34%. Στις πηγές με ανθρώπινες απαντήσεις αναφοράς, κάθε μοντέλο υστερούσε και πάλι των ανθρώπων στον εντοπισμό της παρανόησης.

Σε δεύτερο πείραμα, έξι μοντέλα (τα πέντε συν το GPT-4.1) έκριναν δύο υποψήφιες απαντήσεις ανά ερώτηση: μία στραμμένη στο κυριολεκτικό αίτημα και μία που εξηγούσε την παρανόηση. Στο Stack Overflow διάλεξαν την απάντηση που εστιάζει στον στόχο στο 71–84% των περιπτώσεων. Η σύγκριση με το 35–41% των δικών τους απαντήσεων δείχνει, κατά τους συγγραφείς, χάσμα ανάμεσα στην αναγνώριση και στην παραγωγή χρήσιμης συμβουλής.

## Όρια και επόμενα βήματα

Η δημοσίευση προέρχεται από τους ίδιους τους δημιουργούς του benchmark, και ο κριτής είναι μοντέλο, με τη χαμηλότερη συμφωνία με ανθρώπους στη μετρική της έμφασης. Το XYBench καλύπτει προς το παρόν αγγλόφωνα ερωτήματα και κυρίως διαδικαστικά προβλήματα. Η επέκταση σε άλλες γλώσσες, κουλτούρες και συνομιλιακά πλαίσια μένει ανοιχτή.

Οι συγγραφείς προτείνουν το benchmark για να ελεγχθεί αν αλλαγές στο prompting ή στην εκπαίδευση βελτιώνουν τον εντοπισμό παρανοήσεων, την παροχή λύσεων για τον υποκείμενο στόχο και τη στροφή της απάντησης προς αυτόν. Μελλοντική εργασία θα μπορούσε να εξετάσει ποιες μέθοδοι εκπαίδευσης βοηθούν τα μοντέλα να ενεργούν με βάση την εικαζόμενη πρόθεση.

## Πηγές

1. Hugging Face: [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench)
