Μετάβαση στο περιεχόμενο

Θέμα: benchmarks

Προσαρμογέας LoRA για το Qwen3.8-27B: Terminal-Bench 2.1 από 39.5% σε 55.8% με RL μέσα στο harness

Έρευνα2 πηγές

Η Hugging Face εκπαίδευσε με ενισχυτική μάθηση προσαρμογείς για πράκτορες κώδικα. Στο pi η επιτυχία στο Terminal-Bench 2.1 ανεβαίνει από 39.5% σε 55.8%, με περίπου μισά tokens ανά εργασία.

GPT-6.2 Astra και Sol: Astra στους 62 βαθμούς του Artificial Analysis Intelligence Index, με τιμή API 8/40 δολάρια

Benchmarks3 πηγές

Η OpenAI κυκλοφόρησε στις 17 Νοεμβρίου 2026 τα GPT-6.2 Astra και Sol. Η Artificial Analysis βάζει το Astra δεύτερο με 62 βαθμούς, πίσω από το Claude Fable 5.2 (65), ενώ η τιμή του Astra στο API μειώθηκε κατά 20%.

Qwen4-Max της Alibaba: 2,4 τρισ. παράμετροι, 71 δισ. ενεργές και κόστος ανά εργασία στα $3,27

Τεχνικές αναφορές2 πηγές

Η Alibaba παρουσίασε το Qwen4-Max, κλειστό μοντέλο mixture-of-experts με παράθυρο 1 εκατ. tokens. Η εταιρεία δηλώνει 62% χαμηλότερο κόστος ανά εργασία Work360, ενώ η Artificial Analysis δίνει 43 βαθμούς στον δείκτη της.

LLMON: γλώσσα σήμανσης για γλωσσικά μοντέλα στα Granite 4.1 3B και 8B, με στόχο τις έμμεσες επιθέσεις εντολών

Τεχνικές αναφορές

Δύο πειραματικές εκδόσεις των Granite 4.1, με 3B και 8B παραμέτρους, μαθαίνουν σήμανση που ξεχωρίζει τις εντολές από τα δεδομένα. Τα αποτελέσματα που δίνεται δείχνουν σχεδόν μηδενική επιτυχία επιθέσεων σε ένα τεστ.

XYBench: νέο benchmark με 8.115 ερωτήσεις μετρά αν τα μοντέλα εντοπίζουν το πραγματικό πρόβλημα του χρήστη

Benchmarks

Η Hugging Face παρουσίασε το XYBench, που ελέγχει αν πέντε μοντέλα εντοπίζουν την εσφαλμένη παραδοχή πίσω από μια ερώτηση. Στα αποτελέσματα, όλα υστερούν των ανθρώπων στο να στρέφουν τον χρήστη στον πραγματικό στόχο.

BotPsy 0.8B της Tether AI Research: 44.0 στο BFCL v4 έναντι 23.4 του βασικού μοντέλου

Τεχνικές αναφορές

Η Tether AI Research παρουσίασε το BotPsy, μοντέλο 0.8B παραμέτρων για κλήση εργαλείων σε συσκευή. Σύμφωνα με τα δικά της αποτελέσματα, διπλασιάζει περίπου τις επιδόσεις του Qwen3.5-0.8B-Think στα agentic benchmarks.