Τα δύο νέα benchmarks του v6.1
Η MLCommons, κοινοπραξία ανοιχτής μηχανικής AI, ανακοίνωσε στις 16 Νοεμβρίου 2026 τα αποτελέσματα της έκδοσης 6.1 της σουίτας MLPerf Training. Η σουίτα αποτελείται από δοκιμές ολόκληρου του συστήματος, που καταπονούν μοντέλα, λογισμικό και υλικό σε ποικίλες εφαρμογές μηχανικής μάθησης. Είναι ανοιχτού κώδικα, υποβάλλεται σε αξιολόγηση από ομότιμους και η συλλογή των benchmarks επιμελείται από ομάδα ειδικών της κοινότητας AI.
Το πρώτο νέο benchmark, DLRMv4-HSTU, αφορά συστήματα συστάσεων και αντικαθιστά το DLRM-dcnv2 των προηγούμενων εκδόσεων. Χρησιμοποιεί την αρχιτεκτονική HSTU, βασισμένη σε attention, και εκπαιδεύεται στο σύνολο δεδομένων Yambda, που η MLCommons το χαρακτηρίζει ένα από τα μεγαλύτερα ανοιχτά σύνολα δεδομένων συστάσεων.
Το δεύτερο, Qwen3.5-397B, είναι κατά την MLCommons το πρώτο του είδους στο MLPerf Training: μεγάλης κλίμακας post-training με Group Relative Policy Optimization (GRPO). Ο φόρτος εργασίας εκπαιδεύει το μοντέλο να λύνει εργασίες μηχανικής λογισμικού, με εξειδικευμένα καθήκοντα όπως το tool-calling. Η οργάνωση εξηγεί ότι πολλές πρόσφατες εξελίξεις, όπως οι λειτουργίες agentic, στηρίζονται σε δραστηριότητες post-training, και γι' αυτό η κοινότητα MLPerf σχεδίασε το συγκεκριμένο τεστ.
Κλίμακα και συμμετοχή: τα στοιχεία του γύρου
Σύμφωνα με την MLCommons, ο γύρος ξεπέρασε σε αριθμό υποβολών, συστημάτων, αποτελεσμάτων και τυπικής κλίμακας ορισμένα από τα ρεκόρ του v6.0, που είχε δημοσιευθεί έξι μήνες νωρίτερα. Κατατέθηκαν 153 συστήματα και 250 αποτελέσματα. Από τα συστήματα, 57 (37%) ήταν cloud, ενώ στο v6.0 το ποσοστό ήταν 29%.
Δώδεκα συστήματα είχαν 1.000 ή περισσότερους επιταχυντές, με το μεγαλύτερο να φτάνει τους 10.240. Το υλικό προερχόταν από NVIDIA, AMD και Google. Πρωτοεμφανίστηκαν GPU γενιάς NVIDIA Rubin και το Google TPUv7 (Ironwood).
Στον γύρο συμμετείχαν 24 οργανισμοί: AMD, ASUSTeK, Azure, Cisco, CoreWeave, Crusoe, Dell, Firmus, Fujitsu, Giga Computing, Google, HPE, Inventec, KRAI, Lambda, MiTAC, Nebius, NVIDIA, Oracle, Quanta Cloud Technology, Supermicro, tiny corp, TTA και το University of Florida. Η Crusoe υπέβαλε για πρώτη φορά στο MLPerf Training.
Τι λένε οι υπεύθυνοι και πώς διαβάζονται τα αποτελέσματα
Ο Pavan Yalamanchili, συμπρόεδρος της ομάδας εργασίας MLPerf Training, δήλωσε ότι η μεγαλύτερη συμμετοχή και η ποικιλία διαμορφωτικών επιλογών δίνουν πληρέστερη εικόνα για το πώς συγκρίνονται τα συστήματα μεταξύ τους σε ρεαλιστικά σενάρια εκπαίδευσης. Πρόσθεσε ότι, καθώς τα καθήκοντα εξειδικεύονται, αλλάζει και το υλικό που αναπτύσσεται. Κατά τον ίδιο, τα δεδομένα βοηθούν έναν οργανισμό να βρει το κατάλληλο μέγεθος για τη δική του εγκατάσταση, από ένα σύστημα ενός κόμβου έως cluster πολλών κόμβων με χιλιάδες επιταχυντές.
Η Shriya Rishab, επίσης συμπρόεδρος, ανέφερε ότι το post-training έχει προσθέσει πολυπλοκότητα στην αρχιτεκτονική της εκπαίδευσης AI. Το νέο benchmark είναι αποτέλεσμα δύο ετών εργασίας και, κατά την ίδια, τα αποτελέσματα δείχνουν ότι η κοινότητα το υιοθετεί γρήγορα. Ο David Kanter, επικεφαλής του MLPerf στην MLCommons, χαρακτήρισε τη συμμετοχή ένδειξη της αξίας αξιόπιστων δεδομένων για νέους φόρτους εργασίας και νέα συστήματα.
Η MLCommons αναφέρει ότι η σελίδα του Training benchmark περιέχει τα πλήρη αποτελέσματα και ότι η έκδοση περιλαμβάνει νέα εργαλεία οπτικοποίησης. Με αυτά μπορεί κανείς να συγκρίνει την απόδοση ανά σύστημα και να κατατάσσει αποτελέσματα συστημάτων παρόμοιας κλίμακας. Οι πληροφορίες ανά υποβάλλοντα βρίσκονται στο συμπληρωματικό υλικό. Η οργάνωση καλεί επίσης υποβάλλοντες και άλλους ενδιαφερόμενους να ενταχθούν στην ομάδα εργασίας.