Τι μετρήθηκε και με ποια διάταξη
Τα μοντέλα multi-vector, όπως το ColBERT, κρατούν ένα διάνυσμα ανά token του εγγράφου και βαθμολογούν με MaxSim: κάθε διάνυσμα του ερωτήματος επιλέγει το καλύτερο ταιριαστό διάνυσμα εγγράφου και τα σκορ αθροίζονται. Το κόστος αποθήκευσης αυξάνεται γρήγορα. Σύμφωνα με την ανάρτηση του Hugging Face, με κβαντισμό 4 bit ανά συντελεστή, 200 διανύσματα των 128 διαστάσεων απαιτούν 12.8 KB ανά έγγραφο, δηλαδή 12.8 GB για ένα εκατομμύριο έγγραφα. Αν το έγγραφο μειωθεί σε 50 διανύσματα, το ίδιο μέγεθος πέφτει στα 3.2 GB.
Το token pooling συγχωνεύει παρόμοια διανύσματα. Η κλάση HierarchicalTokenPooling του Sentence Transformers χρησιμοποιεί ιεραρχική ομαδοποίηση Ward και αντικαθιστά κάθε ομάδα με τον μέσο όρο της, που κανονικοποιείται ξανά. Εφαρμόζεται μόνο στα έγγραφα, όχι στα ερωτήματα. Ο προϋπολογισμός ορίζεται με pool_factor (περίπου το ένα τέταρτο των διανυσμάτων για τιμή 4), με max_tokens (ανώτατο όριο ανά έγγραφο) ή με distance_threshold, ένα κοινό όριο απόστασης συγχώνευσης.
Η προτεινόμενη εκπαίδευση υπολογίζει σε κάθε batch δύο απώλειες και παίρνει τον μέσο όρο τους: ανάκτηση με τα αρχικά διανύσματα και ανάκτηση μετά τη συμπίεση των εγγράφων στο περίπου ένα τέταρτο. Επειδή το Ward παίρνει διακριτές αποφάσεις, η μέθοδος χρησιμοποιεί straight-through estimator, ώστε οι κλίσεις να περνούν από τα συγκεντρωμένα διανύσματα στα tokens που τα απαρτίζουν. Η υλοποίηση γίνεται με το MultiVectorTokenPoolingLoss, που τυλίγει μια υπάρχουσα loss ανάκτησης.
Αποτελέσματα στο NanoBEIR
Ο συγγραφέας εκπαίδευσε δύο μοντέλα από το answerdotai/ModernBERT-base, καθένα με νέα προβολή 128 διαστάσεων: ένα βάσης με μόνο τη cached contrastive loss και ένα με τις δύο απώλειες (χωρίς pooling και με παράγοντα 4). Και τα δύο έτρεξαν μία εποχή πάνω στις ίδιες 120,000 τριάδες MS MARCO, με seed 42, όριο 300 tokens στην εκπαίδευση και επέκταση των σύντομων ερωτημάτων σε τουλάχιστον 32 θέσεις tokens. Η αξιολόγηση έγινε στο NanoBEIR@13 με μέσο nDCG@10 (%). Πρόκειται για μετρήσεις του ίδιου του συγγραφέα στα δικά του μοντέλα, όχι για ανεξάρτητη αξιολόγηση.
Στο pool_factor=4 ο μέσος nDCG@10 ανεβαίνει από 49.03 σε 51.23, με 74.8% λιγότερα διανύσματα εγγράφων σε σχέση με την περίπτωση χωρίς pooling. Η διατήρηση, δηλαδή ο λόγος του μέσου nDCG@10 με pooling προς τον μέσο όρο του ίδιου μοντέλου χωρίς pooling, φτάνει από 94.6% σε 97.8%. Βελτίωση εμφανίζεται και χωρίς pooling: από 51.84 σε 52.39.
Τα οφέλη μεταφέρονται σε ρυθμίσεις που δεν χρησιμοποιήθηκαν στην εκπαίδευση, όπως τα σταθερά όρια και το προσαρμοστικό όριο απόστασης. Στα 29.58 διανύσματα κατά μέσο όρο ανά έγγραφο, το προσαρμοστικό pooling διατηρεί 97.3% του σκορ του pooling-aware μοντέλου χωρίς pooling, με 84.7% λιγότερα διανύσματα. Το συνηθισμένο μοντέλο διατηρεί 93.3% στον ίδιο προϋπολογισμό. Στα προσαρμοστικά όρια, ο συγγραφέας βαθμονόμησε χωριστό όριο για κάθε κωδικοποιητή και κάθε σώμα του NanoBEIR, ώστε να ταιριάζει με τους μέσους αριθμούς διανυσμάτων των ορίων 64, 32 και 16.
Μέσος nDCG@10 (%) στο NanoBEIR@13 ανά ρύθμιση pooling, όπως τον αναφέρει ο συγγραφέας της ανάρτησης
| Ρύθμιση pooling | Μέσα διανύσματα | Συνηθισμένο μοντέλο | Μοντέλο pooling-aware | Διαφορά (μονάδες) |
|---|---|---|---|---|
| Χωρίς pooling | 193.22 | 51.84 | 52.39 | +0.55 |
| pool_factor=2 | 96.86 | 50.10 | 51.74 | +1.64 |
| pool_factor=4 | 48.68 | 49.03 | 51.23 | +2.20 |
| pool_factor=6 | 32.62 | 47.07 | 49.85 | +2.78 |
| max_tokens=32 | 29.58 | 48.25 | 50.12 | +1.87 |
| max_tokens=16 | 15.60 | 46.61 | 49.26 | +2.65 |
| max_tokens=8 | 7.99 | 43.12 | 46.61 | +3.48 |
| max_tokens=4 | 4.00 | 37.22 | 43.00 | +5.78 |
Όρια, εργαλεία και σειρά συμπίεσης
Ο συγγραφέας σημειώνει ότι μόνο η loss διαφέρει ανάμεσα στα δύο πειράματα και ότι δεν έτρεξε αναζήτηση υπερπαραμέτρων. Πρόκειται επομένως για μία σύγκριση ενός ζεύγους εκπαιδεύσεων με ένα seed, σε ένα μοντέλο βάσης και ένα σύνολο εκπαίδευσης. Η ανάρτηση βασίζεται σε προηγούμενες εργασίες, όπως το Learn to Pool του Stefan Josef και τη μελέτη της LightOn για pooling regularization.
Για την ταχύτητα, η ανάρτηση αναφέρει προαιρετικούς πυρήνες. Ο προεπιλεγμένος πυρήνας MaxSim βαθμολογεί χωρίς να δημιουργεί ολόκληρο τον πίνακα ομοιότητας tokens στη μνήμη και απαιτεί CUDA και Triton. Ο πυρήνας Ward τρέχει σε CUDA αντί για CPU και είναι 30-150x ταχύτερος από το SciPy, ανάλογα με τη ρύθμιση. Η εκπαίδευση μπορεί να τρέξει και στο Hugging Face Jobs, σε GPU A10G με όριο τεσσάρων ωρών.
Ως προς τη σειρά των τεχνικών μείωσης του ευρετηρίου, ο συγγραφέας προτείνει πρώτα κβαντισμό σε 4, 2 ή 1 bit, έπειτα token pooling και τρίτον Matryoshka token embeddings για μείωση της διάστασης. Οι τεχνικές συνδυάζονται, και το MultiVectorMatryoshkaLoss μπορεί να τυλιχθεί με το MultiVectorTokenPoolingLoss. Συνιστά να μετριέται το μέγεθος του ευρετηρίου και η ποιότητα ανάκτησης στη δική σας μηχανή αναζήτησης και στο δικό σας σώμα εγγράφων.