Τι παρουσίασε η Tether AI Research

Η Tether AI Research περιγράφει στη δημοσίευσή της στο Hugging Face το BotPsy, ένα μοντέλο 0.8B παραμέτρων για function calling και agentic ροές εργασίας. Βασίζεται στο Qwen3.5-0.8B και προορίζεται για εκτέλεση απευθείας στη συσκευή του χρήστη. Λειτουργεί ως προσωπικός βοηθός που καλεί εργαλεία σε τομείς όπως αναζήτηση στο διαδίκτυο, ταξίδια, εμπόριο και χρηματοοικονομικά, λειτουργίες επιχειρήσεων, έλεγχος συσκευών και οχημάτων, αρχεία, ημερολόγιο και μηνύματα.

Η ομάδα αιτιολογεί την κατεύθυνση με το κόστος των μεγάλων cloud μοντέλων, που μπορεί να μεταβληθεί απρόβλεπτα, και με την εξάρτηση από τρίτους παρόχους, οι οποίοι μπορούν να αλλάξουν ή να αποσύρουν την πρόσβαση. Προσθέτει ότι πολλές εργασίες δεν απαιτούν μοντέλο της πιο προηγμένης κατηγορίας και μπορούν να εκτελεστούν τοπικά, με καλύτερο έλεγχο των δεδομένων.

Λόγω μεγέθους, το μοντέλο ταιριάζει σε εργασίες χαμηλής έως μέτριας δυσκολίας. Η ίδια η ομάδα σημειώνει ότι κάνει λάθη και δεν προορίζεται για χρήσεις υψηλού ρίσκου. Τα βάρη θα δοθούν με άδεια Apache 2.0 για έρευνα και εκπαίδευση, σε τρεις ακρίβειες (bf16, Q8, Q4), ως safetensors και ως αρχεία GGUF για το QVAC SDK και το llama.cpp.

Τα αποτελέσματα στα benchmarks

Όλες οι μετρήσεις προέρχονται από την ίδια την Tether AI Research και αφορούν δικό της μοντέλο, όχι ανεξάρτητη αξιολόγηση. Οι βαθμολογίες είναι στην κλίμακα 0–100. Σύγκριση γίνεται με τα Qwen3.5-0.8B-Think (βασικό μοντέλο), Qwen3.5-2B-Think (2.5 φορές μεγαλύτερο), LFM2.5-1.2B-Think και MiniCPM5-1B-Think.

Στα έξι benchmarks χρήσης εργαλείων και agentic εργασιών το BotPsy ξεπερνά κάθε μοντέλο έως 1.2B παραμέτρων που δοκιμάστηκε. Έναντι του Qwen3.5-2B-Think προηγείται σε πέντε: BFCL v4 (44.0 έναντι 37.7), ACEBench (58.7 έναντι 55.4), τ-bench (51.5 έναντι 46.5), ToolSandbox (64.6 έναντι 41.2) και BrowseComp-Plus (4.5 έναντι 2.8). Στο Claw-Eval υστερεί (46.5 έναντι 48.9). Ο μέσος όρος των έξι benchmarks, χωρίς στάθμιση, είναι 45.0 για το BotPsy και 24.7 για το βασικό μοντέλο.

Στις πολυγυρικές εργασίες, το τ²-bench τηλεπικοινωνιών δίνει 82.5 στο BotPsy έναντι 69.3 του Qwen3.5-2B-Think. Στα πολυγυρικά του BFCL v4 ανεβαίνει από 7.5 σε 46.1, ενώ το Qwen3.5-2B-Think έχει 23.8. Στα hallucination tests του BFCL v4, που ελέγχουν αν το μοντέλο αρνείται όταν δεν υπάρχει κατάλληλο εργαλείο, σκοράρει 86.1, το υψηλότερο των μοντέλων που δοκιμάστηκαν.

Στη γενική γνώση, το GPQA Diamond ανεβαίνει από 33.2 σε 38.1 και το MMLU-Pro από 41.6 σε 48.9. Το Qwen3.5-2B-Think όμως έχει 59.9 και 65.5, και οι συγγραφείς δηλώνουν ότι η γνώση εξακολουθεί να κλιμακώνεται κυρίως με τον αριθμό παραμέτρων. Στην τήρηση οδηγιών, το IFEval αυξάνεται από 59.7 σε 90.8 και το IFBench από 22.0 σε 55.9.

Στην αποδοτικότητα, σε ερωτήσεις που απαντούν σωστά και τα πέντε μοντέλα, το BotPsy χρειάζεται 3,690 tokens συλλογισμού στο GPQA Diamond έναντι 11,563 του βασικού. Στο MMLU-Pro χρειάζεται 1,912 έναντι 5,105. Στο IFBench, τα επαναληπτικά loops συλλογισμού πέφτουν από 22.9% σε 1.4% και οι εκτελέσεις που φτάνουν το όριο των 32k tokens από 28.3% σε 0.2%.

Benchmarks χρήσης εργαλείων και agentic εργασιών (0–100, υψηλότερο καλύτερο), όπως τα αναφέρει η Tether AI Research

BenchmarkBotPsy-0.8BQwen3.5-0.8B-ThinkQwen3.5-2B-ThinkLFM2.5-1.2B-ThinkMiniCPM5-1B-Think
BFCL v444.023.437.728.122.8
ACEBench58.730.155.439.424.5
τ-bench51.523.246.56.528.8
Claw-Eval46.539.348.931.631.0
BrowseComp-Plus4.51.92.80.20.8
ToolSandbox64.630.541.245.728.1

Εκπαίδευση, ασφάλεια και όρια

Το BotPsy εκπαιδεύτηκε σε τέσσερα διαδοχικά στάδια: επιβλεπόμενο fine-tuning (SFT), απόσταξη από πολλούς δασκάλους με on-policy μέθοδο (MOPD) και δύο γύρους ενισχυτικής μάθησης με DAPO. Στην απόσταξη, τρία μοντέλα Qwen3.5-4B, εκπαιδευμένα με RL σε χρήση εργαλείων, γενικό συλλογισμό και τήρηση οδηγιών, δίνουν ανατροφοδότηση ανά token. Η ομάδα αναφέρει ότι το SFT ανέβασε τη χρήση εργαλείων αλλά έριξε τη γνώση και την τήρηση οδηγιών κάτω από το βασικό μοντέλο, και ότι η απόσταξη τα επανέφερε πάνω από αυτό. Η ανταμοιβή στον πρώτο γύρο RL δίνει μερική πίστωση για ονόματα εργαλείων, ορίσματα και τιμές.

Στο αυτοματοποιημένο red-teaming, το BotPsy παράγει μη ασφαλείς απαντήσεις στο 21% των περιπτώσεων, έναντι 36% του βασικού μοντέλου, 35% του LFM2.5-1.2B-Think και 47% του MiniCPM5-1B-Think. Υπό επιθέσεις prompt injection, το ποσοστό πέφτει από 46% σε 31%.

Η δημοσίευση καταγράφει και αδύναμα σημεία. Το 4.5 στο BrowseComp-Plus είναι το καλύτερο των πέντε μοντέλων αλλά χαμηλό σε απόλυτους όρους. Στο web search του BFCL το BotPsy έχει 14.0 και στη μνήμη 16.3, έναντι 19.8 και 26.1 του Qwen3.5-2B-Think. Στο τ³-banking κανένα μοντέλο δεν ξεπερνά το 5, με 4.1 για το BotPsy. Στο Multi-IF (τρεις γύροι, οκτώ γλώσσες) σκοράρει 67.2, στο επίπεδο των Qwen3.5-2B-Think (66.9) και LFM2.5-1.2B-Think (68.2), με πτώση στον τρίτο γύρο (51.0). Η Hindi (24.5) και η Russian (57.6) είναι πολύ κάτω από το εύρος 72–80 των αγγλικών, κινεζικών, γαλλικών, ισπανικών, ιταλικών και πορτογαλικών.

Για τη συνέχεια, η Tether AI Research προανήγγειλε επέκταση των δυνατοτήτων σε περισσότερο υλικό και τοπικές υπηρεσίες, αποκεντρωμένα P2P ερωτήματα στο Hypersearch και βαθύτερη τοπική προσαρμογή μέσω QVAC Fabric.