Η Xiaomi παρουσίασε το MiMo, το πρώτο μοντέλο τεχνητής νοημοσύνης ανοιχτού κώδικα large language model, που είναι ειδικά σχεδιασμένο για εργασίες συλλογιστικής
Αυτό το νέο LLM μοντέλο αναπτύχθηκε εξολοκλήρου από τη νεοσυσταθείσα Big Model Core Team της Xiaomi, και το μοντέλο των 7 δισεκατομμυρίων παραμέτρων υπερέχει στη μαθηματική συλλογιστική και τη δημιουργία κώδικα, ταιριάζοντας με την απόδοση μεγαλύτερων μοντέλων όπως το o1-mini της OpenAI και το Qwen-32B-Ppreview της Alibaba.
Αξίζει να θυμηθούμε ότι αυτό δεν είναι το πρώτο μοντέλο που παρουσίασε η εταιρεία, ωστόσο, είναι το πιο αποδοτικό και πάνω απ ‘όλα το πρώτο ανοιχτού κώδικα.
Η Xiaomi σημείωσε ότι η επίτευξη τέτοιων δυνατοτήτων σε ένα μικρότερο μοντέλο είναι δύσκολη, καθώς τα περισσότερα επιτυχημένα μοντέλα ενισχυτικής μάθησης (RL) βασίζονται σε μεγαλύτερες αρχιτεκτονικές, όπως για παράδειγμα τα μοντέλα των 32 δισεκατομμυρίων παραμέτρων.
Η εταιρεία πιστεύει ότι η αποτελεσματικότητα του MiMo στη συλλογιστική καθοδηγείται από τις δυνατότητες του βασικού μοντέλου, που ενεργοποιούνται μέσω εστιασμένων στρατηγικών πριν και μετά την εκπαίδευση. Το μικρότερο μέγεθός του μπορεί να το καταστήσει κατάλληλο για εταιρική χρήση και συσκευές edge με περιορισμένους πόρους.
Η Διαδικασία της Προ-Εκπαίδευσης
Η ικανότητα συλλογισμού του MiMo βασίζεται σε μια βελτιστοποιημένη διαδικασία προ-εκπαίδευσης. Η Xiaomi βελτίωσε την εισαγωγή της προεπεξεργασίας των δεδομένων, βελτίωσε τα εργαλεία της εξαγωγής κειμένου και χρησιμοποίησε φιλτράρισμα πολλαπλών επιπέδων για να αυξήσει την πυκνότητα των μοτίβων συλλογιστικής.
Η ομάδα Big Model Core Team της Xiaomi συνέταξε ένα σύνολο δεδομένων 200 δισεκατομμυρίων διακριτικών συλλογισμού και εφάρμοσε μια στρατηγική μείγματος δεδομένων τριών σταδίων. Το μοντέλο εκπαιδεύτηκε σε 25 τρισεκατομμύρια μάρκες σε τρεις προοδευτικές φάσεις εκπαίδευσης. Η Xiaomi χρησιμοποίησε επίσης το Multiple-Token Prediction ως εκπαιδευτικό στόχο για να ενισχύσει την απόδοση και να μειώσει τον χρόνο συμπερασμάτων.
Η Διαδικασία μετά την εκπαίδευση
Στο στάδιο μετά την εκπαίδευση, η Xiaomi εφάρμοσε την ενισχυτική μάθηση χρησιμοποιώντας 130.000 μαθηματικά και προβλήματα κωδικοποίησης, που είναι επαληθευμένα από συστήματα που βασίζονται σε κανόνες για την ακρίβεια και την δυσκολία. Για να αντιμετωπίσει τις αραιές απαντήσεις σε πολύπλοκες εργασίες, η ομάδα εφάρμοσε ένα σύστημα απαντήσεων με γνώμονα την δυσκολία της δοκιμής και χρησιμοποίησε μια εύκολη επαναδειγματοληψία των δεδομένων για την σταθερή εκπαίδευση του RL σε ευκολότερα προβλήματα.
Για να βελτιώσει την ταχύτητα εκπαίδευσης και επικύρωσης, η Xiaomi εισήγαγε μια απρόσκοπτη μηχανή ανάπτυξης που μειώνει το χρόνο διακοπής στην λειτουργία της GPU. Αυτό το σύστημα έδωσε έως 2,29× αύξηση στην ταχύτητα εκμάθησης και έως 1,96× αύξηση στην ταχύτητα της επικύρωσης.
Αυτό το μοντέλο υποστηρίζει επίσης την πρόβλεψη πολλαπλών διακριτικών στο vLLM και ενισχύει τη σταθερότητα των συμπερασμάτων του συστήματος RL.
Οι παραλλαγές μοντέλου MiMo AI της Xiaomi
Η σειρά MiMo-7B περιλαμβάνει τέσσερις εκδόσεις:
- MiMo-7B-Base: : Το βασικό μοντέλο με ισχυρό δυναμικό συλλογισμού
- MiMo-7B-RL-Zero: Ένα μοντέλο RL εκπαιδευμένο από τη βάση
- MiMo-7B-SFT: Το εποπτευόμενο τελειοποιημένο μοντέλο
- MiMo-7B-RL: Το RL μοντέλο εκπαιδευμένο από SFT, προσφέροντας κορυφαία απόδοση που ταιριάζει με το o1-mini της OpenAI
Απόδοση συγκριτικής αξιολόγησης
Το MiMo-7B-RL παρείχε ισχυρή απόδοση σε διάφορες αξιολογήσεις (θερμοκρασία = 0,6):
Στα Μαθηματικά :
- MATH-500: 95,8% Pass@1 (μονής εκτέλεσης)
- AIME 2024: 68.2% Pass@1 (μέσος όρος 32 εκτελέσεων)
- AIME 2025: 55.4% Pass@1 (μέσος όρος 32 εκτελέσεων)
Κώδικας:
- LiveCodeBench v5: 57.8% Pass@1 (μέσος όρος 8 εκτελέσεων)
- LiveCodeBench v6: 49.3% Pass@1 (μέσος όρος 8 εκτελέσεων)
Γενικά:
- GPQA Diamond: 54,4% Pass@1 (μέσος όρος 8 διαδρομών)
- SuperGPQA: 40.5% Pass@1 (μονή εκτέλεση)
- DROP (3-shot F1: 78.7
- MMLU-Pro (Exact Match): 58.6
- IF-Eval (Prompt Strict): 61.0 (μέσος όρος 8 εκτελέσεων)
Διαθεσιμότητα
Η σειρά μοντέλων του MiMo-7B είναι ανοιχτού κώδικα και είναι προσβάσιμα στο Hugging Face. Η πλήρης τεχνική έκθεση και τα σημεία ελέγχου μοντέλων είναι επίσης διαθέσιμα στο GitHub.
Μην ξεχάσετε να ακολουθήσετε το Xiaomi-miui.gr στο Google News για να ενημερώνεστε αμέσως για όλα τα νέα άρθρα μας ! Μπορείτε επίσης αν χρησιμοποιείτε RSS reader, να προσθέσετε την σελίδα μας στη λίστα σας, ακολουθώντας απλά αυτό τον σύνδεσμο >> https://xiaomi-miui.gr/feed
