Το Subnet 3 του Bittensor εκπαιδεύει μοντέλο AI 72B σε αποκεντρωμένο δίκτυο

TLDR:

• Το Covenant-72B σημείωσε 67,1 στο MMLU zero-shot, ξεπερνώντας το 65,6 του LLaMA-2-70B υπό ίδιες συνθήκες δοκιμής.
• Το SparseLoCo μείωσε το επιβάρυνση επικοινωνίας κατά 146 φορές χρησιμοποιώντας αραίωση, κβαντοποίηση 2-bit και ανατροφοδότηση σφάλματος σε όλους τους κόμβους.
• Το Gauntlet βαθμολόγησε τη συνεισφορά κάθε κόμβου μέσω αξιολόγησης απώλειας και κατάταξης OpenSkill, όλα καταγεγραμμένα στο blockchain.
• Το $TAO αυξήθηκε κατά 14% στα $236 μετά την ανακοίνωση, με το Grayscale να επεκτείνει το TAO trust του για πρόσβαση θεσμικών επενδυτών.
  

Το Subnet 3 του Bittensor εκπαίδευσε ένα μοντέλο AI 72 δισεκατομμυρίων παραμέτρων χωρίς κεντρικό κέντρο δεδομένων. Το μοντέλο, που ονομάζεται Covenant-72B, κατασκευάστηκε σε περισσότερους από 70 παγκόσμιους συμμετέχοντες.

Όλοι οι κόμβοι συνδέονται μέσω τυπικού οικιακού διαδικτύου. Το Covenant-72B ξεπέρασε το LLaMA-2-70B της Meta στο benchmark MMLU, σημειώνοντας 67,1 έναντι 65,6.

Η δοκιμή διεξήχθη υπό ίδιες συνθήκες zero-shot. Αυτό το αποτέλεσμα αμφισβητεί μακροχρόνιες υποθέσεις σχετικά με το τι μπορεί να επιτύχει η αποκεντρωμένη υπολογιστική ισχύς.

Δύο Τεχνικές Καινοτομίες Οδήγησαν την Αποκεντρωμένη Εκπαίδευση

Για χρόνια, τα έργα κρυπτονομισμάτων AI ισχυρίζονταν ότι η αποκεντρωμένη υπολογιστική ισχύς θα μπορούσε να φτάσει τα κεντρικοποιημένα εργαστήρια. Το Subnet 3 του Bittensor τώρα υποστηρίζει αυτόν τον ισχυρισμό με μετρήσιμα αποτελέσματα.

Η εκπαίδευση κάλυψε 1,1 τρισεκατομμύρια tokens σε περισσότερους από 70 κόμβους παγκοσμίως. Κάθε κόμβος λειτουργούσε με συνδέσεις διαδικτύου 500 Mb/s.

Δύο βασικές καινοτομίες έκαναν δυνατή αυτή την κλίμακα εκπαίδευσης. Το SparseLoCo μείωσε την επιβάρυνση επικοινωνίας κατά 146 φορές καθ' όλη τη διαδικασία.

Συνδύασε την αραίωση top-k, την κβαντοποίηση 2-bit και την ανατροφοδότηση σφάλματος για να διατηρήσει όλους τους κόμβους συγχρονισμένους. Δεν χρειαζόταν κεντρικός διακομιστής για τη διαχείριση του συντονισμού σε όλο το δίκτυο.

Η δεύτερη καινοτομία, το Gauntlet, χειρίστηκε την εμπιστοσύνη και τη βαθμολογία συνεισφοράς κατά τη διάρκεια της εκπαίδευσης. Αξιολόγησε κάθε κόμβο μέσω αξιολόγησης απώλειας και κατάταξης OpenSkill.

Όλες οι βαθμολογίες καταγράφηκαν στο blockchain για πλήρη διαφάνεια. Αυτό έδωσε σε κάθε συμμετέχοντα ένα επαληθεύσιμο αρχείο της συνεισφοράς του.

Το Milk Road ανέφερε το αποτέλεσμα μέσω των μέσων κοινωνικής δικτύωσης, σημειώνοντας ότι τα κατανεμημένα δίκτυα μπορούν πλέον να εκπαιδεύσουν μεγάλα μοντέλα ανταγωνιστικά. Τα βάρη του μοντέλου είναι διαθέσιμα στο Hugging Face με άδεια Apache.

Οποιοσδήποτε μπορεί να αποκτήσει πρόσβαση, να χρησιμοποιήσει ή να βασιστεί στο Covenant-72B χωρίς κόστος. Αυτή η ανοιχτή προσέγγιση το διαχωρίζει από πολλά περιορισμένα, ιδιόκτητα μοντέλα AI που είναι διαθέσιμα σήμερα.

Το $TAO Ανεβαίνει καθώς η Αγορά Αντιδρά στα Αποτελέσματα του Covenant-72B

Η αγορά κινήθηκε γρήγορα αφού τα νέα της εκπαίδευσης του Covenant-72B διαδόθηκαν δημόσια. Το $TAO, το εγγενές token του Bittensor, αυξήθηκε κατά 14% για να φτάσει τα $236 μετά την ανακοίνωση.

Το token είχε επίσης κερδίσει 36% κατά τη διάρκεια της προηγούμενης περιόδου 30 ημερών. Ο όγκος συναλλαγών αυξήθηκε κατά 167% τους τελευταίους έξι μήνες.

Το Grayscale επέκτεινε το TAO trust του κατά την ίδια εβδομάδα με την ανακοίνωση. Αυτή η κίνηση άνοιξε ευρύτερη θεσμική πρόσβαση στο token απευθείας.

Ήρθε καθώς το ενδιαφέρον των επενδυτών για κρυπτονομίσματα συνδεδεμένα με AI συνέχισε να αυξάνεται. Ο χρόνος πρόσθεσε περαιτέρω ανοδική πίεση στην κίνηση της τιμής του token.

Ο συνδυασμός τεχνικού αποτελέσματος και θεσμικού ενδιαφέροντος προσέλκυσε ευρεία προσοχή της αγοράς. Η βαθμολογία MMLU του Covenant-72B δίνει στην αποκεντρωμένη υπολογιστική ισχύ ένα αξιόπιστο, ελέγξιμο σημείο αναφοράς.

Το αποτέλεσμα είναι μετρήσιμο και μπορεί να αναπαραχθεί υπό τυπικές συνθήκες. Αυτό το διακρίνει καθαρά από πολλούς προηγούμενους μη επαληθευμένους ισχυρισμούς στον χώρο των κρυπτονομισμάτων AI.

Τα βάρη με άδεια Apache στο Hugging Face επιτρέπουν σε κάθε προγραμματιστή να επαληθεύσει την εργασία ανεξάρτητα. Η προσέγγιση του Bittensor δείχνει ένα λειτουργικό πλαίσιο για εκπαίδευση μοντέλων AI με κοινοτική οδήγηση.

Το δίκτυο λειτούργησε σε περισσότερους από 70 συμμετέχοντες χωρίς κεντρικό συντονισμό σε κανένα σημείο. Αυτό θέτει ένα λειτουργικό προηγούμενο για κατανεμημένη εκπαίδευση μεγάλων μοντέλων στο μέλλον.

Το άρθρο Bittensor's Subnet 3 Trains 72B AI Model on Decentralized Network εμφανίστηκε πρώτα στο Blockonomi.