Είστε περίεργοι για την κατασκευή, τη βελτίωση ή την ανάπτυξη Μεγάλα γλωσσικά μοντέλα?
Δεν είσαι μόνος—η εξειδίκευση στο LLM είναι μια από τις πιο δημοφιλείς δεξιότητες AI σήμερα. Με έργα ανοιχτού κώδικα Αναπτύσσοντας ραγδαία ανάπτυξη, το GitHub έχει γίνει ο κόμβος για κορυφαίους Έργα, πλαίσια και έρευνα LLM.
Αυτός ο οδηγός αναδεικνύει 12 βασικά Αποθετήρια GitHub γεμάτο με πηγαίο κώδικα, πρακτικά μαθήματα και υλοποιήσεις μοντέλων.
Αποδείξτε την απόδειξή σας Γνώσεις LLM, επιταχύνετε τη μάθησή σας και γίνετε μέλος της παγκόσμιας κοινότητας που διαμορφώνει το μέλλον της τεχνητής νοημοσύνης—όλα αυτά με αυτά τα απαραίτητα αποθετήρια GitHub.
Γιατί GitHub Είναι απαραίτητο για την ανάπτυξη LLM
Το GitHub έχει γίνει η καρδιά του οικοσυστήματος LLM, όπου η πρωτοποριακή έρευνα συναντά την πρακτική εφαρμογή. Ενώ οι ακαδημαϊκές εργασίες παρέχουν θεωρία, το GitHub παρέχει τον πραγματικό κώδικα που τροφοδοτεί το σήμερα.'s τα πιο προηγμένα γλωσσικά μοντέλα.
Η πλατφόρμα φιλοξενεί τα πάντα από το Meta's Υλοποιήσεις Llama στο OpenAI's ερευνητικές βάσεις κώδικα, καθιστώντας το τον ταχύτερο τρόπο πρόσβασης σε αποδεδειγμένες τεχνικές και παραμονής μπροστά από τις ραγδαίες εξελίξεις.
Βασικοί λόγοι για τους οποίους το GitHub κυριαρχεί στην ανάπτυξη LLM:
Για τους λάτρεις του LLM, το GitHub δεν είναι απλώς ένας πόρος—είναι's η άμεση επαφή σας με το μέλλον AI ανάπτυξης.
1. μάθημα LLM
Maxime Labonne's Το μάθημα LLM είναι ένα φανταστικό σημείο εκκίνησης και ένας ολοκληρωμένος οδικός χάρτης για όποιον ενδιαφέρεται σοβαρά εκμάθηση LLM. Το's κάτι περισσότερο από μια απλή συλλογή αρχείων·'s μια δομημένη μαθησιακή πορεία που εξυπηρετεί διαφορετικούς επαγγελματικούς στόχους. Το αποθετήριο έχει αποκτήσει τεράστια δημοτικότητα, με πάνω από 51,500 αστέρια στο GitHub.
Γιατί αυτό's μια κορυφαία επιλογή
Αυτό το αποθετήριο ξεχωρίζει επειδή παρέχει δύο ξεχωριστούς χάρτες πορείας, επιτρέποντάς σας να προσαρμόσετε το μαθησιακό σας ταξίδι:
Το μάθημα καλύπτει τα πάντα, από τα βασικά Μαθηματικά LLM σε προχωρημένα θέματα όπως κβάντωση, βελτιστοποίηση και ανάπτυξη μοντέλων. Είναι ένα πλήρες πακέτο για μαθητές όλων των επιπέδων.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Αυτό το αποθετήριο είναι ιδανικό τόσο για αρχάριους που χρειάζονται μια δομημένη εισαγωγή όσο και για έμπειρους επαγγελματίες που επιθυμούν να εμβαθύνουν την εμπειρία τους σε συγκεκριμένους τομείς της ανάπτυξης LLM.
2. HandsOnLLM
Το αποθετήριο HandsOnLLM/Hands-On-Large-Language-Models είναι ο επίσημος συνοδός του Βιβλίο Ο'Ράιλι με το ίδιο όνομα. Αυτό's Ένας οπτικά πλούσιος και πρακτικός οδηγός που απομυθοποιεί τον τρόπο λειτουργίας των LLM. Αν μαθαίνετε καλύτερα στην πράξη και εκτιμάτε τα καλά τεκμηριωμένα παραδείγματα κώδικα, αυτό το αποθετήριο είναι για εσάς.
Γιατί αυτό's μια κορυφαία επιλογή
Προσφέρει μια πρακτική, βασισμένη σε έργα προσέγγιση στη μάθηση. Κάθε κεφάλαιο του βιβλίου συνοδεύεται από σημειωματάρια Jupyter, επιτρέποντάς σας να παρακολουθείτε και να πειραματίζεστε με τον κώδικα μόνοι σας. Εστιάζει σε έργα του πραγματικού κόσμου και παραδείγματα που μπορείτε να προσαρμόσετε για τις δικές σας περιπτώσεις χρήσης.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Οι προγραμματιστές και οι επιστήμονες δεδομένων που προτιμούν ένα πρακτικό, βασισμένο σε έργα στυλ μάθησης θα βρουν αυτό το αποθετήριο εξαιρετικά πολύτιμο. Είναι επίσης ένας εξαιρετικός πόρος για όποιον διαβάζει το βιβλίο "Hands-on Large Language Models".
3. άμεσης μηχανικής
Ο οδηγός brexhq/prompt-engineering είναι ένας θησαυρός για την τελειοποίηση της τέχνης και της επιστήμης του άμεση μηχανικήΣτον κόσμο των LLM, η ποιότητα του αποτελέσματός σας καθορίζεται συχνά από την ποιότητα των εισροών σας, καθιστώντας αυτή την δεξιότητα απολύτως απαραίτητη. Αυτό το αποθετήριο, με σχεδόν 9,000 αστέρια, προσφέρει πρακτικές συμβουλές και στρατηγικές για την εργασία με μοντέλα όπως το GPT-4.
Γιατί αυτό's μια κορυφαία επιλογή
Ενσωματώνει τα διδάγματα που αντλήθηκαν από τη δημιουργία προτροπών για περιπτώσεις χρήσης παραγωγής, καθιστώντας το εξαιρετικά πρακτικό. Το αποθετήριο είναι καλά οργανωμένο σε εκπαιδευτικά σεμινάρια που καλύπτουν τα πάντα, από βασικές αρχές έως προηγμένες τεχνικές όπως Προτροπή Αλυσίδας Σκέψης (CoT) και αυτοσυνέπεια.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Όποιος αλληλεπιδρά με LLM, από προγραμματιστές και ερευνητές έως δημιουργούς περιεχομένου και επαγγελματίες του μάρκετινγκ, θα επωφεληθεί από αυτό το αποθετήριο. Η εξειδίκευση στη μηχανική άμεσης επεξεργασίας είναι μια βασική δεξιότητα για την αξιοποίηση στο έπακρο οποιουδήποτε γλωσσικού μοντέλου.
4. Φοβερό-LLM
Το αποθετήριο Hannibal046/Awesome-LLM είναι μια επιμελημένη λίστα με όλα όσα σχετίζονται με τα Μεγάλα Γλωσσικά Μοντέλα. Σκεφτείτε το ως τον κεντρικό σας πίνακα ελέγχου για να παραμένετε ενημερωμένοι με το οικοσύστημα LLM. Είναι μια ζωντανή συλλογή πόρων που ενημερώνεται τακτικά από την κοινότητα.
Γιατί αυτό's μια κορυφαία επιλογή
Αυτό το αποθετήριο σας εξοικονομεί αμέτρητες ώρες αναζήτησης, συγκεντρώνοντας βασικούς πόρους σε ένα μέρος. Περιλαμβάνει πρωτοποριακές ερευνητικές εργασίες, πλαίσια εκπαίδευσης, εργαλεία ανάπτυξης και σημεία αναφοράς αξιολόγησης. Διαθέτει ακόμη και έναν πίνακα κατάταξης για την παρακολούθηση της απόδοσης διαφόρων LLM.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Αυτό είναι απαραίτητο για ερευνητές, φοιτητές και επαγγελματίες που θέλουν ένα ολοκληρωμένο κατάστημα για υψηλής ποιότητας πόρους LLM. Είναι ιδανικό για να ανακαλύπτουν νέα εργαλεία και να παραμένουν ενημερωμένοι για τις τελευταίες έρευνες.
5. Εργαλειοθήκη
Καθώς οι LLM γίνονται πιο πρακτικοί, η ικανότητά τους να χρησιμοποιούν εξωτερικά εργαλεία αποκτά ολοένα και μεγαλύτερη σημασία. Το αποθετήριο OpenBMB/ToolBench είναι ένα πλατφόρμα ανοιχτού κώδικα Σχεδιασμένο για να εκπαιδεύει, να εξυπηρετεί και να αξιολογεί LLM για την εκμάθηση εργαλείων. Παρέχει ένα πλαίσιο και ένα σύνολο δεδομένων ρύθμισης οδηγιών μεγάλης κλίμακας για την ενίσχυση αυτών των δυνατοτήτων.
Γιατί αυτό's μια κορυφαία επιλογή
Το ToolBench εστιάζει σε έναν κρίσιμο και δημοφιλή τομέα της ανάπτυξης LLM: τη χρήση εργαλείων. Η επέκταση StableToolBench ενισχύει περαιτέρω αυτόν τον τομέα εισάγοντας χαρακτηριστικά όπως MirrorAPI, το οποίο προσομοιώνει χιλιάδες πραγματικά API, και ένα Εικονικό σύστημα API για να διασφαλιστεί η σταθερότητα και η συνέπεια κατά την αξιολόγηση.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Ερευνητές και προγραμματιστές που ενδιαφέρονται να δημιουργήσουν πρακτικά LLM που μπορούν να αλληλεπιδράσουν με εξωτερικά API και τα εργαλεία θα βρουν το ToolBench ανεκτίμητο. Είναι ιδανικό για όσους εργάζονται για τη δημιουργία πιο ικανών και αυτόνομων AI παράγοντες.
6. Πύθια
Αναπτυγμένο από την EleutherAI, το αποθετήριο EleutherAI/pythia είναι μια σουίτα μοντέλων που έχουν σχεδιαστεί για να επιτρέπουν την έρευνα σχετικά με την ερμηνευσιμότητα, τη δυναμική της μάθησης και την ηθική. Σε αντίθεση με πολλές άλλες εκδόσεις μοντέλων, η σουίτα Pythia δημιουργήθηκε με κύριους στόχους τη διαφάνεια και την επιστημονική έρευνα.
Γιατί αυτό's μια κορυφαία επιλογή
Το Pythia παρέχει πλήρως πρόσβαση ανοιχτού κώδικα σε 16 διαφορετικά σημεία ελέγχου μοντέλων, επιτρέποντας στους ερευνητές να μελετήσουν πώς τα LLM αναπτύσσονται και εξελίσσονται κατά τη διάρκεια της εκπαίδευσης. Αυτό είναι κρίσιμο για την κατανόηση της φύσης του «μαύρου κουτιού» αυτών των μοντέλων και για την έρευνα σε τομείς όπως οι νόμοι κλιμάκωσης και η ηθική των μοντέλων.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
AI Οι ερευνητές, οι ηθικολόγοι και οι φοιτητές που επικεντρώνονται στην ερμηνευσιμότητα του μοντέλου, την ασφάλεια και τις θεμελιώδεις αρχές της εκπαίδευσης LLM θα αξιοποιήσουν πολλά από αυτό το αποθετήριο.
7. Λίστα Εργασιών-Πράκτορα-LLM
Για όσους θέλουν να εμβαθύνουν στην ακαδημαϊκή πλευρά του AI παράγοντες, η Λίστα Εργασιών WooooDyy/LLM-Agent-Paper List είναι ένας απαραίτητος πόρος. Αυτό το αποθετήριο είναι μια επιμελημένη συλλογή ερευνητικών εργασιών που διερευνούν συστηματικά την ανάπτυξη, τις εφαρμογές και την υλοποίηση Πράκτορες με βάση το LLM.
Γιατί αυτό's μια κορυφαία επιλογή
Λειτουργεί ως βασική βιβλιοθήκη γνώσεων για έναν από τους πιο συναρπαστικούς τομείς AI σήμερα. Αντί για απλό κώδικα, αυτό το αποθετήριο παρέχει τις θεωρητικές βάσεις που χρειάζεστε για να κατανοήσετε και να δημιουργήσετε την επόμενη γενιά AI πράκτορες.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Αυτό το αποθετήριο απευθύνεται σε ακαδημαϊκούς ερευνητές, μεταπτυχιακούς φοιτητές και προχωρημένους επαγγελματίες που επιθυμούν να αξιοποιήσουν την πρωτοποριακή έρευνα σε πράκτορες που βασίζονται σε LLM.
8. Φοβερά-Πολυτροπικά-Μοντέλα-Μεγάλης-Γλώσσας
Τα μεταπτυχιακά LLM δεν περιορίζονται πλέον μόνο σε κείμενο. Το αποθετήριο BradyFU/Awesome-Multimodal-Large-Language-Models είναι μια επιμελημένη συλλογή πόρων που επικεντρώνεται στις τελευταίες εξελίξεις στα Πολυτροπικά LLM (MLLM), τα οποία μπορούν να επεξεργάζονται πληροφορίες από κείμενο, εικόνες, ήχο και βίντεο.
Γιατί αυτό's μια κορυφαία επιλογή
Αυτό το αποθετήριο είναι η πύλη σας στον κόσμο των MLLM. Καλύπτει ένα ευρύ φάσμα θεμάτων, από τον πολυτροπικό συντονισμό διδασκαλίας έως τη συλλογιστική αλυσίδας σκέψης και τις τεχνικές μετριασμού των ψευδαισθήσεων. Συνδέεται επίσης με το έργο VITA, μια διαδραστική πολυτροπική πλατφόρμα LLM ανοιχτού κώδικα.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Οι προγραμματιστές και οι ερευνητές που ενδιαφέρονται να δημιουργήσουν εφαρμογές που ξεπερνούν το κείμενο, όπως οι λεζάντες εικόνων, η ανάλυση βίντεο ή οι βοηθοί που ελέγχονται με φωνή, θα βρουν αυτήν τη συλλογή εξαιρετικά χρήσιμη.
9. Βαθιά ταχύτητα
Αναπτυγμένη από τη Microsoft, η microsoft/DeepSpeed είναι μια βιβλιοθήκη βελτιστοποίησης βαθιάς μάθησης που κάνει την κατανεμημένη εκπαίδευση και συμπερασματολογία εύκολη και αποτελεσματική. Ενσωματώνεται άψογα με PyTorch και έχει συμβάλει καθοριστικά στην εκπαίδευση ορισμένων από τον κόσμο's μεγαλύτερα μοντέλα, συμπεριλαμβανομένου του μοντέλου Megatron-Turing των 530 δισεκατομμυρίων παραμέτρων.
Γιατί αυτό's μια κορυφαία επιλογή
Το DeepSpeed έχει να κάνει με την κλίμακα και την αποτελεσματικότητα. Προσφέρει καινοτομίες σε επίπεδο συστήματος που σας επιτρέπουν να εκπαιδεύετε τεράστια μοντέλα με δισεκατομμύρια παραμέτρους σε περιορισμένο υλικό. Τα χαρακτηριστικά του είναι απαραίτητα για όποιον ενδιαφέρεται σοβαρά για την εκπαίδευση υπερσύγχρονων LLM από την αρχή ή για την τελειοποίηση μεγάλων μοντέλων.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Αυτό είναι ένα εργαλείο για σοβαρούς επαγγελματίες, επιστήμονες δεδομένων και ερευνητές που χρειάζονται να εκπαιδεύσουν ή να βελτιώσουν πολύ μεγάλα γλωσσικά μοντέλα. Εάν αντιμετωπίζετε όρια μνήμης με την τρέχουσα ρύθμισή σας, το DeepSpeed είναι η λύση.
10. καλέστε.cpp
Το αποθετήριο ggml-org/llama.cpp είναι κάτι που αλλάζει τα δεδομένα στην εκτέλεση LLM σε καταναλωτικό υλικό.'s μια βιβλιοθήκη C/C++ υψηλής απόδοσης για την εκτέλεση συμπερασμάτων σε τοπικούς υπολογιστές, συμπεριλαμβανομένων επιτραπέζιων υπολογιστών και ακόμη και κινητών συσκευών.'s Βασισμένο στη βιβλιοθήκη τενσόρων GGML και φημίζεται για την αποτελεσματικότητά του και την ελάχιστη δυνατή ρύθμισή του.
Γιατί αυτό's μια κορυφαία επιλογή
Το llama.cpp καθιστά τα ισχυρά LLM προσβάσιμα σε όλους. Δεν χρειάζεστε ένα τεράστιο σύμπλεγμα GPU cloud για να πειραματιστείτε με μοντέλα όπως Λάμα 3, Mistral ή GPT-2. Η εστίασή του στην απόδοση της CPU και των συσκευών edge έχει εκδημοκρατίσει τη χρήση του LLM. Μπορείτε να ρυθμίσετε έναν τοπικό διακομιστή με λίγες μόνο εντολές και να ξεκινήσετε την αλληλεπίδραση με μοντέλα.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Προγραμματιστές, χομπίστες και ερευνητές που θέλουν να εφαρμόσουν και να πειραματιστούν με LLM τοπικά χωρίς να βασίζονται σε ακριβές υπηρεσίες cloud.'s επίσης ιδανικό για δημιουργία σε συσκευή AI εφαρμογές που δίνουν προτεραιότητα στην ιδιωτικότητα και τη χαμηλή καθυστέρηση.
11. PaLM-rlhf-pytorch
Η Ενισχυτική Μάθηση με Ανθρώπινη Ανατροφοδότηση (RLHF) είναι η μυστική συνταγή πίσω από τις εντυπωσιακές ικανότητες συνομιλίας μοντέλων όπως το ChatGPT. Το αποθετήριο lucidrains/PaLM-rlhf-pytorch προσφέρει μια υλοποίηση ανοιχτού κώδικα του RLHF που εφαρμόζεται στην Google.'s Αρχιτεκτονική PaLM.
Γιατί αυτό's μια κορυφαία επιλογή
Αυτό το αποθετήριο απομυθοποιεί μία από τις πιο σημαντικές τεχνικές στην σύγχρονη ανάπτυξη LLM. Στοχεύει στην αναπαραγωγή της λειτουργικότητας του ChatGPT χρησιμοποιώντας το Μοντέλο PaLM, παρέχοντας ένα συγκεκριμένο παράδειγμα για το πώς μπορεί να υλοποιηθεί το RLHF. Μπορείτε να φορτώσετε προ-εκπαιδευμένα μοντέλα ή να τα βελτιστοποιήσετε για τις δικές σας ανάγκες.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Αυτό το αποθετήριο απευθύνεται σε ερευνητές και προγραμματιστές που ενδιαφέρονται για τη διαδικασία βελτίωσης, ιδιαίτερα σε εκείνους που επιθυμούν να κατανοήσουν και να εφαρμόσουν το RLHF για να ευθυγραμμίσουν τα LLM με τις ανθρώπινες προτιμήσεις.
12. νανοGPT
Δημιουργημένο από τον θρυλικό Andrej Karpathy, το karpathy/nanoGPT είναι το απλούστερο και ταχύτερο αποθετήριο για εκπαίδευση και βελτιστοποίηση μεσαίου μεγέθους GPT. Ο κώδικάς του είναι σκόπιμα συνοπτικός, με τον βασικό βρόχο εκπαίδευσης στο train.py και τον ορισμό του μοντέλου στο model.py.
Γιατί αυτό's μια κορυφαία επιλογή
Το nanoGPT δίνει προτεραιότητα στην απλότητα και την εκπαιδευτική αξία. Αφαιρεί όλη την πολυπλοκότητα των μεγάλων βιβλιοθηκών, επιτρέποντάς σας να κατανοήσετε την αρχιτεκτονική του μετασχηματιστή από την αρχή. Παρά την απλότητά του,'s αρκετά ισχυρό για να αναπαράγει αποτελέσματα επιπέδου GPT-2 και έχει εμπνεύσει άλλα μινιμαλιστικά έργα όπως το nanoVLM για μοντέλα οπτικής γλώσσας.
Βασικά χαρακτηριστικά
Ποιος πρέπει να το χρησιμοποιήσει;
Το nanoGPT είναι ιδανικό για φοιτητές, εκπαιδευτικούς και προγραμματιστές που θέλουν μια βαθιά, θεμελιώδη κατανόηση της αρχιτεκτονικής GPT. Αν έχετε κουραστεί από βιβλιοθήκες μαύρου κουτιού και θέλετε να δείτε πώς λειτουργούν τα πράγματα στην πραγματικότητα; Αυτό είναι το αποθετήριο για εσάς.
Σας Ταξίδι LLM Ξεκινά με αυτά τα βασικά αποθετήρια GitHub
Η διαφορά μεταξύ του να ονειρεύεσαι για μεταπτυχιακά LLM και του να τα αποκτάς στην πραγματικότητα; Αυτά τα 12 αποθετήρια GitHub. Ενώ άλλοι συζητούν για τη θεωρία, εσείς τώρα έχετε άμεση πρόσβαση στον κώδικα που τροφοδοτεί σήμερα's πιο προχωρημένο γλωσσικά μοντέλα.
Το ανταγωνιστικό σας πλεονέκτημα σας περιμένει:
- Κλωνοποίηση nanoGPT να κατανοήσουν τα βασικά στοιχεία του μετασχηματιστή
- Πιρούνι λάμα.cpp για την τοπική ανάπτυξη μοντέλων
- Star LLM-course για δομημένες μαθησιακές διαδρομές
- Συνεισφέρετε στο DeepSpeed και γίνετε μέλος της Microsoft's προσπάθειες βελτιστοποίησης
Ο τομέας του LLM κινείται γρήγορα—προγραμματιστές όσοι κατακτούν αυτά τα αποθετήρια σήμερα γίνονται αύριο's AI αρχιτέκτονες. Επιλέξτε τα 3 κορυφαία αποθετήρια, ρυθμίστε το περιβάλλον ανάπτυξής σας και ξεκινήστε τους πειραματισμούς. Κάθε υποβολή, κάθε αίτημα έλξης, κάθε μοντέλο που εκπαιδεύετε σας φέρνει πιο κοντά στην εξειδίκευση στο LLM.
BONUS: Πάρτε τα 200 δολάρια μας "AI «Εργαλειοθήκη Mastery» ΔΩΡΕΑΝ όταν εγγραφείτε!
