
Ingin tahu tentang membina, memperhalusi atau menggunakan Model Bahasa Besar?
Anda tidak bersendirian—kepakaran LLM ialah salah satu kemahiran terhangat AI hari ini. Dengan projek sumber terbuka berkembang pesat, GitHub telah menjadi hab pergi-to untuk peringkat teratas Projek, rangka kerja dan penyelidikan LLM.
Panduan ini mengetengahkan 12 repositori GitHub penting yang dipenuhi dengan kod sumber, tutorial praktikal dan pelaksanaan model.
Dapatkan pengetahuan LLM yang terbukti , percepatkan pembelajaran anda dan sertai komuniti global yang membentuk masa depan kecerdasan buatan—semuanya dengan repositori GitHub yang mesti diketahui ini.
Mengapa GitHub Adalah Penting untuk Pembangunan LLM
GitHub telah menjadi nadi utama ekosistem LLM, di mana penyelidikan terobosan memenuhi pelaksanaan praktikal. Walaupun kertas akademik menyediakan teori, GitHub menyampaikan kod sebenar yang berkuasa hari ini's model bahasa yang paling maju.
Platform ini menjadi tuan rumah segala-galanya daripada Meta's Pelaksanaan Llama kepada OpenAI's pangkalan kod penyelidikan, menjadikannya cara terpantas untuk mengakses teknik yang terbukti dan terus mendahului perkembangan pesat.
Sebab utama GitHub mendominasi pembangunan LLM:
Bagi peminat LLM, GitHub bukan sekadar sumber—ia's talian terus anda ke masa depan AI pembangunan.
1. llm-kursus

Kursus llm Maxime Labonne merupakan titik permulaan yang hebat dan pelan tindakan yang komprehensif untuk sesiapa sahaja yang serius untuk mempelajari LLM . Ia lebih daripada sekadar koleksi fail; ia merupakan laluan pembelajaran berstruktur yang memenuhi matlamat kerjaya yang berbeza. Repositori ini telah mendapat populariti yang sangat tinggi, dengan lebih 51,500 bintang di GitHub.
Mengapa Ia's Pilihan Utama
Repositori ini menyerlah kerana ia menyediakan dua peta jalan yang berbeza, membolehkan anda menyesuaikan perjalanan pembelajaran anda:
Kursus ini merangkumi segala-galanya daripada asas matematik LLM hingga topik lanjutan seperti pengkuantuman, penalaan halus dan penggunaan model. Ia merupakan pakej lengkap untuk pelajar di semua peringkat.
Ciri-ciri utama

Siapa yang Harus Menggunakannya?
Repositori ini sesuai untuk kedua-dua pemula yang memerlukan pengenalan berstruktur dan profesional berpengalaman yang ingin mendalami kepakaran mereka dalam bidang pembangunan LLM tertentu.
2. HandsOnLLM
Repositori HandsOnLLM/Hands-On-Large-Language-Models ialah pendamping rasmi kepada buku O'Reilly dengan nama yang sama. Ia merupakan panduan yang kaya secara visual dan praktikal yang menjelaskan cara LLM berfungsi. Jika anda belajar dengan lebih baik dengan melakukan dan menghargai contoh kod yang didokumenkan dengan baik, repositori ini adalah untuk anda.
Mengapa Ia's Pilihan Utama
Ia menawarkan pendekatan pembelajaran berasaskan projek yang praktikal. Setiap bab buku disertakan dengan buku nota Jupyter, membolehkan anda mengikuti dan bereksperimen dengan kod itu sendiri. Ia memfokuskan pada projek dan contoh dunia sebenar yang boleh anda sesuaikan untuk kes penggunaan anda sendiri.

Ciri-ciri utama
Siapa yang Harus Menggunakannya?
Pembangun dan saintis data yang lebih suka gaya pembelajaran berasaskan projek secara praktikal akan mendapati repositori ini sangat berharga. Ia juga merupakan sumber yang sangat baik untuk sesiapa sahaja yang membaca buku "Model Bahasa Besar Tangan".
3. kejuruteraan segera
Panduan brexhq/prompt-engineering merupakan khazanah untuk menguasai seni dan sains kejuruteraan segera . Dalam dunia LLM, kualiti output anda sering ditentukan oleh kualiti input anda, menjadikan kemahiran ini sangat penting. Repositori ini, dengan hampir 9,000 bintang, menawarkan petua dan strategi praktikal untuk bekerja dengan model seperti GPT-4.
Mengapa Ia's Pilihan Utama
Ia menggabungkan pengajaran yang dipelajari daripada mencipta gesaan untuk kes penggunaan pengeluaran, menjadikannya sangat praktikal. Repositori ini disusun dengan baik ke dalam tutorial yang merangkumi segala-galanya daripada prinsip asas kepada teknik lanjutan seperti gesaan Rantai Pemikiran (CoT) dan konsistensi kendiri.

Ciri-ciri utama
Siapa yang Harus Menggunakannya?
Sesiapa sahaja yang berinteraksi dengan LLM, daripada pembangun dan penyelidik kepada pencipta kandungan dan pemasar, akan mendapat manfaat daripada repositori ini. Menguasai kejuruteraan segera adalah kemahiran utama untuk memanfaatkan mana-mana model bahasa.
4. Hebat-LLM

Repositori Hannibal046/Awesome-LLM ialah senarai susun atur semua perkara yang berkaitan dengan Model Bahasa Besar. Anggap ia sebagai papan pemuka pusat anda untuk mengikuti perkembangan terkini ekosistem LLM. Ia adalah koleksi sumber hidup yang sentiasa dikemas kini oleh komuniti.
Mengapa Ia's Pilihan Utama
Repositori ini menjimatkan banyak jam carian anda dengan mengumpulkan sumber penting di satu tempat. Ia termasuk kertas penyelidikan mani, rangka kerja latihan, alat penggunaan dan penanda aras penilaian. Ia juga mempunyai papan pendahulu untuk menjejak prestasi pelbagai LLM.
Ciri-ciri utama
Siapa yang Harus Menggunakannya?
Ini mesti dimiliki oleh penyelidik, pelajar dan pengamal yang mahukan kedai sehenti untuk sumber LLM berkualiti tinggi. Ia sesuai untuk menemui alatan baharu dan sentiasa mendapat maklumat tentang penyelidikan terkini.
5. ToolBench

Memandangkan LLM menjadi lebih ejen, keupayaannya untuk menggunakan alatan luaran menjadi semakin penting. Repositori OpenBMB/ToolBench ialah platform sumber terbuka yang direka untuk melatih, menyediakan perkhidmatan dan menilai LLM untuk pembelajaran alatan. Ia menyediakan rangka kerja dan set data penalaan arahan berskala besar untuk meningkatkan keupayaan ini.
Mengapa Ia's Pilihan Utama
ToolBench memberi tumpuan kepada bidang pembangunan LLM yang kritikal dan sedang trending: penggunaan alat. Sambungan StableToolBench mempertingkatkan lagi ini dengan memperkenalkan ciri seperti MirrorAPI , yang mensimulasikan beribu-ribu API sebenar dan Sistem API Maya untuk memastikan kestabilan dan konsistensi semasa penilaian.

Ciri-ciri utama
Siapa yang Harus Menggunakannya?

Penyelidik dan pembangun berminat untuk membina LLM ejen yang boleh berinteraksi dengannya API luaran dan alatan akan mendapati ToolBench tidak ternilai. Ia sesuai untuk mereka yang berusaha mencipta lebih berkebolehan dan berautonomi AI ejen.
6. Pythia
Dibangunkan oleh EleutherAI, repositori EleutherAI/pythia ialah set model yang direka untuk membolehkan penyelidikan kebolehtafsiran, dinamik pembelajaran dan etika. Tidak seperti kebanyakan keluaran model lain, suite Pythia dicipta dengan ketelusan dan penyelidikan saintifik sebagai matlamat utamanya.
Mengapa Ia's Pilihan Utama
Pythia menyediakan akses sumber terbuka sepenuhnya kepada 16 pusat pemeriksaan model yang berbeza, membolehkan penyelidik mengkaji cara LLM berkembang dan berkembang semasa latihan. Ini penting untuk memahami sifat "kotak hitam" model ini dan untuk menyelidik bidang seperti undang-undang skala dan etika model.

Ciri-ciri utama
Siapa yang Harus Menggunakannya?
AI penyelidik, ahli etika dan pelajar yang menumpukan pada kebolehtafsiran model, keselamatan dan prinsip asas latihan LLM akan mendapat banyak perbatuan daripada repositori ini.
7. LLM-Agent-Paper-List

Bagi mereka yang ingin mendalami aspek akademik AI ejen, WooooDyy/LLM-Agent-Paper-List ialah sumber penting. Repositori ini ialah koleksi kertas penyelidikan terpilih yang meneroka pembangunan, aplikasi dan pelaksanaan secara sistematik Ejen berasaskan LLM.
Mengapa Ia's Pilihan Utama
Ia berfungsi sebagai perpustakaan asas pengetahuan untuk salah satu bidang yang paling menarik dalam AI hari ini. Daripada hanya kod, repo ini menyediakan asas teori yang anda perlukan untuk memahami dan membina generasi seterusnya AI ejen.
Ciri-ciri utama

Siapa yang Harus Menggunakannya?
Repositori ini bertujuan untuk penyelidik akademik, pelajar siswazah, dan pengamal lanjutan yang ingin membina penyelidikan termaju dalam ejen berasaskan LLM.
8. Model-Bahasa-Multimodal-Hebat
LLM tidak lagi terhad kepada teks sahaja. Repositori BradyFU/Multimodal-Large-Language-Models BradyFU/Awesome-Multimodal-Large-Language-Models ialah koleksi pilihan sumber yang memfokuskan pada kemajuan terkini dalam Multimodal LLMs (MLLMs), yang boleh memproses maklumat daripada teks, imej, audio dan video.
Mengapa Ia's Pilihan Utama
Repositori ini ialah pintu masuk anda ke dunia MLLM. Ia merangkumi pelbagai topik, daripada penalaan arahan multimodal kepada penaakulan rantaian pemikiran dan teknik pengurangan halusinasi. Ia juga disambungkan kepada projek VITA, platform LLM multimodal interaktif sumber terbuka.

Ciri-ciri utama
Siapa yang Harus Menggunakannya?
Pembangun dan penyelidik yang berminat untuk membina aplikasi yang melampaui teks, seperti kapsyen imej, analisis video atau pembantu kawalan suara, akan mendapati koleksi ini amat berguna.
9. Kecepatan dalam
Dibangunkan oleh Microsoft, microsoft/DeepSpeed ialah pustaka pengoptimuman pembelajaran mendalam yang menjadikan latihan teragih dan inferens mudah dan cekap. Ia berintegrasi dengan lancar dengan PyTorch dan telah memainkan peranan penting dalam melatih beberapa model terbesar di dunia, termasuk model Megatron-Turing parameter 530 bilion.

Mengapa Ia's Pilihan Utama
DeepSpeed adalah mengenai skala dan kecekapan. Ia menawarkan inovasi peringkat sistem yang membolehkan anda melatih model besar-besaran dengan berbilion parameter pada perkakasan terhad. Ciri-cirinya adalah penting untuk sesiapa sahaja yang serius melatih LLM tercanggih dari awal atau menala halus yang besar.
Ciri-ciri utama
Siapa yang Harus Menggunakannya?
Ini ialah alat untuk pengamal yang serius, saintis data dan penyelidik yang perlu melatih atau memperhalusi model bahasa yang sangat besar. Jika anda mencapai had memori dengan persediaan semasa anda, DeepSpeed ialah penyelesaiannya.
10. call.cpp
Repositori ggml-org/llama.cpp ialah penukar permainan untuk menjalankan LLM pada perkakasan pengguna. Ia's perpustakaan C/C++ berprestasi tinggi untuk menjalankan inferens pada mesin tempatan, termasuk desktop dan juga peranti mudah alih. Ia's dibina di atas perpustakaan tensor GGML dan terkenal dengan kecekapan dan persediaan minimumnya.

Mengapa Ia's Pilihan Utama
llama.cpp menjadikan LLM yang berkuasa boleh diakses oleh semua orang. Anda tidak memerlukan kluster GPU awan yang besar untuk bereksperimen dengan model seperti Llama 3 , Mistral atau GPT-2. Tumpuannya pada prestasi CPU dan peranti pinggir telah mendemokrasikan penggunaan LLM. Anda boleh menyediakan pelayan setempat hanya dengan beberapa arahan dan mula berinteraksi dengan model.
Ciri-ciri utama
Siapa yang Harus Menggunakannya?
Pembangun, penggemar dan penyelidik yang ingin menjalankan dan bereksperimen dengan LLM secara tempatan tanpa bergantung pada perkhidmatan awan yang mahal. Ia's juga sesuai untuk membina pada peranti AI aplikasi yang mengutamakan privasi dan kependaman rendah.
11. PaLM-rlhf-pytorch
Pembelajaran Pengukuhan dengan Maklum Balas Manusia (RLHF) ialah sos rahsia di sebalik kebolehan perbualan model yang mengagumkan seperti ChatGPT. Repositori lucidrains/PaLM-rlhf-pytorch menawarkan pelaksanaan sumber terbuka RLHF yang digunakan pada Google's seni bina PaLM.
Mengapa Ia's Pilihan Utama
Repositori ini menjelaskan salah satu teknik terpenting dalam pembangunan LLM moden. Ia bertujuan untuk meniru fungsi ChatGPT menggunakan model PaLM , memberikan contoh konkrit tentang bagaimana RLHF boleh dilaksanakan. Anda boleh memuatkan model pra-latihan atau menyelaraskannya mengikut keperluan anda sendiri.

Ciri-ciri utama
Siapa yang Harus Menggunakannya?
Repositori ini adalah untuk penyelidik dan pembangun yang berminat dalam proses penalaan halus, terutamanya mereka yang ingin memahami dan melaksanakan RLHF untuk menyelaraskan LLM dengan keutamaan manusia.
12. nanoGPT
Dicipta oleh Andrej Karpathy yang legenda, karpathy/nanoGPT ialah repositori termudah dan terpantas untuk latihan dan penalaan halus GPT bersaiz sederhana. Pangkalan kodnya sengaja ringkas, dengan gelung latihan teras dalam train.py dan definisi model dalam model.py.
Mengapa Ia's Pilihan Utama
nanoGPT mengutamakan kesederhanaan dan nilai pendidikan. Ia menghilangkan semua kerumitan perpustakaan besar, membolehkan anda memahami seni bina transformer dari bawah. Walaupun kesederhanaannya, ia's cukup berkuasa untuk menghasilkan semula keputusan tahap GPT-2 dan telah memberi inspirasi kepada projek minimalis lain seperti nanoVLM untuk model bahasa penglihatan.

Ciri-ciri utama
Siapa yang Harus Menggunakannya?
nanoGPT sesuai untuk pelajar, pendidik dan pembangun yang mahukan pemahaman yang mendalam dan asas tentang seni bina GPT. Jika anda bosan dengan perpustakaan kotak hitam dan ingin melihat bagaimana sesuatu berfungsi, inilah repositori untuk anda.
Perjalanan LLM Bermula Dengan Repositori GitHub Penting Ini
Perbezaan antara bermimpi tentang LLM dan benar-benar membinanya? 12 repositori GitHub ini. Sementara yang lain membahaskan teori, anda kini mempunyai akses langsung kepada kod yang memperkasakan model bahasa paling canggih hari ini.
Kelebihan daya saing anda sedang menunggu:
- Klon nanoGPT untuk memahami asas transformer
- Garpu llama.cpp untuk penggunaan model tempatan
- Bintang llm-kursus untuk laluan pembelajaran berstruktur
- Menyumbang kepada DeepSpeed dan sertai Microsoft's usaha pengoptimuman
Medan LLM bergerak pantas—pemaju yang menguasai repositori ini hari ini menjadi esok's AI arkitek. Pilih 3 repositori teratas anda, sediakan persekitaran pembangunan anda dan mulakan percubaan. Setiap komitmen, setiap permintaan tarik, setiap model yang anda latih membawa anda lebih dekat kepada penguasaan LLM.


