
mistral AI dan NVIDIA telah meluncurkan Mistral NeMo 12B, model bahasa canggih yang dirancang untuk merevolusi perusahaan AI aplikasi. Model canggih ini, yang membanggakan 12 miliar parameter, menjanjikan akurasi, fleksibilitas, dan efisiensi yang tak tertandingi, menjadikannya alat serbaguna untuk berbagai kebutuhan perusahaan.
Mistral NeMo 12B dirancang untuk unggul dalam berbagai tugas, termasuk chatbot , pemrosesan multibahasa, pengkodean, dan peringkasan. Salah satu fitur unggulannya adalah jendela konteks yang mengesankan hingga 128,000 token , memungkinkan model untuk memproses dan memahami informasi yang luas dan kompleks secara lebih koheren daripada pendahulunya.
Guillaume Lample, salah satu pendiri dan kepala ilmuwan Mistral AI , menyoroti pentingnya kolaborasi ini:
Kami beruntung dapat berkolaborasi dengan tim NVIDIA, memanfaatkan perangkat keras dan perangkat lunak terbaik mereka. Bersama-sama, kami telah mengembangkan model dengan akurasi, fleksibilitas, efisiensi tinggi, dan dukungan serta keamanan tingkat perusahaan yang belum pernah ada sebelumnya berkat NVIDIA. AI Penerapan pada perusahaan.

Mistral NeMo 12B dilatih pada NVIDIA DGX Cloud AI platform, yang menyediakan akses terukur ke arsitektur NVIDIA terbaru. Model ini memanfaatkan NVIDIA TensorRT-LLM untuk akselerasi performa inferensi dan platform pengembangan NVIDIA NeMo untuk membangun kustom AI generatif model. Kombinasi ini memastikan Mistral NeMo 12B memberikan kinerja tinggi di beragam aplikasi.
Salah satu kemajuan teknologi utama pada Mistral NeMo 12B adalah penggunaan format data FP8 untuk inferensi model. Hal ini mengurangi ukuran memori dan mempercepat penerapan tanpa mengorbankan akurasi. Selain itu, arsitektur model memungkinkan model tersebut untuk dimuat dalam memori satu GPU NVIDIA L40S, NVIDIA GeForce RTX 4090, atau NVIDIA RTX 4500 , sehingga sangat efisien dan hemat biaya.
Mistral NeMo 12B dirancang untuk aplikasi global, dengan kemampuan multibahasa yang tangguh . Ia unggul dalam bahasa-bahasa seperti Inggris, Prancis, Jerman, Spanyol, Italia, Portugis, Cina, Jepang, Korea, Arab, dan Hindi. Kemampuan linguistik yang luas ini dicapai melalui tokenizer Tekken baru, yang berbasis pada Tiktoken dan dilatih pada lebih dari 100 bahasa. Tekken sekitar 30% lebih efisien dalam mengompresi kode sumber dan beberapa bahasa utama dibandingkan dengan tokenizer sebelumnya, menjadikannya kemajuan signifikan dalam pemrosesan bahasa alami.

Dikemas sebagai layanan mikro inferensi NIM NVIDIA, Mistral NeMo 12B menawarkan inferensi yang dioptimalkan kinerjanya dengan mesin NVIDIA TensorRT-LLM. Format yang dikontainerisasi ini memungkinkan penyebaran yang mudah di berbagai lingkungan, memberikan fleksibilitas yang lebih baik untuk aplikasi perusahaan. Model ini juga dilengkapi dengan dukungan yang komprehensif, akses langsung ke NVIDIA AI para ahli, dan perjanjian tingkat layanan yang ditetapkan, guna memastikan kinerja yang andal dan konsisten.
Mistral NeMo 12B's rilis di bawah Lisensi 2.0 Apache mendorong inovasi dan mendukung masyarakat luas AI komunitas. Pendekatan sumber terbuka ini kemungkinan akan mempercepat model's adopsi di antara peneliti dan perusahaan, memfasilitasi pengembangan teknologi canggih AI Solusi. Model's bobot dihosting di MemelukWajah, menjadikannya tersedia bagi pengembang dan peneliti untuk bereksperimen dan beradaptasi dengan kebutuhan spesifik mereka.


