Mistral NeMo 12B: NVIDIA dan Mistral AI's New AI model

Mistral AI dan NVIDIA telah melancarkan Mistral NeMo 12B, model bahasa terkini yang direka untuk merevolusikan perusahaan AI aplikasi. Model canggih ini, membanggakan 12 bilion parameter, menjanjikan ketepatan, fleksibiliti dan kecekapan yang tiada tandingan, menjadikannya alat serba boleh untuk pelbagai keperluan perusahaan.

Mistral NeMo 12B direka bentuk untuk cemerlang dalam pelbagai tugas, termasuk chatbot , pemprosesan berbilang bahasa, pengekodan dan ringkasan. Salah satu cirinya yang menonjol ialah tetingkap konteks yang mengagumkan sehingga 128,000 token , yang membolehkan model memproses dan memahami maklumat yang luas dan kompleks dengan lebih koheren berbanding model sebelumnya.

Guillaume Lample, pengasas bersama dan ketua saintis Mistral AI , menekankan kepentingan kerjasama ini:

Kami bernasib baik untuk bekerjasama dengan pasukan NVIDIA, memanfaatkan perkakasan dan perisian peringkat teratas mereka. Bersama-sama, kami telah membangunkan model dengan ketepatan, fleksibiliti, kecekapan tinggi dan sokongan dan keselamatan gred perusahaan yang belum pernah berlaku sebelum ini berkat NVIDIA AI Pengerahan perusahaan.

Mistral NeMo 12B telah dilatih pada NVIDIA DGX Cloud AI platform, yang menyediakan akses berskala kepada seni bina NVIDIA terkini. Model ini menggunakan NVIDIA TensorRT-LLM untuk prestasi inferens dipercepatkan dan platform pembangunan NVIDIA NeMo untuk membina tersuai AI generatif model. Gabungan ini memastikan bahawa Mistral NeMo 12B memberikan prestasi tinggi merentasi pelbagai aplikasi.

Salah satu kemajuan teknologi utama dalam Mistral NeMo 12B ialah penggunaan format data FP8 untuk inferens model. Ini mengurangkan saiz memori dan mempercepatkan penggunaan tanpa menjejaskan ketepatan. Di samping itu, seni bina model membolehkannya dimuatkan pada memori GPU NVIDIA L40S, NVIDIA GeForce RTX 4090 atau NVIDIA RTX 4500 tunggal , menjadikannya sangat cekap dan kos efektif.

Mistral NeMo 12B direka bentuk untuk aplikasi global, dengan keupayaan berbilang bahasa yang mantap . Ia cemerlang dalam bahasa seperti Inggeris, Perancis, Jerman, Sepanyol, Itali, Portugis, Cina, Jepun, Korea, Arab dan Hindi. Kemahiran linguistik yang luas ini dicapai melalui tokenizer Tekken baharu, yang berdasarkan Tiktoken dan dilatih dalam lebih 100 bahasa. Tekken adalah kira-kira 30% lebih cekap dalam memampatkan kod sumber dan beberapa bahasa utama berbanding tokenizer sebelumnya, menjadikannya kemajuan yang ketara dalam pemprosesan bahasa semula jadi.

Dibungkus sebagai perkhidmatan mikro inferens NVIDIA NIM, Mistral NeMo 12B menawarkan inferens yang dioptimumkan prestasi dengan enjin NVIDIA TensorRT-LLM. Format kontena ini membolehkan penggunaan mudah merentas pelbagai persekitaran, memberikan fleksibiliti yang dipertingkatkan untuk aplikasi perusahaan. Model ini juga dilengkapi dengan sokongan komprehensif, akses terus kepada NVIDIA AI pakar, dan perjanjian peringkat perkhidmatan yang ditentukan, memastikan prestasi yang boleh dipercayai dan konsisten.

Mistral NeMo 12B's lepaskan di bawah Lesen Apache 2.0 menggalakkan inovasi dan menyokong yang lebih luas AI masyarakat. Pendekatan sumber terbuka ini berkemungkinan akan mempercepatkan model's penerimaan di kalangan penyelidik dan perusahaan, memudahkan pembangunan maju AI penyelesaian. model's berat dihoskan pada Muka Berpeluk, menjadikannya tersedia untuk pembangun dan penyelidik untuk mencuba dan menyesuaikan diri dengan keperluan khusus mereka.