
Karayel AI ve NVIDIA, kurumsal programlamada devrim yaratacak şekilde tasarlanmış son teknoloji bir dil modeli olan Mistral NeMo 12B'yi piyasaya sürdü AI uygulamalar. Bu gelişmiş model, övünme 12 milyar parametre, benzersiz doğruluk, esneklik ve verimlilik vaat ediyor, onu çeşitli kurumsal ihtiyaçlar için çok yönlü bir araç haline getiriyor.
Mistral NeMo 12B, sohbet botları , çok dilli işlemleme, kodlama ve özetleme dahil olmak üzere çok çeşitli görevlerde üstün performans göstermek üzere tasarlanmıştır . Öne çıkan özelliklerinden biri, 128,000'e kadar belirteç içeren etkileyici bağlam penceresidir ; bu sayede model, önceki modellerine kıyasla kapsamlı ve karmaşık bilgileri daha tutarlı bir şekilde işleyebilir ve anlayabilir.
Mistral AI'nin kurucu ortağı ve baş bilim insanı Guillaume Lample , bu iş birliğinin önemini vurguladı:
NVIDIA ekibiyle işbirliği yapmaktan ve en üst düzey donanım ve yazılımlarından yararlanmaktan dolayı şanslıyız. Birlikte, NVIDIA sayesinde benzeri görülmemiş doğruluk, esneklik, yüksek verimlilik ve kurumsal düzeyde destek ve güvenlik sağlayan bir model geliştirdik AI Kurumsal dağıtım.

Mistral NeMo 12B, NVIDIA DGX Cloud'da eğitildi AI en son NVIDIA mimarisine ölçeklenebilir erişim sağlayan platform. Bu model, Hızlandırılmış çıkarım performansı için NVIDIA TensorRT-LLM ve özel geliştirmeler için NVIDIA NeMo geliştirme platformu üretken yapay zeka modeller. Bu kombinasyon Mistral NeMo 12B'nin çeşitli uygulamalarda yüksek performans sunmasını sağlar.
Mistral NeMo 12B'deki en önemli teknolojik gelişmelerden biri, model çıkarımı için FP8 veri formatını kullanmasıdır. Bu, bellek boyutunu azaltır ve doğruluktan ödün vermeden dağıtım hızını artırır. Ek olarak, modelin mimarisi, tek bir NVIDIA L40S, NVIDIA GeForce RTX 4090 veya NVIDIA RTX 4500 GPU'nun belleğine sığmasına olanak tanıyarak son derece verimli ve uygun maliyetli olmasını sağlar.
Mistral NeMo 12B, güçlü çok dilli yetenekleriyle küresel uygulamalar için tasarlanmıştır . İngilizce, Fransızca, Almanca, İspanyolca, İtalyanca, Portekizce, Çince, Japonca, Korece, Arapça ve Hintçe gibi dillerde üstün performans gösterir. Bu geniş dilsel yeterlilik, Tiktoken tabanlı ve 100'den fazla dilde eğitilmiş yeni Tekken belirteçleyici sayesinde elde edilir. Tekken, önceki belirteçleyicilere kıyasla kaynak kodunu ve birçok önemli dili sıkıştırmada yaklaşık %30 daha verimlidir ve bu da doğal dil işlemede önemli bir ilerleme anlamına gelir.

NVIDIA NIM çıkarım mikro hizmeti olarak paketlenmiştir, Mistral NeMo 12B NVIDIA TensorRT-LLM motorlarıyla performans açısından optimize edilmiş çıkarım sunar. Bu kapsayıcı biçim, çeşitli ortamlarda kolay dağıtıma olanak tanır ve kurumsal uygulamalar için gelişmiş esneklik sağlar. Model ayrıca kapsamlı destek, NVIDIA'ya doğrudan erişimle birlikte gelir AI Uzman kadromuz ve tanımlanmış hizmet seviyesi anlaşmalarımızla güvenilir ve tutarlı bir performans sağlıyoruz.
Mistral NeMo 12B's altında serbest bırakmak Apache 2.0 lisansı yeniliği teşvik eder ve daha geniş kapsamlı destekler AI Topluluk. Bu açık kaynaklı yaklaşımın modeli hızlandırması muhtemeldir's araştırmacılar ve işletmeler arasında benimsenmesini sağlayarak, gelişmiş teknolojilerin geliştirilmesini kolaylaştırır AI çözümler. Model's ağırlıklar barındırılıyor SarılmaYüz, geliştiricilerin ve araştırmacıların deney yapmaları ve özel ihtiyaçlarına uyum sağlamaları için bunları kolayca kullanılabilir hale getirir.


