Mistral NeMo 12B: NVIDIA und Mistral AIs neue AI Modell

Mistral AI und NVIDIA haben Mistral NeMo 12B auf den Markt gebracht, ein hochmodernes Sprachmodell, das die Unternehmenskommunikation revolutionieren soll. AI Anwendungen. Dieses fortschrittliche Modell, das 12 Milliarden Parameter, verspricht beispiellose Genauigkeit, Flexibilität und Effizienz, Damit ist es ein vielseitiges Tool für verschiedene Unternehmensanforderungen.

Der Mistral NeMo 12B wurde für eine Vielzahl von Aufgaben entwickelt, darunter Chatbots , mehrsprachige Verarbeitung, Codierung und Zusammenfassung. Eine seiner herausragenden Eigenschaften ist das beeindruckende Kontextfenster von bis zu 128,000 Tokens , wodurch das Modell umfangreiche und komplexe Informationen kohärenter verarbeiten und verstehen kann als seine Vorgänger.

Guillaume Lample, Mitbegründer und leitender Wissenschaftler von Mistral AI , hob die Bedeutung dieser Zusammenarbeit hervor:

Wir freuen uns über die Zusammenarbeit mit dem NVIDIA-Team und können deren erstklassige Hard- und Software nutzen. Gemeinsam haben wir ein Modell mit beispielloser Genauigkeit, Flexibilität, hoher Effizienz und Support und Sicherheit auf Enterprise-Niveau entwickelt – dank NVIDIA AI Unternehmensbereitstellung.

Der Mistral NeMo 12B wurde auf der NVIDIA DGX Cloud trainiert AI Plattform, die skalierbaren Zugriff auf die neueste NVIDIA-Architektur bietet. Dieses Modell nutzt NVIDIA TensorRT-LLM für beschleunigte Inferenzleistung und die NVIDIA NeMo-Entwicklungsplattform zum Erstellen benutzerdefinierter generative KI Modelle. Diese Kombination stellt sicher, dass der Mistral NeMo 12B bei unterschiedlichsten Anwendungen eine hohe Leistung liefert.

Eine der wichtigsten technologischen Neuerungen des Mistral NeMo 12B ist die Verwendung des FP8-Datenformats für die Modellberechnung. Dies reduziert den Speicherbedarf und beschleunigt die Bereitstellung ohne Genauigkeitseinbußen. Darüber hinaus ermöglicht die Architektur des Modells, dass es auf dem Speicher einer einzelnen NVIDIA L40S, NVIDIA GeForce RTX 4090 oder NVIDIA RTX 4500 GPU ausgeführt werden kann , was es hocheffizient und kostengünstig macht.

Mistral NeMo 12B ist für globale Anwendungen konzipiert und bietet umfassende Mehrsprachigkeit . Es überzeugt durch seine Leistungsfähigkeit in Sprachen wie Englisch, Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch, Chinesisch, Japanisch, Koreanisch, Arabisch und Hindi. Diese breite Sprachkompetenz wird durch den neuen Tekken-Tokenizer erreicht, der auf TikTok basiert und mit über 100 Sprachen trainiert wurde. Tekken komprimiert Quellcode und mehrere wichtige Sprachen etwa 30 % effizienter als frühere Tokenizer und stellt somit einen bedeutenden Fortschritt in der Verarbeitung natürlicher Sprache dar.

Verpackt als NVIDIA NIM Inferenz-Mikroservice, Mistral NeMo 12B bietet leistungsoptimierte Inferenz mit NVIDIA TensorRT-LLM-Engines. Dieses containerisierte Format ermöglicht eine einfache Bereitstellung in verschiedenen Umgebungen und bietet mehr Flexibilität für Unternehmensanwendungen. Das Modell bietet außerdem umfassenden Support und direkten Zugriff auf NVIDIA AI Experten und definierte Service-Level-Agreements gewährleisten eine zuverlässige und gleichbleibende Leistung.

Mistral NeMo 12B's Freigabe unter der Apache 2.0-Lizenz fördert Innovation und unterstützt die breitere AI Community. Dieser Open-Source-Ansatz dürfte die Modellentwicklung beschleunigen's Akzeptanz bei Forschern und Unternehmen, was die Entwicklung fortschrittlicher AI Lösungen. Das Modell's Gewichte werden gehostet auf Umarmendes Gesicht, sodass sie Entwicklern und Forschern leicht zum Experimentieren und Anpassen an ihre spezifischen Bedürfnisse zur Verfügung stehen.