Mistral NeMo 12B: Nowa technologia NVIDIA i Mistral AI AI Model

Mistral AI i NVIDIA wprowadziły na rynek Mistral NeMo 12B, najnowocześniejszy model językowy zaprojektowany z myślą o zrewolucjonizowaniu przedsiębiorstw AI aplikacji. Ten zaawansowany model, szczycący się 12 miliardów parametrów zapewnia niezrównaną dokładność, elastyczność i wydajność, co czyni go wszechstronnym narzędziem spełniającym różne potrzeby przedsiębiorstwa.

Mistral NeMo 12B został zaprojektowany z myślą o szerokim zakresie zadań, w tym o chatbotach , przetwarzaniu wielojęzycznym, kodowaniu i podsumowywaniu. Jedną z jego wyróżniających cech jest imponujące okno kontekstowe obsługujące do 128 000 tokenów , co pozwala modelowi przetwarzać i rozumieć obszerne i złożone informacje w sposób bardziej spójny niż jego poprzednicy.

Guillaume Lample, współzałożyciel i główny naukowiec Mistral AI , podkreślił znaczenie tej współpracy:

Mamy szczęście współpracować z zespołem NVIDIA, wykorzystując ich najwyższej klasy sprzęt i oprogramowanie. Wspólnie opracowaliśmy model o niespotykanej dokładności, elastyczności, wysokiej wydajności oraz wsparciu i bezpieczeństwie klasy korporacyjnej dzięki NVIDIA AI Wdrożenie w przedsiębiorstwie.

Mistral NeMo 12B został przeszkolony na platformie NVIDIA DGX Cloud AI platforma, która zapewnia skalowalny dostęp do najnowszej architektury NVIDIA. Model ten wykorzystuje NVIDIA TensorRT-LLM zapewniająca przyspieszoną wydajność wnioskowania oraz platforma rozwojowa NVIDIA NeMo do tworzenia niestandardowych generatywna sztuczna inteligencja modele. To połączenie gwarantuje, że Mistral NeMo 12B zapewnia wysoką wydajność w różnorodnych zastosowaniach.

Jednym z kluczowych osiągnięć technologicznych satelity Mistral NeMo 12B jest wykorzystanie formatu danych FP8 do wnioskowania modelowego. Zmniejsza to rozmiar pamięci i przyspiesza wdrożenie bez utraty dokładności. Ponadto architektura modelu pozwala na jego wykorzystanie w pamięci pojedynczej karty graficznej NVIDIA L40S, NVIDIA GeForce RTX 4090 lub NVIDIA RTX 4500 , co czyni go wysoce wydajnym i ekonomicznym.

Mistral NeMo 12B został zaprojektowany z myślą o zastosowaniach globalnych i oferuje rozbudowane możliwości wielojęzyczne . Doskonale radzi sobie z językami takimi jak angielski, francuski, niemiecki, hiszpański, włoski, portugalski, chiński, japoński, koreański, arabski i hindi. Tę wszechstronną biegłość językową osiągnięto dzięki nowemu tokenizerowi Tekken, opartemu na Tiktokenie i wytrenowanemu w ponad 100 językach. Tekken jest o około 30% wydajniejszy w kompresji kodu źródłowego i kilku głównych języków w porównaniu z poprzednimi tokenizerami, co stanowi znaczący postęp w przetwarzaniu języka naturalnego.

Spakowany jako mikrousługa wnioskowania NVIDIA NIM, Mistrala NeMo 12B oferuje zoptymalizowane pod kątem wydajności wnioskowanie z silnikami NVIDIA TensorRT-LLM. Ten konteneryzowany format umożliwia łatwe wdrażanie w różnych środowiskach, zapewniając zwiększoną elastyczność dla aplikacji korporacyjnych. Model ten jest również wyposażony w kompleksowe wsparcie, bezpośredni dostęp do NVIDIA AI ekspertów i zdefiniowane umowy o poziomie usług, gwarantujące niezawodną i spójną wydajność.

Mistrala NeMo 12B's zwolnić pod Licencja Apache 2.0 zachęca do innowacji i wspiera szerszą AI społeczność. To podejście open-source prawdopodobnie przyspieszy model's przyjęcie przez naukowców i przedsiębiorstwa, ułatwiając rozwój zaawansowanych AI rozwiązania. Model's ciężary są hostowane na Przytulanie twarzy, dzięki czemu programiści i badacze będą mogli z nimi łatwo eksperymentować i dostosowywać się do ich konkretnych potrzeb.