Mistral NeMo 12B: NVIDIA와 Mistral AI의 새로운 AI 모델

한랭 한 북서풍 AI NVIDIA는 기업에 혁신을 일으키도록 설계된 최첨단 언어 모델인 Mistral NeMo 12B를 출시했습니다. AI 응용 프로그램. 이 고급 모델은 다음을 자랑합니다. 12억 개의 매개변수는 비교할 수 없는 정확성, 유연성 및 효율성을 약속합니다. 다양한 기업 요구 사항을 충족하는 다목적 도구입니다.

Mistral NeMo 12B는 챗봇 , 다국어 처리, 코딩, 요약 등 다양한 작업에서 뛰어난 성능을 발휘하도록 설계되었습니다 . 특히 최대 128,000개의 토큰에 달하는 인상적인 컨텍스트 윈도우는 이 모델의 가장 큰 특징 중 하나로, 이전 모델보다 훨씬 더 일관성 있게 방대하고 복잡한 정보를 처리하고 이해할 수 있도록 해줍니다.

미스트랄 AI 의 공동 창립자 겸 최고 과학자인 기욤 람플은 이번 협력의 중요성을 강조했습니다.

NVIDIA 팀과 협력하여 최고 수준의 하드웨어와 소프트웨어를 활용할 수 있게 되어 매우 기쁩니다. NVIDIA 덕분에 전례 없는 정확성, 유연성, 높은 효율성, 그리고 엔터프라이즈급 지원 및 보안을 갖춘 모델을 함께 개발할 수 있었습니다. AI 기업 배포.

Mistral NeMo 12B는 NVIDIA DGX Cloud에서 훈련되었습니다. AI 최신 NVIDIA 아키텍처에 대한 확장 가능한 액세스를 제공하는 플랫폼입니다. 이 모델은 가속화된 추론 성능을 위한 NVIDIA TensorRT-LLM 맞춤형 구축을 위한 NVIDIA NeMo 개발 플랫폼 생성 적 AI 모델. 이러한 조합을 통해 Mistral NeMo 12B는 다양한 응용 분야에서 높은 성능을 제공합니다.

Mistral NeMo 12B의 핵심 기술 발전 중 하나는 모델 추론에 FP8 데이터 형식을 사용한다는 점입니다. 이를 통해 메모리 크기를 줄이고 정확도를 저하시키지 않으면서 배포 속도를 높일 수 있습니다. 또한, 모델 아키텍처는 NVIDIA L40S, NVIDIA GeForce RTX 4090 또는 NVIDIA RTX 4500 GPU 단일 메모리 에 적합하도록 설계되어 매우 효율적이고 비용 효율적입니다.

Mistral NeMo 12B는 강력한 다국어 기능을 갖춘 글로벌 애플리케이션용으로 설계되었습니다 . 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 중국어, 일본어, 한국어, 아랍어, 힌디어 등 다양한 언어에서 뛰어난 성능을 보여줍니다. 이러한 폭넓은 언어 능력은 Tiktoken을 기반으로 100개 이상의 언어로 학습된 새로운 Tekken 토크나이저를 통해 구현되었습니다. Tekken은 기존 토크나이저에 비해 소스 코드 및 주요 언어 압축 효율이 약 30% 향상되어 자연어 처리 분야 에서 획기적인 발전을 이루었습니다.

NVIDIA NIM 추론 마이크로서비스로 패키지되어 있으며, 미스트랄 니모 12B NVIDIA TensorRT-LLM 엔진을 통해 성능 최적화된 추론 기능을 제공합니다. 이 컨테이너화된 포맷은 다양한 환경에 쉽게 배포할 수 있도록 하여 엔터프라이즈 애플리케이션의 유연성을 향상시킵니다. 또한, 이 모델은 포괄적인 지원과 NVIDIA 직접 액세스 기능을 제공합니다. AI 전문가와 정의된 서비스 수준 계약을 통해 안정적이고 일관된 성능을 보장합니다.

미스트랄 니모 12B's 에 따라 릴리스 Apache 2.0 라이센스 혁신을 장려하고 더 광범위한 지원을 제공합니다. AI 커뮤니티. 이 오픈 소스 접근 방식은 모델을 가속화할 가능성이 높습니다.'s 연구자와 기업 간의 채택을 촉진하여 고급 기술의 개발을 촉진합니다. AI 솔루션. 모델's 가중치는 다음에 호스팅됩니다. 포옹 얼굴, 개발자와 연구원이 특정 요구 사항을 실험하고 적응할 수 있도록 쉽게 사용할 수 있습니다.