Mistral NeMo 12B: lo nuevo de NVIDIA y Mistral AI AI Modelo

Mistral AI y NVIDIA han lanzado Mistral NeMo 12B, un modelo de lenguaje de última generación diseñado para revolucionar las empresas AI aplicaciones. Este modelo avanzado, que presume 12 mil millones de parámetros, promete precisión, flexibilidad y eficiencia incomparables. convirtiéndola en una herramienta versátil para diversas necesidades empresariales.

El Mistral NeMo 12B está diseñado para destacar en una amplia gama de tareas, incluyendo chatbots , procesamiento multilingüe, codificación y resumen. Una de sus características más sobresalientes es su impresionante ventana de contexto de hasta 128 000 tokens , lo que permite al modelo procesar y comprender información extensa y compleja de forma más coherente que sus predecesores.

Guillaume Lample, cofundador y científico jefe de Mistral AI , destacó la importancia de esta colaboración:

Tenemos la suerte de colaborar con el equipo de NVIDIA, aprovechando su hardware y software de primera línea. Juntos, hemos desarrollado un modelo con una precisión, flexibilidad, alta eficiencia y soporte y seguridad de nivel empresarial sin precedentes gracias a NVIDIA. AI Implementación empresarial.

El Mistral NeMo 12B fue entrenado en NVIDIA DGX Cloud AI Plataforma que proporciona acceso escalable a la arquitectura NVIDIA más reciente. Este modelo utiliza NVIDIA TensorRT-LLM para un rendimiento de inferencia acelerado y la plataforma de desarrollo NVIDIA NeMo para crear personalizados IA generativa modelos. Esta combinación garantiza que Mistral NeMo 12B ofrezca un alto rendimiento en diversas aplicaciones.

Una de las principales innovaciones tecnológicas del Mistral NeMo 12B es el uso del formato de datos FP8 para la inferencia del modelo. Esto reduce el tamaño de la memoria y acelera la implementación sin comprometer la precisión. Además, la arquitectura del modelo permite que se ajuste a la memoria de una sola GPU NVIDIA L40S, NVIDIA GeForce RTX 4090 o NVIDIA RTX 4500 , lo que lo hace altamente eficiente y rentable.

Mistral NeMo 12B está diseñado para aplicaciones globales, con sólidas capacidades multilingües . Destaca en idiomas como inglés, francés, alemán, español, italiano, portugués, chino, japonés, coreano, árabe e hindi. Esta amplia competencia lingüística se logra mediante el nuevo tokenizador Tekken, basado en Tiktoken y entrenado con más de 100 idiomas. Tekken es aproximadamente un 30 % más eficiente en la compresión de código fuente y varios idiomas importantes en comparación con tokenizadores anteriores, lo que representa un avance significativo en el procesamiento del lenguaje natural.

Empaquetado como un microservicio de inferencia NIM de NVIDIA, Mistral NeMo 12B Ofrece inferencia optimizada para el rendimiento con los motores NVIDIA TensorRT-LLM. Este formato contenedorizado facilita la implementación en diversos entornos, lo que proporciona mayor flexibilidad para aplicaciones empresariales. El modelo también incluye soporte completo y acceso directo a NVIDIA. AI expertos y acuerdos de nivel de servicio definidos, garantizando un rendimiento confiable y consistente.

Mistral NeMo 12B's liberación bajo la Licencia de Apache 2.0 fomenta la innovación y apoya el concepto más amplio AI comunidad. Es probable que este enfoque de código abierto acelere el modelo's adopción entre investigadores y empresas, facilitando el desarrollo de tecnologías avanzadas AI soluciones. El modelo's Los pesos están alojados en AbrazandoCara, haciéndolos disponibles para que desarrolladores e investigadores experimenten con ellos y los adapten a sus necesidades específicas.