Мистраль AI и NVIDIA выпустили Mistral NeMo 12B — современную языковую модель, призванную произвести революцию в корпоративной среде AI приложений. Эта усовершенствованная модель, которая может похвастаться 12 миллиардов параметров, обещают беспрецедентную точность, гибкость и эффективность. что делает его универсальным инструментом для различных нужд предприятия.
Mistral NeMo 12B предназначен для решения широкого спектра задач, в том числе chatbots, многоязычная обработка, кодирование и обобщение. Одной из его выдающихся особенностей является впечатляющий контекстное окно до 128,000 XNUMX токенов, что позволяет модели обрабатывать и понимать обширную и сложную информацию более последовательно, чем ее предшественники.
Гийом Лампле, соучредитель и главный научный сотрудник Мистраль ИИ, подчеркнул важность этого сотрудничества:
Нам повезло сотрудничать с командой NVIDIA, используя их первоклассное оборудование и программное обеспечение. Вместе мы разработали модель с беспрецедентной точностью, гибкостью, высокой эффективностью и поддержкой корпоративного уровня и безопасностью благодаря NVIDIA AI Корпоративное развертывание.
Mistral NeMo 12B был обучен на облаке NVIDIA DGX AI платформа, которая обеспечивает масштабируемый доступ к новейшей архитектуре NVIDIA. Эта модель использует NVIDIA TensorRT-LLM для ускорения вывода и платформа разработки NVIDIA NeMo для создания пользовательских генеративный ИИ модели. Такое сочетание гарантирует, что Mistral NeMo 12B обеспечивает высокую производительность в различных приложениях.
Одним из ключевых технологических достижений Mistral NeMo 12B является использование формата данных FP8 для вывода модели. Это уменьшает размер памяти и ускоряет развертывание без ущерба для точности. Кроме того, модель's архитектура позволяет ему поместиться на память одной NVIDIA L40S, NVIDIA GeForce RTX 4090 или NVIDIA RTX 4500 GPU, что делает его высокоэффективным и экономичным.
Mistral NeMo 12B предназначен для глобального применения. надежные многоязычные возможности. Он превосходно владеет такими языками, как английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, корейский, арабский и хинди. Такой широкий языковой уровень достигается благодаря новому токенизатору Tekken, который основан на Tiktoken и обучен более чем 100 языкам. Tekken примерно на 30% более эффективен при сжатии исходного кода и нескольких основных языков по сравнению с предыдущими токенизаторами, что делает его значительным достижением в области обработки естественного языка.
Упакованный в виде микросервиса вывода NVIDIA NIM, Мистраль НеМо 12Б предлагает оптимизированный по производительности вывод с помощью движков NVIDIA TensorRT-LLM. Этот контейнерный формат обеспечивает простоту развертывания в различных средах, обеспечивая повышенную гибкость для корпоративных приложений. Модель также поставляется с комплексной поддержкой, прямым доступом к NVIDIA AI экспертов и определенные соглашения об уровне обслуживания, гарантирующие надежную и стабильную работу.
Мистраль НеМо 12Б's освобождение под Лицензия Apache 2.0 поощряет инновации и поддерживает более широкое AI сообщество. Этот подход с открытым исходным кодом, вероятно, ускорит модель's принятие среди исследователей и предприятий, способствуя разработке передовых AI решения. Модель's веса размещены на ОбниматьЛицо, что делает их легко доступными для разработчиков и исследователей, чтобы они могли экспериментировать и адаптироваться к своим конкретным потребностям.
БОНУС: Получите наши 200 долларов “AI «Мастерский набор инструментов» БЕСПЛАТНО при регистрации!
