Mistral NeMo 處理和生成高度準(zhǔn)確內(nèi)容的能力為企業(yè)帶來了新機(jī)遇。

Mistral AI 和 NVIDIA 于近日共同發(fā)布了一款全新的領(lǐng)先語言模型Mistral NeMo 12B。開發(fā)者可以輕松定制和部署該模型，令其適用于支持聊天機(jī)器人、多語言任務(wù)、編碼和摘要的企業(yè)應(yīng)用。

Mistral NeMo 模型結(jié)合了 Mistral AI 在訓(xùn)練數(shù)據(jù)領(lǐng)域的專業(yè)知識與 NVIDIA 經(jīng)過優(yōu)化的軟硬件生態(tài)系統(tǒng)，能夠?yàn)楦鞣N應(yīng)用提供高性能。

Mistral AI 聯(lián)合創(chuàng)始人兼首席科學(xué)家 Guillaume Lample 表示：“我們十分幸運(yùn)能與 NVIDIA 團(tuán)隊(duì)合作，并充分利用他們的頂尖硬件和軟件。得益于NVIDIA AI Enterprise的部署，我們共同開發(fā)了一個(gè)具有前所未有的準(zhǔn)確性、靈活性、高效率以及企業(yè)級支持和安全性的模型。”

Mistral NeMo 是在NVIDIA DGX CloudAI 平臺上所訓(xùn)練而成，該平臺提供對最新 NVIDIA 架構(gòu)的專用可擴(kuò)展訪問。

另外，為了推進(jìn)和優(yōu)化進(jìn)程，還使用了用于加速大語言模型推理性能的NVIDIA TensorRT-LLM和用于構(gòu)建自定義生成式 AI 模型的NVIDIA NeMo開發(fā)平臺。

此次合作突顯了 NVIDIA 致力于支持模型構(gòu)建生態(tài)系統(tǒng)的決心。

實(shí)現(xiàn)前所未有的準(zhǔn)確性、

靈活性和效率

這款企業(yè)級 AI 模型在多輪對話、數(shù)學(xué)、常識推理、世界知識和編碼方面表現(xiàn)出色，能夠在各種任務(wù)中提供精確、可靠的性能。

Mistral NeMo 具有 128K 的上下文長度，能夠更加連貫、準(zhǔn)確地處理大量復(fù)雜信息，確保輸出結(jié)果與上下文的關(guān)聯(lián)性。

Mistral NeMo 是一個(gè)擁有 120 億個(gè)參數(shù)的模型，以 Apache 2.0 許可證發(fā)布，該許可證旨在促進(jìn)創(chuàng)新并支持更廣泛的人工智能社區(qū)。此外，該模型使用 FP8 數(shù)據(jù)格式進(jìn)行模型推理，在不降低準(zhǔn)確性的前提下減少了內(nèi)存大小并加快了部署速度。

這意味著該模型能夠更好地了解任務(wù)，并更加有效地處理各種場景，是企業(yè)用例的理想選擇。

Mistral NeMo 被打包成NVIDIA NIM 推理微服務(wù)，借助 NVIDIA TensorRT-LLM 引擎提供性能優(yōu)化的推理。

這種容器化格式便于在任何地方進(jìn)行部署，為各種應(yīng)用帶來了更大的靈活性。

因此，該模型可以部署到任何位置，而且時(shí)間也從原來的幾天縮短到幾分鐘。

NIM 使用 NVIDIA AI Enterprise 中的企業(yè)級軟件，提供專門的功能分支、嚴(yán)格的驗(yàn)證流程以及企業(yè)級安全和支持。

NIM 包含全方位的支持、與 NVIDIA AI 專家的直接連線以及明確的服務(wù)水平協(xié)議，保證了可靠、一致的性能。

由于使用的是開放模型許可證，企業(yè)可以將 Mistral NeMo 無縫集成到商業(yè)應(yīng)用中。

Mistral NeMo NIM 適用于NVIDIA Ada Lovelace架構(gòu) RTX 40 系列獨(dú)立 GPU，如NVIDIA GeForce RTX 4090 D或NVIDIA RTX 4500 GPU的顯存，具有高效率、低計(jì)算成本以及更高的安全性和隱私性。

先進(jìn)的模型開發(fā)和定制

Mistral AI 與 NVIDIA 工程師結(jié)合雙方的專業(yè)知識，優(yōu)化了 Mistral NeMo 的訓(xùn)練和推理。

該模型使用 Mistral AI 的專業(yè)知識（尤其是多語言、代碼和多輪內(nèi)容方面的專業(yè)知識）訓(xùn)練，并從 NVIDIA 全棧加速訓(xùn)練中獲益。

它采用了具有最佳性能的設(shè)計(jì)，通過Megatron-LM實(shí)現(xiàn)了高效的模型并行技術(shù)、可擴(kuò)展性和混合精度。

該模型使用 NVIDIA NeMo 中的 Megatron-LM 以及 DGX Cloud 上的 3072 個(gè) 80GB Tensor Core GPU 訓(xùn)練而成。DGX Cloud 由 NVIDIA AI 架構(gòu)組成，包括加速計(jì)算、網(wǎng)絡(luò)編織結(jié)構(gòu)、軟件等，可提高訓(xùn)練的效率。

可用性和部署

Mistral NeMo 可以靈活地在云、數(shù)據(jù)中心或 RTX 工作站等任何地方運(yùn)行，隨時(shí)隨地為各種平臺上的 AI 應(yīng)用帶來變革。

立刻通過https://developer.nvidia.cn/nim 了解以 NVIDIA NIM 形式提供的 Mistral NeMo?？上螺d的 NIM 也即將推出。