Mistral AI今日宣布推出Mistral 3系列開源多語言、多模態模型，該系列模型針對NVIDIA超級運算與邊緣平台進行最佳化。
Mistral Large 3為混合專家(MoE)模型，無需為每個詞元啟動所有神經元，而是僅啟動模型中最具影響力的部分。此設計在不浪費資源的情況下實現規模化，並在不犧牲準確性的前提下實現高效運作，使企業級人工智慧(AI)具備真正實用性。
Mistral AI的全新模型為企業級AI提供準確性和效率。從12月2日開始，該模型將在雲端、資料中心和邊緣等各種環境中啟用。憑藉410億個有效參數、6,750億總參數及大型的25.6萬情境窗口，Mistral Large 3將為企業AI工作負載提供可擴展性、高效能與適應性。
透過結合NVIDIA GB200 NVL72系統和Mistral AI的混合專家架構，企業可以高效部署和擴展大規模AI模型，並從先進的平行處理和硬體最佳化中受益。
這樣的結合標誌著此次發表正邁向Mistral AI所稱的「分散式智慧」時代，進一步彌合研究突破與現實應用之間的差距。
該模型採用細粒度的混合專家架構，利用NVIDIA NVLink的記憶體一致性域和廣泛的專家並行最佳化，充分釋放了大規模專家並行運算的效能優勢。
這些優勢與保持準確度的低精度NVFP4格式及NVIDIA Dynamo分散式推論最佳化技術相疊加，確保大規模訓練與推論任務達到巔峰效能。
在GB200 NVL72上，Mistral Large 3的效能相較前一代NVIDIA H200提升了10倍。此代產品的躍進帶來更優異的使用者體驗、讓每個詞元的成本更低，並創造更高的能源效率。
除了針對企業級應用打造的Large 3，Mistral AI也發表9款可以在邊緣裝置上運行的小型語言模型，幫助開發者隨時隨地運行AI。精巧的Ministral 3套件針對NVIDIA的邊緣平台進行最佳化，涵蓋NVIDIA Spark、RTX桌上型和筆記型電腦，以及NVIDIA Jetson裝置。
為了實現最佳效能，NVIDIA與Llama.cpp和Ollama等AI框架合作，在邊緣端的NVIDIA GPU上發揮極致效能。開發人員與業餘玩家現可透過Llama.cpp和Ollama體驗Ministral 3套件，在邊緣端快速且高效地運行AI。
Mistral 3系列模型已全面開放，賦能全球研究人員和開發人員進行實驗、客製化並加速AI創新，同時普及前沿級別的技術。
透過將Mistral AI的模型與Data Designer、Customizer、Guardrails和NeMo Agent Toolkit等開源NVIDIA NeMo工具相連接，企業可以根據自身應用場景進一步客製化這些模型，加速從原型開發到生產部署的進程。
為了實現從雲端到邊緣的效能最佳化，NVIDIA已針對Mistral 3系列模型進行推論框架的最佳化，包含NVIDIA TensorRT-LLM、SGLang及vLLM。Mistral 3目前已在主流開源平台和雲端服務供應商上架。此外，這些模型預計很快將能以NVIDIA NIM微服務的形式進行部署。
