品玩3月20日讯，据 TechCrunch 报道，在 GTC 会议上，Nvidia 宣布推出Nvidia NIM，这是一个新的软件平台，旨在简化定制和预先训练的 AI 模型在生产环境中的部署。NIM 继承了 Nvidia 围绕推理和优化模型所做的软件工作，并通过将给定模型与优化的推理引擎相结合，然后将其打包到容器中，使其作为微服务进行访问，从而使其易于访问。

英伟达表示，通常情况下，开发人员需要数周甚至数月的时间才能运送类似的容器，而且前提是该公司甚至拥有任何内部人工智能人才。通过 NIM，Nvidia 的明确目标是创建一个 AI 就绪容器生态系统，使用其硬件作为基础层，将这些精选的微服务作为希望加快 AI 路线图的公司的核心软件层。

NIM 目前支持 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型，以及 Google、Hugging Face、Meta、Microsoft、Mistral AI 和 Stability AI 的开放模型。Nvidia 已经与亚马逊、谷歌和微软合作，分别在 SageMaker、Kubernetes Engine 和 Azure AI 上提供这些 NIM 微服务。它们还将集成到 Deepset、LangChain 和 LlamaIndex 等框架中。

至于推理引擎，Nvidia 将使用 Triton Inference Server、TensorRT 和 TensorRT-LLM。通过 NIM 提供的一些 Nvidia 微服务将包括用于定制语音和翻译模型的 Riva、用于路由优化的 cuOpt 以及用于天气和气候模拟的 Earth-2 模型。

该公司计划随着时间的推移添加额外的功能，例如，包括将 Nvidia RAG LLM 运算符作为 NIM 提供，这有望使构建可以更轻松地提取自定义数据的生成式 AI 聊天机器人变得更加容易。

如果没有一些客户和合作伙伴的公告，这就不算是一次开发者大会。NIM 目前的用户包括 Box、Cloudera、Cohesity、Datastax、Dropbox
和 NetApp 等。

NVIDIA 创始人兼首席执行官黄仁勋 (Jensen Huang) 表示：“成熟的企业平台坐拥数据金矿，可以转化为生成型 AI 副驾驶。” “这些容器化人工智能微服务是与我们的合作伙伴生态系统共同创建的，是各行业企业成为人工智能公司的基石。”