生成性人工智能

NVIDIA NIM为大规模部署AI模型提供优化的推理微服务

代表NVIDIA NIM的插图。

年的增长生成人工智能收养率一直很高。在2022年OpenAI的ChatGPT发布的推动下,新技术在几个月内聚集了1亿多用户,并推动了几乎所有行业的开发活动激增。 

到2023年,开发人员开始使用API和Meta、Mistral、Stability等开源社区模型进行POC。 

进入2024年,各组织将重点转移到全面的生产部署上,包括将人工智能模型与现有企业基础设施相连接、优化系统延迟和吞吐量、日志记录、监控和安全等。这种生产方式复杂且耗时,需要专门的技能、平台和流程,尤其是大规模的生产。

NVIDIA NIM,部分NVIDIA AI企业版为开发AI驱动的企业应用程序和在生产中部署AI模型提供了一条简化的路径。 

NIM是一组优化的云主动微服务,旨在缩短上市时间,并简化生成性人工智能模型在任何地方、跨云、数据中心和GPU加速工作站的部署。它通过使用行业标准API抽象AI模型开发和生产打包的复杂性,扩展了开发人员库。

用于优化人工智能推理的NVIDIA NIM

NVIDIA NIM旨在弥合复杂的人工智能开发世界与企业环境运营需求之间的鸿沟,使更多的企业应用程序开发人员能够为其公司的人工智能转型做出贡献。 

该图像是NVIDIA NIM生态系统组件的图形表示。在右侧,有一个代表NIM的符号,它由一个六边形围绕着一个具有节点和连接的网络状符号组成。在左边,它描述了NIM容器的一个特性。
图1。NVIDIA NIM是一个容器化推理微服务,包括行业标准API、特定于域的代码、优化的推理引擎和企业运行时

NIM的一些核心优势包括以下几点。

随时随地部署

NIM是为可移植性和控制而构建的,支持模型跨各种基础设施进行部署,从本地工作站到云,再到本地数据中心。这包括NVIDIA DGX、NVIDIA DGX云、NVIDI A认证系统、NVIDA RTX工作站和PC。

预先构建的容器和封装有优化模型的Helm图表在不同的NVIDIA硬件平台、云服务提供商和Kubernetes发行版上进行了严格的验证和基准测试。这使得能够支持所有NVIDIA支持的环境,并确保组织可以在任何地方部署其生成性AI应用程序,保持对其应用程序及其处理的数据的完全控制。 

使用行业标准API开发

开发人员可以通过符合每个领域行业标准的API访问AI模型,从而简化AI应用程序的开发。这些API与生态系统中的标准部署流程兼容,使开发人员能够快速更新他们的人工智能应用程序,通常只需三行代码。这种无缝集成和易用性有助于在企业环境中快速部署和扩展AI解决方案。

利用特定于域的模型

NIM还通过几个关键功能满足了对特定领域解决方案和优化性能的需求。它封装了特定于域的NVIDIA CUDA库和针对语言、语音、视频处理、医疗保健等不同领域定制的专用代码。这种方法确保应用程序是准确的,并与其特定用例相关。 

在优化的推理引擎上运行

NIM为每个模型和硬件设置利用优化的推理引擎,在加速的基础设施上提供尽可能最佳的延迟和吞吐量。这降低了在扩展推理工作负载时运行推理工作负载的成本,并改善了最终用户体验。除了支持优化的社区模型外,开发人员还可以通过将模型与永远不会离开其数据中心边界的专有数据源进行协调和微调,从而实现更高的准确性和性能。

支持企业级AI

NIM是NVIDIA AI Enterprise的一部分,由企业级基础容器构建,通过功能分支、严格验证、企业级服务协议支持以及CVE的定期安全更新,为企业AI软件提供坚实的基础。全面的支持结构和优化功能强调了NIM作为在生产中部署高效、可扩展和定制AI应用程序的关键工具的作用。 

加速AI模型准备部署

支持许多人工智能模型,例如社区模型,NVIDIA AI基金会模型以及NVIDIA合作伙伴提供的自定义AI模型,NIM支持跨多个域的AI用例。这包括大型语言模型(LLM)、视觉语言模型(VLM)以及语音、图像、视频、3D、药物发现、医学成像等模型。

开发人员可以使用NVIDIA管理的云API从NVIDIA API目录或者,他们可以通过下载NIM来自托管模型,并与Kubernetes一起快速部署到主要云提供商或本地生产环境中,从而减少开发时间、复杂性和成本。

NIM微服务通过打包算法、系统和运行时优化以及添加行业标准API来简化AI模型部署过程。这使开发人员能够将NIM集成到现有的应用程序和基础设施中,而无需进行大量定制或专业知识。

使用NIM,企业可以优化其AI基础设施,以实现最大效率和成本效益,而无需担心AI模型开发的复杂性和集装箱化。在加速人工智能基础设施的基础上,NIM有助于提高性能和可扩展性,同时降低硬件和运营成本。

对于希望为企业应用程序定制模型的企业,NVIDIA提供跨不同域的模型定制微服务。NVIDIA NeMo公司使用LLM、语音AI和多模式模型的专有数据提供微调功能。NVIDIA BioNeMo公司通过不断增加的生殖生物化学和分子预测模型集合,加速药物发现。NVIDIA Picasso通过Edify模型实现更快的创意工作流。这些模型是在视觉内容提供商的授权库上进行培训的,可以部署定制的生成性人工智能模型来创建视觉内容。

NVIDIA NIM入门

开始使用NVIDIA NIM非常简单。NVIDIA API目录,开发人员可以使用广泛的AI模型来构建和部署自己的AI应用程序。

使用图形用户界面直接在目录中开始原型制作,或免费使用API。当您准备在基础设施上部署NIM微服务时,您可以自行托管AI基础模型。

在API目录中,系统会提示您注册NVIDIA AI Enterprise 90天订阅许可证,完成后,您可以在自己的基础设施上部署NIM。

有关更多详细信息,请查看大型语言模型的NVIDIA NIM入门文档。

额外的NIM将持续发布用于自托管。您可以访问NVIDIA托管的端点进行应用程序原型设计,并在API目录.

NVIDIA NIM是一个强大的工具,可以帮助组织加快其生产AI的进程AI今日之旅.

讨论(0)

标签

评论已关闭。