开发人员的生成性人工智能

生成性人工智能引入了新一波开发工具、框架和应用程序。大规模扩展的生态系统有助于培训大规模多模式模型，对用例进行微调，将数据中心量化并部署到最小的嵌入式设备。构建生成型人工智能应用程序的开发人员需要一个具有全栈优化的加速计算平台，从芯片和系统软件到加速库和应用程序开发框架。使用NVIDIA的领先模型API，很容易入门。

快速入门

NVIDIA全套生成式人工智能软件生态系统

NVIDIA提供全套加速计算平台专为生成性AI工作负载而构建。该平台既深入又广泛，提供硬件、软件和服务的组合，所有这些都是由NVIDIA及其广泛的合作伙伴生态系统构建的，因此开发人员可以提供尖端的解决方案。

构建特定于域的应用程序

为特定用例和域构建应用程序需要用户友好的API、高效的微调技术，并且在大型语言模型（LLM）应用程序的上下文中，需要与强大的第三方应用程序、向量数据库和护栏系统集成。NVIDIA优惠AI基金会模型和端点，包括流行的开源社区模型，如拉马2稳定扩散和ESM2，使开发人员能够快速构建定制的生成性AI应用程序。

我们的软件堆栈支持OpenAI、Cohere、Google VertexAI和AzureML等合作伙伴，允许开发人员使用生成性AI API端点。对于特定于域的自定义或使用数据库扩充应用程序，除了NVIDIA NeMo™公司NVIDIA的生态系统包括Hugging Face、LangChain、LlamaIndex和Milvus。

评估和部署安全模型

为了部署安全可靠的模型，NeMo提供简单的工具用于评估经过训练和微调的模型，包括GPT及其变体。开发人员还可以使用NeMo护栏控制LLM应用程序的输出，例如实施控制以避免讨论政治和根据用户请求定制响应。

MLOps和LLMOps工具进一步帮助评估LLM模型。NVIDIA NeMo可以与LLMOps工具集成，例如权重和偏差和MLFlow。开发人员还可以使用NVIDIA Triton™推理服务器分析模型性能并标准化AI模型部署。

优化模型架构和技术

加速计算基础设施上的特定生成性AI计算需要专门设计用于满足LLM需求的库和编译器。一些最受欢迎的图书馆包括XLA、，Megatron-LM公司,CUTLASS公司,CUDA®公司,NVIDIA®TensorRT™-LLM公司,RAFT公司、和铜DNN.

在加速的基础设施上协调生成人工智能工作量

构建大规模模型通常需要数千个GPU，推断是在多节点、多GPU配置上完成的，以解决内存限制带宽问题。这需要能够在加速的基础设施上仔细协调不同生成性AI工作负载的软件。一些管理和编配库包括Kubernetes、Slurm、Nephele和NVIDIA Base命令™.

NVIDIA加速计算平台提供了以最经济高效的方式为这些应用程序供电的基础设施，无论这些应用程序是在数据中心、云端还是在本地台式机和笔记本电脑上运行。强大的平台和技术包括NVIDIA DGX™平台,NVIDIA HGX™系统,NVIDIA RTX™系统和NVIDIA Jetson™。

使用生成性人工智能构建

开发人员可以选择在堆栈的任何层与NVIDIA AI平台接洽，从基础设施、软件和模型到应用程序，无论是直接通过NVIDIA产品还是通过庞大的产品生态系统。

从最先进的基础模型开始

尝试最新型号，包括Llama 3、Stable Diffusion、NVIDIA的Nemotron-3 8B系列等。

体验AI基础模型

跨平台部署AI模型

使用易于使用的推理微服务快速部署AI模型。

使用NVIDIA NIM部署

将生成性人工智能模型连接到知识库

使用检索增强生成（RAG）将LLM连接到最新信息。

在GitHub上尝试RAG示例

为每个行业培训和定制生成性人工智能

为游戏、医疗保健、汽车、工业等行业构建定制的生成性AI模型。

使用NVIDIA NeMo定制

LLM应用程序开发的最佳实践

收听NVIDIA专家的实践课程，了解最先进的模型、定制和优化技术，以及如何运行自己的LLM应用程序。

按需观看会话

优点

端到端加速堆叠

通过DGX Cloud和NeMo提供的服务，加速了堆栈的每一层，从基础设施到应用程序层。

高性能

通过GPU优化提供实时性能，包括量化软件训练、层和张量融合以及内核调整。

生态系统整合

与领先的生成人工智能框架紧密集成。例如，NVIDIA NeMo的连接器支持在RAG代理的LangChain框架内使用NVIDIA AI Foundation模型和TensorRT-LLM优化。

访问NVIDIA独家资源

NVIDIA开发人员计划为您提供了培训、文档、操作指南、专家论坛、同行和领域专家的支持，以及有关解决最大挑战的正确硬件的信息。

加入NVIDIA开发者计划

获得生成性人工智能培训和认证

通过NVIDIA Training的综合学习途径，提升您在生成性人工智能和LLM方面的技术技能，包括从基础到高级主题，以实践培训为特色，并由NVIDIA专家提供。通过以下方式展示您的技能并推进您的职业生涯获得认证由NVIDIA提供。

探索训练

联系NVIDIA专家

开始时有问题吗？浏览我们的NVIDIA AI开发者论坛，获取您的问题答案或探索其他开发者的见解。

访问论坛

与NVIDIA合作伙伴一起构建您的定制生成AI

对于生成性AI初创公司，NVIDIA成立提供最新的开发人员资源、NVIDIA软件和硬件的首选定价，以及风险投资社区的风险敞口。该计划是免费的，适用于所有阶段的科技初创公司。

了解更多NVIDIA Inception

开始使用Generative AI

使用Generative AI扩展您的业务应用程序

使用随时随地运行的生产就绪API体验、原型化和部署AI。