更快、更准确的人工智能推理

NVIDIA NIM是一款易于使用的软件，旨在加速生成性人工智能在云、数据中心和工作站之间的部署。

NVIDIA Triton Inference Server是一款开源推理服务软件，可帮助企业整合定制的AI模型服务基础设施，缩短在生产中部署新AI模型所需的时间，并提高AI推理和预测能力。

NVIDIA TensorRT为高性能推理提供了低延迟和高吞吐量。它包括NVIDIA TensorRT-LLM，一个开源库和Python API，用于定义、优化和执行用于推理的大型语言模型（LLM）。

H100在NVIDIA的加速计算数据中心平台上实现了下一个巨大的飞跃，安全地加速了各种工作负载，从小型企业工作负载到每个数据中心的超大规模HPC和万亿参数AI。

将NVIDIA的全套推理服务软件与L40S GPU相结合，为准备进行推理的训练模型提供了一个强大的平台。L40S支持结构稀疏性和广泛的精度，其推理性能是NVIDIA A100 Tensor Core GPU的1.7倍。

L4经济高效地为视频、人工智能、视觉计算、图形、虚拟化等提供通用、节能的加速。GPU提供的AI视频性能比基于CPU的解决方案高120倍，使企业能够实时了解个性化内容，提高搜索相关性等。