CUDA工具包12.3为加速计算提供新功能

最新版本的CUDA工具包使用最新的NVIDIA GPU继续推动加速计算性能的极限。此版本的新功能，版本12.3，包括：

• Windows上的延迟加载默认值
• 在Windows上单步卸载CUDA
• 增强NVIDIA Nsight计算和NVIDIA Nsight系统开发人员工具

CUDA和CUDA工具包继续为数据科学、机器学习和深度学习中的所有加速计算应用、生成性人工智能以及用于训练和推理、图形和仿真以及科学计算的LLM提供基础。CUDA是帮助解决世界上最复杂的计算问题的基础。

NVIDIA Nsight开发工具

的最新版本NVIDIA Nsight开发工具包含在CUDA工具包中，可帮助您在上优化和调试CUDA应用程序NVIDIA Grace Hopper公司平台。 

Nsight计算

Nsight计算提供了CUDA内核的详细剖析和分析，2023.3版与CUDA Toolkit 12.3一起发布。此版本包含改进性能和数据收集与分析功能的功能。 

新的PM采样功能添加了与时间相关的内核性能数据。以前，大多数性能指标都是跨整个内核聚合的。这个经常被请求的特性可以帮助用户发现内核中分阶段发生的性能问题和时间效应，如尾部效应（图1）。它包含在--完全公制集合。它可以添加为GUI中的PM Sampling部分，或通过添加--第Pm节采样标记为CLI。

Nsight Compute 2023.3还引入了跨配置文件比较源代码更改的功能，以查看修改对源代码级性能的影响。要使用此功能，请将一个报告设置为基线，然后单击另一个报告中的“源比较”按钮，以查看突出显示的源差异和相关的性能指标。 

使用–-lineinfo当编译内核以启用源解析时，以及源文件是否被修改到位时，标记。使用“导入源”选项或--进口来源标记以保留原始源代码。 

要了解有关Nsight Compute 2023.3功能的更多信息，请参阅Nsight Compute入门。

Nsight系统

CUDA Toolkit 12.3还包括Nsight Systems 2023.3，这是一个性能调整工具，可以在统一的时间表上分析硬件指标和CUDA应用程序、API和库。

的最新版本Nsight系统引入对的支持NVIDIA Grace CPU，使您能够在应用程序性能的上下文中深入研究Grace CPU周期。Nsight Systems 2023.3还添加了新功能，包括从GUI进行网络接口卡（NIC）评测。 

作为服务器上硬件单元之间数据移动的主要方式，了解网络的节点间通信将有助于诊断瓶颈。Nsight Systems监控NIC吞吐量，绘制发送和接收的字节数。延长NIC等待时间强烈表明节点间网络需要优化。Nsight Systems还可以分析NVIDIA Quantum InfiniBand公司交换机吞吐量。 

要了解有关Nsight Systems 2023.3功能的更多信息，请参阅Nsight Systems入门。 要深入了解Nsight Systems如何支持数据中心规模的开发，请参阅使用NVIDIA Nsight系统加速数据中心和HPC性能分析。

总结

CUDA Toolkit 12.3版本丰富了用于加速计算的基本NVIDIA驱动程序和运行时软件，同时继续为最新的NVIDIA GPU、加速库、编译器和开发工具提供增强支持。 

要了解更多信息，请参阅CUDA文件，查看最新NVIDIA深度学习学院产品，并浏览NGC目录提出问题并加入对话CUDA开发者论坛。