NVIDIA Nsight系统

NVIDIA Nsight™Systems是一款全系统性能分析工具，旨在可视化应用程序的算法，识别最大的优化机会，并调整以有效扩展任何数量或大小的CPU和GPU，从大型服务器到我们最小的片上系统（SoC）。

快速入门

Nsight Systems 2024.4现已上市。

Nsight Systems在时间线上可视化系统工作负载指标，并提供工具帮助开发人员检测、理解和解决性能问题。

概述系统

应用程序优化的全貌需要深入研究硬件交互，以确保实现最大并行度。Nsight Systems在统一的时间线上可视化无偏见的系统范围的活动数据，允许应用程序开发人员调查相关性、依赖性、活动、瓶颈和资源分配，以确保硬件组件协调工作。

分析性能

Nsight Systems提供低开销的性能分析，可可视化用于追求优化的事件和指标的其他隐藏层，包括CPU并行化和核心利用率、GPU流式多处理器（SM）优化、系统工作负载和CUDA®库跟踪、网络通信、操作系统交互等。

跨平台扩展

Nsight Systems是在NVIDIA平台上开发应用程序的通用工具，无论是本地还是云中。可跨多种NVIDIA平台扩展，从NVIDIA DGX™公司到NVIDIA RTX™工作站，包括NVIDIA DRIVE®公司用于汽车和NVIDIA Jetson™公司用于边缘人工智能和机器人。Nsight Systems为优化AI、高性能计算（HPC）、前可视化和游戏应用程序提供了宝贵的见解。

探索主要功能

可视化CPU-GPU交互

Nsight Systems锁定目标应用程序，以按时间顺序显示GPU和CPU活动、事件、注释、吞吐量和性能指标。通过低开销，可以准确地并行显示这些数据，以便于理解。GPU工作负载进一步与应用程序内CPU事件相关，从而可以轻松识别和修复性能障碍。

CPU活动（顶部）与GPU图形和计算活动（底部）并行。

Nsight Systems时间表的GPU指标部分。

跟踪GPU活动

要进一步了解GPU，打开GPU Metrics Sampling（GPU度量采样）将绘制低级别输入/输出（IO）活动，如PCIe吞吐量，NVIDIA NVLink®公司和动态随机访问内存（DRAM）活动。GPU Metrics Sampling还暴露了SM利用率、Tensor Core活动、指令吞吐量和扭曲占用率。可以随时跟踪每个工作负载及其CPU来源，以支持性能调整。

跟踪GPU工作负载

对于计算任务，Nsight Systems支持调查CUDA API和跟踪CUDA库，包括cuBLAS、cuDNN和NVIDIA TensorRT™。对于图形计算，Nsight Systems支持评测Vulkan、OpenGL、DirectX 11、DirectX 12、DXR和NVIDIA OptiX™API。

Alt text:DX12 API调用，因为它们在渲染线程旁边的时间线中按时间顺序发生。

使用NVIDIA Nsight Systems GTC演示视频将AI应用程序扩展到数据中心和云

加快多节点性能

Nsight Systems支持多节点分析，以解决数据中心和集群规模上的性能限制。多节点分析同时自动诊断多个节点上的性能限制。此外，网络指标和Python回溯采样描绘了GPU、CPU、DPU和节点间通信的完整画面。

为AI和深度学习优化Python

Nsight Systems帮助您编写Python应用程序，最大限度地提高GPU利用率。回溯和自动调用堆栈采样允许您微调深度学习应用程序的性能。

此外，与Jupyter Lab的集成允许您在Jupyter中直接评测Python和其他受支持的语言，包括使用完整的Nsight Systems GUI进行详细分析。

获取NVIDIA Nsight Tools JupyterLab扩展

Nsight Developer Tools中的Python支持功能聚焦

Nsight Systems检测到一个低健康状态的帧，导致严重口吃，以及导致口吃的呼叫

检测帧阻塞和瓶颈

Nsight Systems自动检测慢速帧（通过高亮显示比目标高出一帧的时间）以及局部断续帧（通过突出显示比相邻帧高出一倍的帧）。它还自动报告每帧的CPU时间和可能导致口吃的API调用。这为开发人员提供了大量信息，以定位和解决帧丢失和帧定时不一致的原因。

阅读有关使用Nsight Systems修复游戏中口吃的更多信息

查看完整功能列表快速入门

查看Nsight套件中的其他工具

Nsight Systems是NVIDIA Nsight Developer Tools套件的一部分，该套件包含强大的工具、库和SDK，使开发人员能够利用最新的加速计算硬件构建、调试和分析软件。

Nsight图形

NVIDIA Nsight Graphics是一个独立的开发工具，支持光线跟踪，可以调试、评测和导出使用Direct3D、Vulkan、OpenGL、OpenVR和Oculus SDK构建的帧。

快速入门

Nsight计算

Nsight Compute是一个用于CUDA应用程序的交互式内核分析器。它通过用户界面和命令行工具提供详细的性能指标和API调试。它还提供了一个可定制的、数据驱动的用户界面和度量集合，可以使用分析脚本对其进行扩展，以获得后期处理结果。。

快速入门

Nsight Aftermath SDK

Nsigh Aftermath SDK是一个库，它集成到D3D12或Vulkan游戏的崩溃报告程序中，以便在发生异常或TDR时生成GPU“mini-dumps”，公开管道信息以解决意外的崩溃。

快速入门

浏览教程了解有关Nsight Tools的更多信息

查看合作伙伴推荐和生态系统

Vulkan是Adobe针对其Adobe Substance 3D产品的多平台、多供应商渲染策略的基石。得益于NVIDIA率先推出的光线追踪扩展，Vulkan为Khronos提供了本地光线追踪硬件访问，在支持的设备上提供了卓越的光线追踪性能。此外，在理解和提高Vulkan光线跟踪应用程序的性能方面，Nsight Graphics和Nsight Systems是非常宝贵的工具。
-Francois Beaune，Adobe 3D和Immersive真实感渲染首席软件工程师

NVIDIA Nsight Systems使Microsoft Azure HPC+AI团队能够为我们的服务和客户执行详细分析并优化GPU加速的AI和软件。该工具清楚地描述了CPU、GPU、NIC和OS上的事件，这使我们能够快速确定最耗时的功能和要瞄准的冷点。
-Kushal Datta，Microsoft Azure HPC+AI首席软件工程师

我们注意到，我们的新Quadro P6000服务器在培训期间“供不应求”，我们需要专家支持。NVIDIA Nsight Systems帮助我们实现了90%以上的GPU利用率。以前需要600分钟训练的深度学习模式现在只需要90分钟。
-Felix Goldberg，Tracxpoint首席人工智能科学家

通过与AWS和NVIDIA合作，Deepset在训练自然语言处理模型方面实现了3.9倍的加速和12.8倍的成本降低。

了解更多信息