NVIDIA DeepStream软件开发工具包

DeepStream的多平台支持为您开发视觉AI应用程序和服务提供了更快、更简单的方法。只需单击一个按钮,您甚至可以在本地、边缘和云中部署它们。

快速入门在Launchpad上试用


什么是NVIDIA DeepStream?

NVIDIA的DeepStream SDK是一个基于GStreamer的完整流分析工具包,用于基于AI的多传感器处理、视频、音频和图像理解。它是构建IVA应用程序和服务的vision AI开发人员、软件合作伙伴、初创公司和OEM的理想选择。

现在,您可以创建流处理管道,将神经网络和其他复杂的处理任务(如跟踪、视频编码/解码和视频渲染)结合起来。这些管道支持对视频、图像和传感器数据进行实时分析。

什么是DeepStream以及软件堆栈是什么样子的
DeepStream是NVIDIA大都会该平台用于构建端到端服务和解决方案,将像素和传感器数据转换为可操作的见解。

优点

强大灵活的SDK

DeepStream SDK是跨广泛行业的广泛用例的理想选择。

多个编程选项

使用C/C++、Python或Graph Composer简单直观的UI创建功能强大的视觉AI应用程序。

实时洞察力

了解边缘丰富的多模态实时传感器数据。

托管AI服务

在云本地容器中部署AI服务,并使用Kubernetes对其进行编排。

降低TCO

通过使用TAO工具包训练、调整和优化模型以及使用DeepStream部署模型来增加流密度。


独特的功能

享受从边缘到云的无缝发展

DeepStream为基于AI的视频、音频和图像分析构建无缝流管道提供了一种更快、更简单的方法。它提供了40多个硬件加速插件和扩展,以优化前后处理、推理、多对象跟踪、消息代理等。此外,它还提供了一些世界上性能最好的实时多对象跟踪器。

使用DeepStream的off-shelf容器轻松构建云本地应用程序,这些应用程序可以部署在公共云和私有云、配备NVIDIA GPU的工作站或NVIDIA-Jetson上。它的“一次开发,随时随地部署”方法简化了代码管理,并提供了很好的可伸缩性。DeepStream Container Builder工具还可以使用NVIDIA NGC容器轻松构建高性能的云计算AI应用程序,这些容器易于大规模部署并使用Kubernetes和Helm Charts进行管理。

DeepStream REST-API允许您在运行时管理多个参数,从而简化SaaS解决方案的创建。使用标准REST-API接口,您可以构建用于控制和配置的web门户,或集成到现有应用程序中。

了解更多信息
DeepStream帮助开发人员为基于AI的视频分析构建无缝流媒体管道
DeepStream与NVIDIA Metropolis集成,提供完整的端到端人工智能解决方案

构建端到端AI解决方案

通过与NVIDIA Metropolis构建端到端视觉AI系统,加快整体开发工作并释放更高的实时性能。从生产质量愿景AI模型开始,使用TAO Toolkit对其进行调整和优化,并使用DeepStream进行部署。

获得难以置信的灵活性——从快速原型设计到完整的生产级解决方案——并选择推理路径。通过本机集成到NVIDIA Triton™推理服务r、 您可以在本地框架(如PyTorch和TensorFlow)中部署模型以进行推理。使用NVIDIA TensorRT™公司对于具有多GPU、多流和批处理支持选项的高吞吐量推理,还可以帮助您实现最佳性能。

PipeTuner 1.0是一种新的开发工具,现在可以轻松地调整各种参数,以优化用于推理和跟踪的人工智能管道

了解更多信息

加速Vision AI开发

DeepStream SDK与30多个示例应用程序捆绑在一起,旨在帮助您启动开发工作。大多数示例都有C/C++、Python和Graph Composer版本,并在NVIDIA Jetson和dGPU平台上运行。通过支持Windows Subsystem for Linux(WSL2),您现在可以在Windows环境中进行开发,而无需访问远程Linux系统。

DeepStream服务制造商通过抽象GStreamer的复杂性来简化开发过程,从而轻松构建C++面向对象的应用程序。使用Service Maker用几行代码构建完整的DeepStream管道

DeepStream库由CV-CUDA、NvImageCodec和PyNvVideoCodec提供支持,提供低级GPU加速操作,以优化视觉AI管道的前后阶段。

图形生成器为DeepStream开发人员提供了一个强大的低代码开发选项,可以创建复杂的管道并使用Container Builder快速部署它们。

了解更多信息
DeepStream与多个参考应用程序捆绑在一起


使用DeepStream构建下一代AI应用程序
西门子、HD现代

创建下一代AI应用程序

严格的调度控制、自定义调度程序和高效的资源管理对于与确定性系统(如机械臂和自动化质量控制线)集成至关重要。

随着Graph eXecution Format(GXF)的引入,很容易与控制信号集成,这些信号与DeepStream管道处理的视频流传感器在不同的时域上运行。

新的参考应用程序可以帮助您快速启动Generative AI应用程序的开发。传感器融合的新支持BEVFusion增加了激光雷达和雷达输入,可以与相机输入融合,为开发人员带来了一系列新的用例。

了解更多信息

获取Vision AI的生产就绪解决方案

DeepStream是NVIDIA AI Enterprise的一部分,这是一个端到端、安全、云计算的人工智能软件平台,经过优化,可以加速企业发展成为人工智能的前沿。
NVIDIA AI Enterprise为NVIDIA AI开源软件提供验证和集成,访问AI解决方案工作流以加快生产时间,认证以在各地部署AI,以及企业级支持、安全性和API稳定性以减轻开源软件的潜在风险。

了解更多信息
DeepStream是NVIDIA AI Enterprise的一部分,帮助在任何地方部署AI。

探索多种编程选项

信用证++

在C/C++中创建应用程序,直接与GStreamer和DeepStream插件交互,并使用参考应用程序和模板。

蟒蛇

可以使用GStreamer框架的Python绑定Gst-Python构建DeepStream管道。GitHub上提供了绑定和Python示例应用程序的源代码。

图形生成器

Graph Composer是一种低代码开发工具,可增强DeepStream用户体验。使用简单直观的UI,处理管道是通过拖放操作构建的。


提高准确性和实时性能

Jetson Orin纳米 Jetson Orin NX公司 捷信奥林AGX™ T4类 A2类 A10号机组 A30飞机 A100型 H100型 L40层 L4级 Quadro(A6000) A4000型 L4000级 ARM SBSA公司
应用程序 模型 跟踪器 推断分辨率 精度 通用分组 通用分组 数据链路A1 数据链路A2 通用分组 数据链路A1 数据链路A2 通用分组 通用分组 通用分组 通用分组 通用分组 通用分组 通用分组 通用分组 通用分组 通用分组 通用分组 通用分组
人员检测 PeopleNet-ResNet34(v2.3.3) 无跟踪器 960x544像素 内景8 256 372 175 175 970 329 329 912 610 2059 3273 4952 6920 4443 1674 2787 1282 1512 6977
PeopleNet-ResNet34(v2.3.3) NvDCF(精度) 960x544像素 内景8 82 128 77 77 318 196 196 429 295 1009 1229 2040 2936 1870 701 1301 746 623 3613
PeopleNet-ResNet34(v2.3.3) NvDCF(性能) 960x544像素 内景8 215 315 170 170 625 310 310 866 568 2063 2806 4250 6103 4278 1563 2855 1277 1413 5788
车牌识别 交通摄像头网络
LPD网
LPR网络
NvDCF公司 960x544像素
640×480
96x48像素
内部8
内景8
FP16系列
120 180 - - 370 - - 382 253 1071 1327 2150 2801 2280 741 1404 788 670 不适用
三维身体姿势估计 PeopleNet-ResNet34身体姿势3D NvDCF公司 960x544像素
192x256像素
内景8
FP16系列
28 -40 - - 76 - - 101 67 160 128 151 255 226 200 235 148 104 313
行动识别 ActionRecognitionNet(3DConv) 无跟踪器 224x224x3x32像素 FP16系列 34 51 - - 147 - - 173 74 450 552 996 1270 870 313 638 319 300 1910

仅报告旗舰产品的RTX GPU性能。所有SKU都支持DeepStream。

DeepStream SDK允许您将AI应用于流视频,同时优化视频解码/编码、图像缩放、转换和边缘到云连接,以实现完整的端到端性能优化。

要了解有关使用DeepStream的性能的更多信息,请查看文档.

阅读客户故事

工业。AI客户故事

优化班加罗鲁机场的运营

工业。AI使用包括DeepStream在内的NVIDIA Metropolis堆栈来提高机场的安全性和效率。使用视觉人工智能,它能够追踪被遗弃的行李,标记长长的乘客队列,并提醒安全团队潜在的问题。

KoiReader客户故事

加强配送中心运营

KoiReader使用NVIDIA开发工具开发了一个AI驱动的机器视觉解决方案,其中包括DeepStream SDK,以帮助百事可乐在动态分发环境中实现精度和效率。

YMA客户故事请拍摄视频中的图像

扩展AI驱动的智能空间

FYMA使用NVIDIA DeepStream和NVIDIA-Triton™来改进AI支持的空间分析,帧速率比以前的基准高出10倍,精确度高出3倍。


一般常见问题

DeepStream是一个封闭源代码SDK。请注意,所有参考应用程序和几个插件的源代码都可用。

DeepStream SDK可用于构建端到端人工智能应用程序,以分析视频和传感器数据。一些流行的用例包括零售分析、停车管理、物流管理、光学检查、机器人和运动分析。

是的,现在可以通过集成Triton®声波风廓线仪推断服务器实现这一点。此外,使用DeepStream 6.1.1,应用程序可以使用gPRC与Triton Inference Server的独立/远程实例通信。

DeepStream开箱即用地支持几个流行的网络。例如,DeepStream支持MaskRCNN。此外,DeepStream还提供了一个运行流行的YOLO模型、FasterRCNN、SSD和RetinaNet的示例。

是的,DS 6.0或更高版本支持安培架构

是的,DeepStream SDK 6.1.1支持音频。要开始使用,请下载软件并查看参考音频和自动语音识别(ASR)应用程序。通过阅读了解更多信息ASR DeepStream插件

使用DeepStream SDK构建高性能视觉AI应用程序和服务。

快速入门