学习如何构建由视觉语言模型支持的高性能可视化AI代理,从云到边缘。 立即注册



为Jetson模块供电的NVIDIA JetPack SDK是构建端到端加速AI应用程序的最全面的解决方案,大大缩短了上市时间。

NVIDIA JetPack包括3个组件:

Jetson Linux:带有引导加载程序、Linux内核、Ubuntu桌面环境、NVIDIA驱动程序、工具链等的Board Support Package(BSP)。它还包括安全和空中传送(OTA)功能。

Jetson AI堆栈:CUDA加速AI堆栈,包括一整套用于加速GPU计算、多媒体、图形和计算机视觉的库。它支持应用程序框架,例如Metropolis构建、部署和扩展Vision AI应用程序,Isaac构建高性能机器人应用程序,Holoscan构建从边缘到云的实时洞察力和传感器处理能力的高性能计算应用程序(HPC)。

Jetson平台服务:一组现成的服务,用于加速Jetson上的AI应用程序开发。

JetPack 6

JetPack 6是有史以来最大的升级。它不仅带来了更新的内核和更新的Ubuntu根文件系统,还包含了Jetson上前所未有的新功能。JetPack 6提供了运行任何Linux内核的灵活性,并提供了Jetson生态系统合作伙伴提供的基于Linux的发行版的更多选项。它还包括在不更新Jetson Linux BSP的情况下更新Jetson AI Stack的灵活性。

JetPack 6.0

JetPack 6.0是JetPack 6的第一个生产版本。之前的JetPack 6.0 Developer Preview是用于在Jetson Orin上使用JetPack 6.0stack进行开发的。这个JetPack 6.0版本包括Jetson Linux 36.3,它打包了Linux内核5.15和基于Ubuntu 22.04的根文件系统。与此JetPack 6版本一起打包的Jetson AI堆栈包括CUDA 12.2、Tensorrt 8.6、cuDNN 8.9和VPI 3.1。JetPack 6支持所有NVIDIA Jetson Orin模块和开发人员工具包。

请阅读以下JetPack 6的新功能。

安装JetPack

SD卡图像方法
Debian包方法

可以使用Jetson上运行的Debian包管理工具安装或升级JetPack。NVIDIA还为所有JetPack组件托管运行时和开发debian元包。运行时包不包含示例和文档,而开发包包含这些示例和文档并用于开发。用户可以在Jetson Linux上安装完整的JetPack或仅安装运行时JetPack组件。

请参阅JetPack说明文件在我们托管的debian包列表中。收件人在Jetson Linux 36.3之上安装Jetpack,只需“apt-install nvidia-Jetpack”

注意:不支持从JetPack 5到JetPack 6的APT升级.

JetPack 6.0的主要功能

Jetson Linux

NVIDIA公司Jetson Linux 36.3版提供基于UEFI的Linux内核5.15引导加载程序、基于Ubuntu 22.04的根文件系统、NVIDIA驱动程序、必要的固件、,工具链等。

JetPack 6.0包括Jetson Linux 36.3,具有以下亮点:
(请参阅发行说明更多详细信息)

  • 生产就绪软件堆栈
  • 的预览可升级计算堆栈升级CUDA、Tensorrt、CUDNN、DLA和VPI,而不升级Jetson Linux。有关在JetPack 6 Developer Preview上运行此生产版本的计算堆栈,请参阅JetPack文档。
  • 功率估计器支持JetPack 6。
  • 预构建内核debian包启用PREMPT_RT。
  • 支持升级Jetson Orin Nano开发套件从JetPack 5到JetPack 6,无需主机。
  • 空中传送(OTA)更新
  • 安全
    • 已启用对的支持安全功能,与JetPack 5不相上下。
  • 功率和性能
  • 显示器
    • 支持Framebuffer控制台
    • 支持显示核心引擎(DCE)中的挂起/恢复
  • 多媒体
    • 支持H264 Constrained_Baseline和Constrained_High配置文件
    • 动态比特率,支持AV1编码器的动态帧速率
    • 动态分辨率更改[DRC]支持H264、H265和AV1编码器
    • UYVY BT.709和BT.2020色度学支持视频转换

Jetson平台服务

Jetson平台服务是一个预构建和云计算软件服务和参考工作流的集合,用于加速Jetson上的AI应用程序。这些服务是模块化的、API驱动的,可以快速配置以构建Generative AI和其他边缘应用程序。从人工智能服务到系统服务,共有15种以上的服务。服务包括:

  • 使用DeepStream的AI感知服务
  • 可视化语言模型(VLM)的人工智能推理服务
  • AI分析-将元数据处理为时间序列洞察
  • 使用VST进行传感器管理和存储
  • Redis消息总线
  • API和物联网网关

为了演示这些服务的功能,包括以下参考工作流:

  • AI-NVR-基于AI的网络视频录像机的完整工作流
  • 用于警报和可视聊天的生成性AI工作流
  • 用于零快照检测的生成性AI工作流。

注:Jetson平台服务将很快发布(5月底)。这些服务可以通过debian包或SDK管理器轻松安装。

Jetson上的Linux Distros

JetPack包括现成的Jetson Linux,但Jetson生态系统合作伙伴在Jetson上提供各种基于Linux的Distros。它们包括:

标准Ubuntu:Canonical提供的Ubuntu 22.04。请参考此网络研讨会了解更多关于Jetson的Canonical产品。

红帽:Red Hat Enterprise Linux 9.3

Windriver公司:Windriver的商用嵌入式Linux操作系统。

SUSE公司:SUSE提供的SUSE Linux Enterprise Server(SLES)。

红鹰:来自并发实时任务的实时Linux操作系统关键的硬实时应用程序。

基于Yocto的发行版:利用各种基于Yoco的发行版和服务超降解由提供生态系统合作伙伴巴莱纳,基金会.io&时间系统.

张力RT

张力RT是一个高性能的深度学习推理运行时图像分类、分割和目标检测神经网络。TensorRT已建立在CUDA上,NVIDIA的并行编程模型,使您能够为所有人优化推理深度学习框架。它包括一个深度学习推理优化器和运行时为深度学习推理应用程序提供低延迟和高吞吐量。

JetPack 6.0包括张紧器RT 8.6.2

国防后勤局

NVIDIA DLA公司硬件是一个针对深度学习操作的固定功能加速器引擎。它的设计目的是卷积神经网络的全硬件加速,支持各种层作为卷积、反卷积、全连接、激活、池、批规范化,和其他

DLA软件由DLA编译器和DLA运行时堆栈组成。脱机编译器将神经网络图转换为DLA可加载二进制文件,可以使用NVIDIA TensorRT™。运行时堆栈由DLA固件、内核模式驱动程序和用户模式驱动程序。

JetPack 6.0包括DLA 3.14

铜DNN

CUDA深度神经网络库提供高性能原语用于深度学习框架。它为标准例程提供了高度优化的实现例如正向和反向卷积、池、规范化和激活层。

JetPack 6.0包括铜DNN 8.9.4

CUDA公司

CUDA Toolkit为C和C++开发人员提供了一个全面的开发环境构建GPU加速的应用程序。该工具包包括一个针对NVIDIA GPU的编译器,数学库以及用于调试和优化应用程序性能的工具。

JetPack 6.0包括联邦公用事业部12.2.1

多媒体API

这个Jetson公司多媒体API该包为灵活的应用程序开发提供了低级API。

摄像头应用程序API:libargus为摄像头提供了一个低级帧同步API应用程序,每帧相机参数控制,多个(包括同步)摄像头支持和EGL流输出。需要ISP的原始输出CSI摄像机可以与一起使用libargus或GStreamer插件。无论哪种情况,V4L2介质控制器传感器驱动程序使用API。

传感器驱动程序API:V4L2 API支持视频解码、编码、格式转换和缩放功能。用于编码的V4L2提供了许多功能,如比特率控制、质量预设、低延迟编码、时间权衡、运动矢量映射等。

计算机视觉

视觉编程接口是一个软件库提供在多个硬件上实现的计算机视觉/图像处理算法Jetson上的加速器,如PVA(可编程视觉加速器)、GPU、,NVDEC(NVIDIA解码器)、NVENC(NVIDI编码器)、VIC(视频图像合成器)等。

JetPack 6.0包括VPI 3.1版具有以下亮点:

  • 支持PVA后端上的Erode算法
  • 在PVA后端支持Dilate算法

绘图

JetPack 6.0包含以下图形库:

  • Vulkan®1.3
  • Vulkan®SC 1.0
    • Vulkan SC是一种基于Vulkan1.2的低级、确定性、健壮的API。此API支持最先进的GPU加速图形和计算可以部署在安全关键型系统中,并且经过认证可以满足行业功能安全标准。请参阅https://www.khronos.org/vulkansc/了解更多信息。
    • Vulkan SC对于实时非安全关键嵌入式系统也非常重要应用。Vulkan SC增加了确定性并减少了应用程序大小将运行时应用程序环境的准备工作转移到离线状态,或尽可能多地进入应用程序设置。这包括离线编译定义GPU如何处理数据的图形管道,以及静态内存分配,共同实现详细的GPU控制严格规定和测试。
    • Vulkan SC 1.0由Vulkan1.2发展而来,包括:删除运行时安全关键型市场不需要的功能,更新的设计提供可预测的执行时间和结果,以及要删除的澄清其操作中的潜在歧义。有关更多详细信息,请参阅https://www.khronos.org/blog/vulkan-sc-overview
    • 注释:Jetson对Vulkan SC的支持安全认证。
    OpenWF™显示器1.0
    • OpenWF Display是一个用于与本机进行低开销交互的Khronos API在Jetson上显示驱动程序,并允许与Vulkan SC交互以显示图像。
    • 注释:Jetson对OpenWF Display的支持是安全认证。

Nsight开发人员工具

CUDA Toolkit为C和C++开发人员提供了一个全面的开发环境使用CUDA库构建高性能GPU加速应用程序。工具箱包括Nsight Visual Studio代码版,Nsight Eclipse插件、调试和分析工具,包括Nsight计算,以及用于交叉编译应用程序的工具链

NVIDIA Nsight公司系统是一种低开销的全系统分析工具,提供深入的见解开发人员需要分析和优化软件性能。

NVIDIA Nsight公司绘图是用于调试和分析图形的独立应用程序应用。

NVIDIA Nsight深学习设计师是一个帮助开发人员的集成开发环境有效地设计和开发用于应用程序内推理的深层神经网络。

Nvidia Nsight公司性能SDK是一个用于Vulkan和OpenGL的图形分析工具箱直接从用户应用程序收集GPU性能指标。

Jetson Orin模块都支持Nsight System、Nsight Graphics、Nsight-Compute、Nsign-Perf SDK,以帮助开发自主机器。

JetPack 6.0包括NVIDIA Nsight Systems v2024.2

JetPack 6.0包含NVIDIA Nsight Graphics 2023.4

JetPack 6.0包括NVIDIA Nsight Perf SDK 2023.5

支持的SDK和工具

NVIDIA DeepStream软件开发工具包是一个完整的分析用于基于人工智能的多传感器处理和视频和音频理解的工具包。

JetPack 6.0将支持DeepStream 7.0(即将于5月推出)

NVIDIA Isaac™ROS公司是一个硬件加速包的集合,使ROS开发人员更容易构建NVIDIA硬件上的高性能解决方案,包括NVIDIAJetson。

JetPack 6.0将支持Isaac ROS 3.0(即将于5月推出)

英伟达Holoscan是一个传感器处理平台,简化AI和高性能计算(HPC)应用程序的开发和部署,以实现实时洞察

JetPack 6.0将支持Holoscan SDK 2.0

NVIDIA Triton™推理服务器简化AI模型的部署按比例。Triton®声波风廓线仪推断服务器是开源的,支持部署训练有素的人工智能Jetson上NVIDIA TensorRT、TensorFlow和ONNX Runtime的模型。在杰特森,特里顿推理服务器作为一个共享库提供,用于与C API直接集成。

功率估算器是webapp简化了自定义电源模式配置文件的创建并估计Jetson模块的功率消费。

本地云

Jetson带来云-Native边缘并支持容器和容器编排等技术。NVIDIA JetPack公司包括NVIDIA Container Runtime与Docker集成,支持GPU加速Jetson平台上的集装箱化应用程序。

NVIDIA在上为Jetson托管了多个容器映像NVIDIA NGC公司。一些适合带示例的软件开发和文档等适用于生产软件部署,包括仅运行时组件。在上查找更多信息和所有容器图像的列表Jetson页面上的Cloud-Native.

安全

NVIDIA Jetson模块包括各种安全功能,包括Hardware Root of Trust、,安全引导、硬件加密加速、可信执行环境、磁盘和内存加密、物理攻击保护等。通过了解安全功能跳转到Jetson Linux Developer指南的安全部分。

JetPack 6.0安全亮点包括:

  • 已启用对的支持安全与JetPack 5不相上下的功能。

JetPack文档和网络研讨会

文档

网络研讨会

支持

    访问NVIDIA Jetson论坛对于您的所有问题,NVIDIAJetson拥有一支专门的专家团队为您提供支持。


对于旧版本的JetPack,请访问JetPack存档.