NVIDIA TAO公司

寻找一种更快、更简单的方法来创建高度准确、定制和企业级的AI模型，以支持您的视觉AI应用程序？用于AI培训和优化的开源TAO提供了您所需的一切，将世界上最好的视觉变形金刚（ViT）的力量交给每个开发人员和服务提供商。现在，您可以创建最先进的计算机视觉模型，并将其部署在任何设备上—CPU、CPU和MCU—无论是边缘还是云中。



下载TAO   快速入门

什么是NVIDIA TAO？

当您创建AI/机器学习模型并加快开发过程时，无需大量数据和大量数据科学家迁移学习这项强大的技术可以立即将学习到的特征从现有的神经网络模型转移到新的定制模型。

基于TensorFlow和PyTorch构建的开放源码NVIDIA TAO利用了传递学习的强大功能，同时简化了模型训练过程，并优化了模型，以在几乎任何平台上实现推理吞吐量。结果是一个超精简的工作流。选取其中一个预处理模型，将其适应您自己的真实或合成数据，然后优化推理吞吐量。所有这些都不需要人工智能专业知识或大型训练数据集。



什么是TAO工具包，它如何适应AI模型开发工作流？

主要优点

TAO工具包让您可以轻松使用Jupyter笔记本训练模型。

高效训练模型

使用TAO的AutoML功能可以消除手动调整的需要，并更快地获得解决方案。

TAO工具包可帮助您为您的用例构建高度准确的AI模型。

构建高精度AI

使用SOTA Vision Transformer和NVIDIA预处理模型为您的用例创建高度准确的自定义AI模型。

TAO工具包允许您优化模型以进行推理。

推理优化

超越定制，通过优化推理模型实现高达4倍的性能。

TAO工具包可帮助您轻松部署优化的模型。

在任何设备上部署

在GPU、CPU、MCU等上部署优化的模型。

借助NVIDIA NIM加快上市时间

NVIDIA NIM公司™是一组推理微服务，包括行业标准API、特定于域的代码、优化的推理引擎和企业运行时。这些基础模型可以按原样用于推理，使用NVIDIA NIM公司或针对自定义视觉AI任务进行微调。


  • NV-唇缘是一个商业视觉基础模型基于流行的CLIP体系结构，在几乎1B个图文对上使用自主学习进行训练。该模型具有文本和视觉编码器，用于基于提示的推理。
  • 内华达州迪诺夫2是一个商业视觉基础模型使用近1B张图片上的自我监督学习进行培训。该模型可以针对各种视觉AI任务进行快速微调，只需少量训练数据。
  • 接地DINO是一种带有文本和视觉编码器的商业视觉模型，用于实现零快照检测和分割。

NVIDIA TAO是NVIDIA AI企业是一个企业级AI软件平台，可加快价值实现速度，同时降低开源软件的潜在风险。


Vision AI API目录
TAO Toolkit是NVIDIA AI Enterprise的一部分，可帮助在任何地方部署AI。

为什么它对你的人工智能发展很重要

为您的应用程序带来定制的生成AI

生成性人工智能是一种变革力量，将改变许多行业。推动这一点的是基于大量文本、图像、传感器和其他数据的基础模型。现在有了TAO，您可以微调和定制这些基础模型，并创建特定于域的生成性AI应用程序。TAO支持对多模态模型进行微调，如NV-DINOv2、NV-CLIP、Grounding-DINO、Mask-GroundingDINO、FoundationPose等。

TAO还可以与多个云和第三方MLOP服务集成，为开发人员和企业提供优化的AI工作流。


阅读博客
使用NVIDIA TAO训练的模型可以部署在任何平台上。

使用文本提示自动标记

新的AI辅助注释功能为您提供了一种更快、更便宜的方法来自动标记对象检测和分割遮罩。开发人员可以检测和分割任何对象，而无需训练或微调，只需使用文本提示和描述符，如“红色汽车”或“传送带上的盒子”。开发人员还可以微调模型，以提高对象的准确性。


观看视频

创建自定义多模式融合模型

在许多行业中，人工智能系统依赖各种传感器来感知环境并与环境交互。每种传感器类型，如相机、激光雷达或雷达，都提供独特的信息，但也有固有的局限性。

开发人员现在可以在TAO中创建自定义多模式融合模型，用于检测对象并创建结合图像（RGB）和LiDAR点云数据的3D边界框。TAO提供了BEVFusion模型，该模型将来自多个传感器（如激光雷达和相机）的数据集成到统一的鸟瞰图（BEV）表示中。


了解更多信息
使用NVIDIA TAOc训练的模型可以部署在任何平台上。

在任何平台上部署模型

NVIDIA TAO可以为数十亿设备上的AI提供支持。它支持ONNX中的模型导出，ONNX是一种开放格式，可实现更好的互操作性。这使得在任何计算平台上部署经过NVIDIA TAO培训的模型成为可能。


了解有关与Mediatek集成的更多信息 了解有关与STMicroelectronics集成的更多信息 了解有关与ARM Ethos-U NPU集成的更多信息 了解有关与Edge Pulse集成的更多信息 了解有关与Nota LaunchX集成的更多信息 了解有关与Arm CPU和NPU集成的更多信息

推理性能

从NVIDIA Jetson™解决方案的边缘到具有NVIDIA-Ampere体系结构GPU的云，NVIDIA预处理模型跨平台解锁峰值推理性能。有关批量大小和其他型号的详细信息，请查看详细性能数据表.



模型架构（architecture）
分辨率
准确性
Jetson Orin纳米
Jetson Orin Nx公司
Jetson Orin 64GB
A2类
T4类
L4级
L40层
H100型
人SemSegFormer
SegFormer公司
512x512个
91%百万美元
6.6
9.7
24.2
23
40 
83
210
454
零售对象检测
DINO-风扇-B
960x544像素
97%
2.3
3.4
8.1
8.8
15.4 
34
89
167
恐龙可可
DINO-风扇-S
960x544像素
72%mAP50
3.1
4.4
11.2
11.7
20
44
120
213
GC-ViT图像网
GC-ViT-微型
224x224像素
84%Top1准确率
75
110
293
336
517
1266
3118
6381
OCR网络
ResNet50-双-LSTM
32x100像素
93%
935
1373
3876
2094
3649 
8036
18970
55720
OCD网络
DCN-ResNet18号文件
640x640像素
81%苗族
31
45
120
93
155
333
940
1468
光学检查
暹罗CNN
2x512x128个
100%/<1%FP
399
482
1538
1391
2314
2821
10390
24110

客户案例

OneCup AI客户故事

OneCup人工智能

OneCup AI的计算机视觉系统使用NVIDIA预处理模型和TAO对动物活动进行跟踪和分类，大大缩短了动物的开发时间，从数月缩短到数周。


了解更多信息
KoiReader客户故事

KoiReader公司

KoiReader使用包括TAO在内的NVIDIA开发工具开发了一个AI驱动的机器视觉解决方案，以帮助百事可乐在动态分销环境中实现精度和效率。


阅读博客
Trifork客户案例

三叉戟

Trifork利用NVIDIA预处理模型和TAO工具包启动了AI模型开发，以开发机场基于AI的行李跟踪解决方案。


了解更多信息

主要采用者

阿鲁加艾
布兹艾伦
Kion集团
英力士科技
利盟风险投资
诺塔艾
一杯AI
火箭战靴
SmartCow公司
两个i
阿彭
计算机多媒体
草率的
lexset（词汇集）
轻轻地
渲染AI
天空引擎
尤瓦AI
罗博洛

一般常见问题

转移学习是将学习到的特征从一个应用程序转移到另一个应用的过程。这是一种常用的训练技术，其中针对一个任务训练的模型被重新训练以用于不同的任务。您可以将转移学习应用于视野语言理解模型。
对。有了标准的ONNX输出，TAO模型可以部署在任何支持ONNX-RT的设备上，或者可以使用编译器将ONNX转换为硬件运行时。
对。整个TAO代码现在可以在github.
对。有关确切的许可条款，请参阅模型EULA协议但是，未加密的型号仅适用于NVIDIA AI Enterprise许可证。
TAO支持NVIDIA优化模型架构和主干的100+排列。其中包括最先进的视觉基础模型，如NV-CLIP、NV-DINOv2和GroudningDINO，以及视觉变换器（ViT）和高效CNN。

您可以找到支持的模型体系结构的完整矩阵在这里.
在幕后，TAO使用了TensorFlow和PyTorch框架，但这些框架完全是从用户那里抽象出来的。用户通过文档化的规范文件操作TAO，不需要事先了解深度学习框架。
NVIDIA AI Enterprise是一个端到端、安全、云计算的人工智能软件平台，经过优化，可以加速企业发展到人工智能的前沿。将TAO与NVIDIA AI Enterprise结合使用的好处：
  • 获取视觉人工智能的独家商业基础模型
  • NVIDIA AI开源软件的验证和集成
  • 访问AI解决方案工作流以加快生产时间
  • 到处部署AI的认证
  • 企业级支持、安全性、可管理性和API稳定性，以减轻开源软件的潜在风险
请参阅入门页.
您可以从下载Jupyter笔记本示例NGC目录.
  • Vision模型可以通过DeepStream或NVIDIA Triton™部署。
  • 您还可以在任何平台上以ONNX格式部署模型。

请参阅文档部分以了解部署详细信息。

是的，TAO可以使用云上的VM在基础设施级别部署，也可以部署在各种云服务中，如Amazon EKS、Azure AKS、，谷歌GKE谷歌Vertex AI、Azure机器学习或谷歌Colab。请参阅文档以了解有关在AWS、Azure或GCP上运行TAO的更多信息。
您只能在x86系统上使用TAO进行训练。然而，您可以在Jetson解决方案上部署优化的模型。
NVIDIA Metropolis是一个应用程序框架、一套开发工具和合作伙伴生态系统，将视觉数据和人工智能结合在一起，以提高各行各业的运营效率和安全性。了解更多信息在这里.

资源

新博客-TAO 5.5

NVIDIA TAO 5.5版带来了新的基础模型和训练功能。


阅读博客

博客视觉变形金刚

了解如何通过视觉变形金刚（ViT）和NVIDIA TAO提高视觉AI应用程序的准确性和健壮性


阅读博客

博客字符检测与识别

了解如何使用NVIDIA TAO和NVIDIA-Triton训练和部署自定义光学字符检测和识别模型。


阅读博客-第1部分 |  第2部分

使用TAO简化和加速AI培训。

开始