【2021GTC】NVIDIA Orin平台：用于高性能AI计算的可扩展和模块化架构

本次会议将深入了解基于 NVIDIA Orin 片上系统的 NVIDIA Orin 产品系列。它将以这些产品的模块化和可扩展架构为特色，并深入探讨这些产品如何在自动驾驶汽车、机器人和医疗保健等多个行业中使用。

自主机器正在颠覆从自动驾驶和机器人到医疗保健农业等多个行业，为了处理这些多个行业的用例，我们需要高性能的 AI 计算，以及模块化I/O来处理多种传感器模式和高速敏捷网络以更快地传输数据或加速 AI 工作流。AGX Orin 带来了 AI 性能的巨大飞跃，我很高兴地宣布，我们将带来可扩展的模块化架构来处理未来这些具有挑战性的工作负载。

让我们先看一下jetson AGX Orin。这是一款手掌大小的微型计算机，通过 Orin 带来Ampere Tensor Core和深度学习加速器，用于服务器级 AI 推理。模块化 io 是可配置的，因此除了 USB 和显示器上的标准设备之外，您还可以连接不同的相机传感器。它每秒可进行 200 万亿次运算（TOPS），这将帮助开发人员开始使用多个企业用例，并通过物联网机器人医疗保健等构建智慧城市。

Jetson AGX Orin将在明年年初面市销售。

自动驾驶和机器人技术是世界上最大的人工智能挑战之一，真正困难的是所涉及的不同传感器模式。从 GPS 的相机、雷达，甚至音频麦克风。拥有可处理的传感器数据以在瞬间做出正确决策变得至关重要。

应对这些挑战，我们设计了Drive AGX Orin，可提供高达 254 TOPS的 AI 推理性能，以及更丰富、更强大的汽车和工业 io。

它的大小是上一代的一半。它包括 NVIDIA DRIVE OS for Safety SDK，用于安全评估就绪加速计算和 NVIDIA DriveWorks SDK 以实现全面的中间件功能。在这个图上可以看出，与前几代产品的比较，Drive AGX Orin的Int 8性能是前一代的四倍，这是 AI 推理计算需要考虑的最重要因素。这些计算机和功能安全操作系统可以加速计算或汽车和机器人技术。

现在让我们深入了解这台计算机的丰富 io。丰富的模块化 io 支持坚固的 GMSL 输入，用于连接最先进的相机。有多个以太网端口专为汽车和工业用例而设计。随着显示标准在全球范围内扩展，我们正在这些计算机上引入模块化显示策略，这些显示模块支持显示端口以及 GMSL 坚固标准。并且有史以来第一次，我们为这台计算机带来了汽车音频总线（A2B)，也可以支持 io 上的电源。为了获得更高的计算性能，最多可以将四台计算机连接在一起，扩展计算能力或传感器 io。这台计算机通过Drive&Isaac sdk 支持支持汽车和机器人的应用程序开发。

这款产品也会在明年年初面市。

全球新冠疫情大流行呼吁所有科学领域进行创新，数字生物学革命已经在进行中。来自基因组测序仪、电子显微镜或雷达成像的高度复杂的数据流不断发展，并为这场革命提供信息。更好的数据和算法准备就绪，我们需要一个平台来流式传输这些复杂的数据集，通过渲染和可视化以更好地理解和告知未来的算法来应对此类全球挑战。

我们很高兴推出 Clara Holoscan，这是一个可扩展的实时流媒体平台，用于加速科学仪器领域的 AI 计算。我们首先通过 RiverMax sdk 的高速 io 为开发人员提供对仪器数据的访问，在它之上运行以利用与 DPU 相连的网络性能。它具有物理引擎，旨在通过深度学习重建复杂的科学数据。接下来，我们带来了图像处理框架和预训练模型，以帮助从这些数据流中跟踪分段、分类和检测必要的特征，既然数据已经处理完毕，我们就可以使用由 Nvidia 的 RTX 和 DLSS 技术提供支持的高质量渲染来对其进行可视化。

正如您所见，英伟达技术正在改变各种形状和大小的医疗和科学仪器，这些仪器工作负载需要高计算和网络。

为了处理这些工作负载，我们使用您刚刚看到的现有计算机并进一步扩展它以添加一个独立的 GPU 。这个平台他重新定义了计算仪器。

这将 Orin 和 Ampere 的强大功能以紧凑的外形结合在一起，并且还增加了高速边缘网络，提供每秒 200 GB 的安全网络。您现在可以使用 GPUDirect 存储即时交换 AI 模型。凭借强大性能，它还具有集成无线解决方案，可实现更好的连接。

现在让我们看看一些 io，我们已经集成了高速边缘网络。同时，该设备还具有两种不同的显示标准，即HDML和DP显示端口。对此的远程直接内存访问允许更有效的数据流。当我们谈论环境中的高级计算机用例时，无论是医疗机构还是研究实验室，电源和功能的远程管理变得非常重要。

该设备支持通过 Clara sdk 进行远程车队管理。io 可通过额外的 PCIE 插槽进行高度配置，这些插槽可用于在用例中添加来自医疗保健或其他高性能计算仪器的多个传感器。此设备支持 Clare Holoscan SDK。

到目前为止，我们专注于人工智能推理。除了推理之外，记录数据对我们来说非常重要，这样我们就可以通知深度学习算法并改进我们的模型，以提高准确性和速度。有了无数的环境和变量，我们可以通过模拟这些场景并使用合成数据学习来极大地加快学习速度。Recorder 是一个平台，允许我们实时记录传感器数据并在模拟环境中重放，以加快学习速度。它配备了两个 Orin SOC 来卸载传感器的数据压缩，并具有四个高速百千兆接口，允许传输和重放您在现场收集的更好的数据。

现在让我们深入研究 Recorder 架构，看看它如何帮助记录传感器，以便您的计算机可以专注于感知和推理。这有两个 Orin SOC 处理所有传感器编码和 2 个 connectX6-DX 用于网络加载。两个 Orin SoC 中的每一个都可以通过高吞吐量 pci express 连接到每个 connectX6-DX，为您提供对称架构。它具备所有关键I/O，捕获从相机到各种雷达的传感器输入的数据。它还提供所有连接传感器的点对点同步，因此您现在可以直接将该数据带入您的训练环境。该记录平台仅作为 hyperion 开发工具包的一部分出售，并将于明年年中上市。

因此，我们研究了这些为多个行业提供端到端支持的强大平台。开发人员生态系统是扩展 AI 应用程序的重要组成部分，软件成为其中的关键部分，作为平台产品的一部分。通过显示在堆栈底部的这些平台，我们支持嵌入式开发人员已经在其工作流程中使用的所有核心引擎，还支持核心框架和 sdk，以便开发人员可以开发大规模 AI 应用程序并在现场部署它们。顶层显示了传感器的多样性，这些平台能够处理从摄像头、雷达、激光雷达到更复杂的传感器（如内窥镜显微镜和基因测序）。

自主机器正在发展并塑造着我们今天的生活方式。这些 a gx 平台将成为这些机器的核心，并有助于引领 AI 革命以改善我们的生活。