JetPack SDK


NVIDIA JetPack SDK 是构建端到端加速 AI 应用的全面解决方案。JetPack 为硬件加速的边缘 AI 开发提供了完整的开发环境。JetPack 支持所有 Jetson 模组和开发者套件。

JetPack 包括带有引导加载程序的 Jetson Linux、Linux 内核、Ubuntu 桌面环境，以及一整套用来为 GPU 计算、多媒体、图形和计算机视觉加速的库。它还包含用于主机和开发者套件的示例、文档和开发者工具，并支持更高级别的 SDK，例如用于流媒体视频分析的 DeepStream、用于机器人开发的 Isaac 以及用于对话式 AI 的 Riva。

JetPack 5.0.2

JetPack 5.0.2 是生产级质量版本，可取代仅用于开发的 JetPack 5.0/JetPack 5.0.1 开发者预览版本。JetPack 5.0.2 包括搭载 Linux 内核 5.10 的 Jetson Linux 35.1 BSP、基于 Ubuntu 20.04 的根文件系统、基于 UEFI 的引导加载程序以及作为可信执行环境的 OP-TEE。JetPack 5.0.2 包括 Jetson 上的新版计算栈，配备了 CUDA 11.4、TensorRT 8.4.1 和 cuDNN 8.4.1，请查看下方高亮内容以了解完整功能列表。

此版本支持 Jetson AGX Orin 32 GB 生产级模组和 Jetson AGX Orin 开发者套件。它还支持 Jetson AGX Xavier 系列和 Jetson Xavier NX 系列模组，以及 Jetson AGX Xavier 与 Jetson Xavier NX 开发者套件。

从此版本开始，无需升级 JetPack，CUDA 即可升级到更新版本。请阅读下方高亮显示的“CUDA”部分了解详情。

从此版本开始，NVIDIA SDK Manager 提供完整安装 JetPack 或仅安装 JetPack 运行时组件的选项。JetPack 运行时的安装不包括示例或文档，并且占用空间仅为完整安装 JetPack 所需存储空间的一半。

安装 JetPack


Debian 打包方式

可以使用 Jetson 上的 Debian 软件包管理工具进行 JetPack 的安装或升级。从 JetPack 5.0.2 开始，NVIDIA 还会为所有 JetPack 组件托管运行时并开发 Debian 元包。运行时包里不包含示例和文档，而开发包会包含这些内容，目的是用于开发。用户可以在 Jetson Linux 上安装完整的 JetPack 或安装仅运行时 JetPack 组件。

请参阅 JetPack 说明文档，了解我们托管的 Debian 软件包列表。另请参阅 JetPack 说明文档，获取关于如何在 Jetson Linux 的顶层安装 JetPack 5.0.2 或从 JetPack 5.0/5.0.1 开发者预览版本升级 JetPack 的说明

SD 卡镜像法

NVIDIA SDK Manager 方式

更多资源

JetPack 中的主要功能

Jetson Linux

NVIDIA Jetson Linux 35.1 提供 Linux 内核 5.10、基于 UEFI 的引导加载程序、基于 Ubuntu 20.04 的根文件系统、NVIDIA 驱动、必要的固件、工具链等。

JetPack 5.0.2 包含 Jetson Linux 35.1，后者在 Jetson Linux 34.1/34.1.1 之上添加了以下亮点：（请参阅版本说明以了解更多详细信息）

  • 为 Jetson AGX Orin 32GB 生产级模组添加支持
  • 使得 Jetson AGX Orin 开发者套件能够模拟 Jetson AGX Orin 64GB、Jetson AGX Orin 32GB、Jetson Orin NX 16GB 和 Jetson Orin NX 8GB 模组的性能。请参阅版本说明中的仿真部分以了解详情。
  • 安全
  • 无线更新：
  • 引导加载程序：
    • UEFI 支持 USB 和 NVMe
    • UEFI 支持 4K 显示器
  • 功率：
    • 低功率 SC7 状态
    • 支持对 Jetson AGX Orin 和 Jetson Xavier NX 系列的功率估算
  • 显示：
  • 内核：
    • 实时内核补丁
  • 传感器处理引擎 (SPE)：
    • SPE 固件源
    • 支持 I2C 和 VM 间通信 (IVC)
  • 查看下面的多媒体和摄像头部分以了解亮点
  • 除了 Jetson Linux 页面之外，GIT 上也提供 Jetson Linux 源。请参阅版本说明中的“下载 Jetson Linux 源”部分以了解详情。

1签名 (PKC) 安装固件至支持 Jetson AGX Orin 的 UEFI。签名和加密 (PKC + SBK) 安装固件至支持 Jetson AGX Xavier 和 Jetson Xavier NX 的 UEFI

TensorRT

TensorRT 是用于图像分类、分割和物体检测神经网络的高性能深度学习推理运行时。TensorRT 依托于 CUDA 而构建，是 NVIDIA 的并行编程模型，支持优化各种深度学习框架的推理过程。它包含深度学习推理优化器和运行环境，让深度学习推理应用实现低延迟和高吞吐量。

JetPack 5.0.2 包含 TensorRT 8.4.1

cuDNN

CUDA 深度神经网络库为深度学习框架提供了高性能基元。它可大幅优化标准例程（例如用于前向传播和反向传播的卷积层、池化层、归一化层和激活层）的实施。

JetPack 5.0.2 包含 cuDNN 8.4.1

CUDA

CUDA 工具套件为 C 和 C++ 开发者构建 GPU 加速应用提供了全面的开发环境。该工具包中包括一个针对 NVIDIA GPU 的编译器、多个数学库，以及多款用于调试和优化应用性能的工具。

JetPack 5.0.2 包含 CUDA 11.4.14

从 JetPack 5.0.2 开始，无需更新 Jetson Linux 其他 JetPack 组件，即可从 CUDA 11.8 升级到最新最好的 CUDA 版本。请参阅 CUDA 文档中的说明，了解如何获取 JetPack 上的最新 CUDA。

多媒体 API

Jetson 多媒体 API 包提供了低层级的 API，有助于实现灵活的应用开发。

摄像头应用 API：libargus 为摄像头应用提供了低层级的帧同步 API，同时还提供了逐帧摄像头参数控制、多个（包含已同步的摄像头）摄像头支持以及 EGL 流输出。需要 ISP 的 RAW 输出 CSI 摄像头可与 libargus 或 GStreamer 插件配合使用。这两种情况下都会使用 V4L2 媒体控制器传感器驱动 API。

传感器驱动 API：V4L2 API 支持视频解码、编码、格式转换和缩放功能。用于编码的 V4L2 开启了多项功能，如比特率控制、质量预设、低延迟编码、临时折衷、运动向量图等。

JetPack 5.0.2 摄像头的亮点包括：

  • Argus 支持 Jetson AGX Xavier 和 Jetson Xavier NX 的 YUV444 和 Linear RGB888 输出格式。
  • HDR 支持 Jetson AGX Orin。支持数字重叠 (DOL)1 模式和分段线性 (PWL)。
  • 支持 Jetson AGX Orin 上的错误恢复
  • 新示例：
    • argus_demosaicOutput 演示 CVOutput 功能。
    • argus_rawBayerOutput 演示原始捕获，使用 argus 选项启用/禁用 3A/ISP 聚合传感器曝光设置。
    • argus_userAlternatingAutoExposure 演示使用交替曝光的捕获。
    • 现在，argus_yuvOneshot 支持 YUV444 格式，以及 YUV420 格式。

JetPack 5.0.2 多媒体的亮点包括：

  • Jetson AGX Orin 上的 AV1 编码/解码
  • 支持 nvJPEG 负载均衡，可在 Jetson AGX Orin 中使用 2 个 nvJPEG 引擎，与 JetPack 5.0/5.0.1 开发者预览版本相比，可提供 2 倍的编码/解码性能。
  • 预处理增强 (PPE) 模组。此模组为各种视频编码增强算法提供框架。目前，此版本支持时间自适应量化 (TAQ)。
  • 新的 NVUtils 多媒体缓冲管理和缓冲转换 API2

1后续版本将进一步改进 IQ

2nvbuf_utils 已弃用。请参考迁移指南，由 nvbuf_utils 迁移到 NVUtils。

计算机视觉

VPI（视觉编程接口）是一个软件库，提供可在 Jetson 上找到的 PVA（可编程视觉加速器）、GPU、NVDEC（NVIDIA 解码器）、NVENC（NVIDIA 编码器）、VIC（视频图像合成器）等多个硬件加速器上实现的计算机视觉/图像处理算法。

OpenCV 是一个开源库，用于计算机视觉、图像处理和机器学习。

JetPack 5.0.2 包含具有以下亮点的 VPI 2.1：

  • 新算法：
    • GPU 与 CPU 后端的快速关键点检测
    • GPU 与 CPU 后端的镜像通道提取
    • GPU 和 CPU 后端的中值滤波
  • 未签名 Int8 支持 PVA 后端的高斯金字塔
  • 未签名/已签名 Int8 和已签名 Int16 支持 PVA 后端上的 KLT 特征追踪

JetPack 5.0.2 包含 OpenCV 4.5.4

图形

JetPack 5.0.2 包含以下图形库：

  • 新增：支持 Vulkan® 1.3（包括 Roadmap 2022 配置文件）。
  • 新增：支持 Vulkan® SC 1.0
    • Vulkan SC 是基于 Vulkan 1.2 的底层 API，具有出色的确定性和可靠性。此 API 支持先进的 GPU 加速图形和计算，可部署在安全关键型系统中，并经认证符合行业功能安全标准。如需了解更多信息，请访问 https://www.khronos.org/vulkansc/。
    • 对于实时非安全关键嵌入式应用，Vulkan SC 也具有宝贵价值。Vulkan SC 尽可能地将运行时应用环境的准备转移到离线或应用设置中，从而提高确定性并减少应用大小。其中包括离线编译图形工作流，这些工作流定义了 GPU 处理数据的方式和静态内存分配，并共同实现了可严格指定和测试的详细 GPU 控制。
    • Vulkan SC 1.0 从 Vulkan 1.2 演变而来，其中包括：删除安全关键市场不需要的运行时功能、提供可预测执行时间和结果的更新设计，以及对于消除其操作中潜在的模棱两可的说明。如需了解更多详情，请访问 https://www.khronos.org/blog/vulkan-sc-overview
    • 注意：Jetson 对 Vulkan SC 的支持未进行安全认证。
    新增：支持 OpenWF™ Display 1.0
    • OpenWF Display 是一种 Khronos API，可与 Jetson 上的原生显示驱动进行低开销交互，并支持与 Vulkan SC 进行交互以显示图像。
    • 注意：Jetson 对 OpenWF Display 的支持未进行安全认证。
  • 新增：支持完整 GBM API
    • 通用缓冲区管理 (GBM) 是一种 API，可为图形渲染提供缓冲区分配机制。它创建的句柄可以直接传递给 Weston/Wayland 进行渲染或初始化 EGL，然后创建渲染目标缓冲区。
    • 早期版本曾支持名为 miniGBM 的 GBM API 子集。从 JP 5.0.2 开始，所有 GBM API 均受支持。
  • 支持 OpenGL® 4.6
  • 支持 OpenGL® ES 3.2
  • 支持 EGL® 1.5

JetPack 5.0.2 包含 OpenCV 4.5.4

Nsight 开发者工具

CUDA 工具套件为 C 和 C++ 开发者利用 CUDA 库构建高性能 GPU 加速应用提供了全面的开发环境。该工具包中包括 Nsight Visual Studio Code Edition、Nsight Eclipse Plugins（包括 sight Compute 等调试和分析工具在内），以及用于交叉编译应用的工具链

NVIDIA Nsight Systems 是一款开销较低的系统级分析工具，可提供开发者分析和优化软件性能所需的见解。

NVIDIA Nsight Graphics 是一款独立应用，用于调试和分析图形应用。

NVIDIA Nsight 深度学习设计器提供了一个集成式开发环境，可帮助开发者高效设计和开发用于应用内推理的深度神经网络。

JetPack 5.0.2 包含 NVIDIA Nsight Systems v2022.3

JetPack 5.0.2 包含 NVIDIA Nsight Graphics 2022.3

JetPack 5.0.2 包含 NVIDIA Nsight 深度学习设计器 2022.1

Nsight System、Nsight Graphics 和 Nsight Compute 均支持 Jetson Orin 模组，可协助自主机器开发。

请参考版本说明，了解更多详细信息。

支持的 SDK 和工具

NVIDIA DeepStream SDK 是一套完整的分析工具包，可用于基于 AI 的多传感器处理，以及视频和音频理解。

支持 JetPack 5.0.2 的 DeepStream 新版本即将推出！

NVIDIA Triton™ 推理服务器可简化大规模的 AI 模型部署。Triton 推理服务器是一种开源服务器，支持在 Jetson 上部署经过训练的 AI 模型，这些模型来自 NVIDIA TensorRT、TensorFlow 和 ONNX 运行时。在 Jetson 上，Triton 推理服务器作为共享库提供，可直接与 C API 集成。

PowerEstimator 是一款网络应用，可以简化自定义功耗模式配置文件的创建并估算 Jetson 模组功耗。

JetPack 5.0.2 支持适用于 Jetson AGX Orin 和 Jetson Xavier NX 模组的 PowerEstimator

云原生

Jetson 将云原生引入边缘，并支持容器和容器编排等技术。NVIDIA JetPack 包括与 Docker 集成的 NVIDIA 容器运行时，可在 Jetson 平台上启用 GPU 加速的容器化应用。

NVIDIA 在 NVIDIA NGC 上为 Jetson 托管了多个容器镜像。部分镜像适合使用示例和文档进行软件开发，而其他镜像则适用于部署正式软件，仅包含运行时组件。访问 Jetson 云原生页面，了解更多信息以及查看所有容器镜像列表。

JetPack 5.0.2 云原生的亮点包括：

  • NGC 上的新容器：
    • JetPack 容器内包含所有 JetPack 组件，如 CUDA、cuDNN、TensorRT、VPI 等。
    • 交叉编译容器，可在运行 Linux 的 x86 主机上更轻松地交叉编译 JetPack 和 Jetson Linux 组件。
    • Jetson Linux 闪存容器，包括了在运行 Linux 的 x86 主机中刷写 Jetson 模组和开发者套件所需的所有前提条件。

安全

NVIDIA Jetson 模组有多种安全功能，包括硬件信任根、安全启动、硬件加密加速、可信执行环境、磁盘和显存加密、物理攻击防护等。跳转至 Jetson Linux 开发者指南的安全部分，了解安全功能。

JetPack 5.0.2 安全的亮点包括：

  • 安全启动1
  • 磁盘加密
  • 使用正常模式 (REE) 文件系统在 OP-TEE 中安全存储

1签名安装固件至支持 Jetson AGX Orin 的 UEFI。签名和加密安装固件至支持 Jetson AGX Xavier 和 Jetson Xavier NX 的 UEFI

功能安全

NVIDIA Jetson 的功能安全方法是提供硬件错误诊断基础，可用于与安全相关的系统设计情景之下。Jetson Safety Extension Package (JSEP) 提供错误诊断和错误报告框架，用于实现安全功能，并遵循功能安全标准和规范。了解详情。

JetPack 5.0.2 不支持 JSEP。

JetPack 文档和网络会议

文档

在线研讨会

支持

    如果您有任何疑问和问题，请访问 NVIDIA Jetson 论坛。由 Jetson 专家组成的 NVIDIA 专门团队会在论坛上为您提供支持。

如需获取较早版本的 JetPack，请访问 JetPack 存档。