NVIDIA Isaac ROS

借助加速计算包和 AI 模型的 NVIDIA Isaac™ ROS 集合,探索更快、更简单的方法来构建先进的 AI 机器人应用程序,为世界各地的 ROS 开发者带来 NVIDIA 加速。

立即下载文档

面向机器人专家的丰富模型集合

访问基于摄像头和激光雷达传感器数据运行的全系列 ROS 2 (机器人操作系统) 节点。其中包括基础模型,即 DNNetworks,它们是为基于 ROS 的机器人应用提供高性能感知和 NVIDIA 加速计算硬件加速的关键。

A full range of ROS 2 (Robot Operating System) nodes for roboticists

Isaac ROS 的主要优势

开放式生态系统

基于 ROS 构建

NVIDIA Isaac ROS 基于开源 ROS 2™ 软件框架构建。这意味着 ROS 社区中的数百万开发者可以轻松利用 NVIDIA 加速库和 AI 模型,快速跟踪其 AI 机器人开发和部署工作流程。

Open Robotics ROS logo

ROS 是 Open Robotics 的商标

高吞吐量感知

Isaac ROS 提供了针对 NVIDIA GPU 和 Jetson™ 平台优化的丰富的单个 ROS 包 (GEM) 和完整流程 (NITROS).这有助于您在缩短开发时间的同时取得更多成果。

灵活的模块化软件包

即插即用,即可选择适用于计算机视觉、图像处理、稳健物体检测、碰撞检测和轨迹优化的软件包,轻松投入生产。

NVIDIA AI 的强大功能

Isaac ROS 与所有 ROS 2 节点兼容,因此可以更轻松地集成到现有应用程序中。使用 NVIDIA AI 开发机器人应用程序,并从机器人特定数据集中预训练模型,以加快开发速度。


新内容

要开始使用,只需安装适用于 NVIDIA JetPack™ 的 ROS 2 Humble 软件包。查看 Isaac ROS 发行说明中的所有详细信息。

用于机器人操作的 cuMotion

为机械臂相关任务集成 NVIDIA® CUDA® 加速的路径规划,例如使用机器人遮罩的碰撞检测和使用 MoveIt 运动规划框架的集成轨迹优化。

基础姿势

介绍我们先进的 6D 姿态估计基础模型,用于检测新奇物体。现在,您可以更轻松地构建遇到先前未见过物体的应用程序。

多摄像头视觉惯性测距

这种先进的解决方案可为机器人实现更智能的定位。机器人可以快速准确地掌握自身位置,同时准确检测和避开障碍物。


Isaac ROS 的主要特性

A workflow diagram of NVIDIA Isaac Transport for ROS (NITROS)

适用于 ROS 的 NVIDIA Isaac Transport (NITROS)

最新的 Humble ROS 2 版本提高了使用硬件加速器的计算平台的性能。它可以为类型适应和类型协商提供加速计算功能,消除软件/CPU 开销,并提高硬件加速性能。

NVIDIA 实现的类型适应和协商称为 NITROS,是由 Isaac ROS 硬件加速模块 (即 GEM) 组成的 ROS 处理流程。NITROS 的源代码现在可供开发者修改、扩展和在您的应用中使用。适用于 NITROS 的 H.264 视频编码和解码硬件加速包用于压缩摄像头数据记录和播放,以开发 AI 模型和感知功能。它们以 30fps (总计 > 120fps) 的速度压缩两个 1080p 立体摄像头,并将数据占用减少约 10 倍。

利用为 ROS 2 Humble 添加的硬件加速功能,通过强大的流程提升性能。您可以在此处找到完整的性能摘要 >

适用于 ROS 的 NVIDIA Isaac Transport

使用 nvBlox 重建 3D 场景

仅了解机器人的位置不足以安全地在复杂环境中导航。机器人还必须能够自行发现障碍物。nvBlox 使用 RGB-D 数据为机器人环境创建密集的 3D 表示。它包括不可预见的障碍物,如果不实时观察,这些障碍物可能会对机器人造成危险。这些数据有助于为导航堆栈生成时间成本图。

Isaas ROS nvBlox
A 3D Scene reconstruction with nvBlox

DNN for stereo camera disparity prediction

立体感知

基于 DNN 的立体感知 GEM 旨在帮助机器人专家完成常见的感知任务。

增强型半监督式 (ESS) 立体差异是用于立体摄像头差异预测的 DNN,而 Bi3D 是用于基于视觉的接近检测的 DNN。

两者均为使用合成数据的机器人应用预训练,并用于商业用途。

Isaac ROS DNN 立体差异
Isaac ROS 接近分割

任务调度和客户端

IIsaac Mission Dispatch 允许云/边缘系统使用行业标准进行生产部署,使用 Isaac Mission Client 从 ROS 2 机器人发送和监控任务。Mission Dispatch 是一种云原生微服务,可以集成为大型车队管理系统的一部分。

Mission Dispatch 和 Mission Client 均提供开源版本,可用于在模拟环境中测试机器人,以实现持续集成和持续部署 (CI/CD) 测试部分的自动化,并根据预期结果执行一系列预定义任务。除了向运行中的机器人分配任务这一主要用途之外,还可获得这一优势。

通过 ROS 2 机器人上的 Mission Client,Mission Dispatch 可以集成到车队管理系统 (例如 AnyfleetRoborunner FleetGateway) 中。它还将与基于 VDA5050 构建的其他 ROS 2 客户端进行互操作。

Isaac ROS 任务调度
Isaac ROS 任务客户端
A stack diagram of Isaac Mission Dispatch and Client


开发者资源和支持

获取实时帮助

与专家实时交流,解答您的问题。

探索资源

使用免费的入门教程,按照自己的进度学习。


机器人相关新闻


客户案例

NVIDIA Isaac ROS powers Tita, a wheeled bipedal robot by Direct Drive Tech

Direct Drive 技术

Isaac ROS 为 Direct Drive 的核心感知算法提供实时性能,这些算法用于 Tita 的轮式和两足机器人。

阅读案例
NVIDIA Isaac ROS libraries and tools powers autonomous farm robots by FarmX

FarmX

GPU 加速的计算机视觉、深度学习和视觉测距等 Isaac ROS 库和工具为自主农场机器人带来了出色的性能。

阅读案例
NVIDIA Isaac ROS’s AprilTag marker library enables  Miso Robotics’ kitchen automation

MISO 机器人

Isaac ROS 的 AprilTag 标记库支持随时跟踪食物的位置,以支持实现厨房自动化的整体目标。

阅读案例
NVIDIA Isaac ROS powers autonomous mobile robots by Peer Robotics

对等机器人

借助现代 AI 感知,Isaac ROS 可简化通常需要熟练劳动力才能完成的任务并实现自动化。

阅读案例
NVIDIA Isaac ROS enables smart glasses for the blind by .lumen

.lumen

VSLAM 和立体感知等 Isaac ROS 优化的软件包为失明者提供智能眼镜。

阅读案例

机器人开发者评价

Isaac ROS 软件包中的 cuVSLAM 融合了 IMU 和视觉数据,通过 6 DoF 姿态估计实现可靠的映射和定位。这种即用型 GPU 加速机器人 SDK 为 Direct Drive 的核心感知算法提供实时性能。

— Di Zhang,Direct Drive Tech 总裁

NVIDIA 产品的广度使其非常适合 FarmX.从 Isaac ROS 中的操作环境和库,到允许我们在无人机和大型拖拉机等车辆上部署的各种模块,Jetson 使我们能够专注于开发应用程序,而无需担心平台。

— FarmX 机器人副总裁 Dan Hennage

NVIDIA 的 Isaac ROS 为我们提供了以超高准确性实时追踪物体所需的 GPU 加速性能。它为我们提供的出色姿态估计质量是提供客户期望从我们的解决方案中获得的高水平可靠性和精度的关键。

— Miso Robotics 软件工程总监 Zach Zweig-Vinegar

NVIDIA Jetson 平台和 Isaac ROS SDK 使我们这样的初创公司能够更好、更快地构建解决方案。Peer Robotics 将 Isaac ROS 软件包中的全球定位和 NVBlox 与我们的堆栈相结合,提供端到端解决方案,以加速新一代仓库自动化。

— Rishabh Agarwal,Peer Robotics 首席执行官

通过将 Isaac ROS 集成到我们的 ROS 2 系统中,我们能够使用 Triton 推理服务器运行多个模型,从而加速和简化输入和输出流程,而无需具备丰富的 AI 和 ML 实施知识。

— Trimble 工程总监 Adrian Ferrier


加速机器人应用程序开发,立即开始使用 NVIDIA Isaac ROS。

立即下载文档