生成式AI爆发的时代，英伟达激发智能机器人和智能工业的全新潜能

一直以来，工业机器人都被誉为“制造业明珠”，是实现传统工业制造向数字化、智能化转型的重要设备。随着各类新型传感器层出不穷，再加上越来越多智能技术的融入，机器人的自动化水平快速提升，无论是制造、能源还是汽车行业，AI在机器人领域的应用日益广泛，此时，传统的CPU密集型处理遭遇瓶颈，加速计算逐渐成为热门的解决方案。

基于Nvidia Jetson平台进行开发的1万多家公司现在可以利用全新的生成式AI、API和微服务来加快推进行业数字化

与此同时，生成式AI、云原生、微服务的应用正在向边缘环境渗透，这也是工业制造、能源、机器人等领域的常见场景，由此，带来了缺陷检测、实时资产追踪、自主规划和导航以及人机交互等方面的创新。根据ABI Research的预测，到2033年，生成式AI将为全球制造业务增收105亿美元。庞大的市场机遇，已成为科技企业争先抢夺的新市场。

前不久，NVIDIA宣布对适用于边缘AI和机器人的NVIDIA Jetson平台上的两个框架进行大规模扩展，同时，NVIDIA Isaac ROS机器人框架已全面上市，NVIDIA Metropolis在Jetson平台上的扩展也将推出。为了加速边缘AI应用的开发和部署，NVIDIA还创建了一个Jetson生成式AI实验室，以供开发者利用最新的开源生成式AI模型进行开发。数据显示，已有超过120万名开发者和1万多家客户选择了NVIDIA AI和Jetson平台，包括亚马逊云科技（AWS）、思科、约翰迪尔、美敦力、百事、西门子等。

由于边缘环境复杂多变，生产线需求迭代较快，需要反复对机器人和AI系统进行编程，整个过程不仅耗时，还要求开发者具备足够的专业技能。而生成式AI具有的“零样本学习”能力（即模型能够识别训练中从未见过的特定事物）和自然语言界面，能够简化边缘AI的开发、部署与管理。可以说，生成式AI通过理解人类的语言提示，对模型进行更改，从而极大地提高了易用性。这些AI模型在检测、分割、追踪、搜索甚至重新编程方面都更加灵活，优于基于CNN（卷积神经网络）的传统模型。

通过对Metropolis和Isaac框架进行大规模扩展，Jetson平台可以结合Transformer模型与生成式AI的能力应对边缘AI的部署难题。在NVIDIA Jetson生成式AI实验室中，为Jetson开发者提供了经过优化的工具和教程，用以部署开源大语言模型（LLM）、以交互方式生成惊艳图像的扩散模型、视觉语言模型（VLM）以及视觉Transformer（ViT）。其中，ViT结合了视觉AI和自然语言处理，可以提供对场景的全面理解。

此外，开发者还可以使用NVIDIA TAO Toolkit，为边缘应用创建高效而精确的AI模型。TAO提供了一个用于微调和优化ViT、视觉基础模型等视觉AI模型的低代码接口。此外，可以定制并微调NVIDIA NV-DINOv2等基础模型或OpenCLIP等公共模型，用少量数据创建高度精确的视觉AI模型。TAO还推出了一个基于Transformer的新型缺陷检测模型——VisualChangeNet。

NVIDIA Metropolis提供了GPU加速的SDK和开发人员工具，能够帮助用户以更快速、更经济、更高效的方式从边缘到云端构建、部署和扩展支持AI的视频分析和物联网应用。该平台提供了一系列功能丰富的应用编程接口和微服务，供开发人员快速开发基于视觉的复杂应用。

NVIDIA Metropolis推进视觉AI技术应用

目前，宝马集团、百事、克罗格、泰森食品、印孚瑟斯和西门子等1000多家企业正在使用NVIDIA Metropolis开发者工具，通过视觉AI来解决物联网、传感器处理和运营方面的难题。这款开发者工具的采用速度也在加快，已被用户下载了100多万次。今年年底前，NVIDIA Jetson平台上的Metropolis API和微服务扩展集也会上市。

NVIDIA Isaac同样是受数百家客户欢迎的平台，其在农业、仓储自动化、最后一公里配送、服务机器人等领域开发了高性能机器人解决方案。在ROSCon 2023上，NVIDIA发布了NVIDIA Isaac Robotics平台的大幅更新，推出了NVIDIA Isaac ROS 2.0和NVIDIA Isaac Sim 2023.1，升级了感知和仿真能力，用于简化ROS开发者对高性能AI机器人应用的构建与测试。

此前，相关人员在开发和测试用于机器人感知或控制的AI模型时，往往会面临数据稀缺的难题，解决这一问题的关键技术便是高保真仿真。NVIDIA Isaac Robotics则为全球机器人开发者提供了高性能感知和高保真仿真的平台，基于开源机器人操作系统（ROS）的Isaac ROS，为自动化带来了感知能力，让移动的物体有了“眼睛”和“耳朵”。借助GPU加速的GEM拥有的强大功能（包括视觉里程测量、深度知觉、3D场景重建、定位和规划等），机器人开发者就拥有了为不同应用快速定制机器人解决方案所需要各种的工具。

NVIDIA Isaac Robotics平台集合了丰富的技术，将助推AI在机器人领域的应用

具体来说，Isaac ROS 2.0版本已经达到了生产就绪水平的品质，主要的优化升级包括：原生ROS 2 Humble支持，NVIDIA提供安装就绪型ROS 2 Humble软件包，用于Ubuntu 20.04上运行JetPack 5，无需编译源代码；NITROS ROS桥接器，将Isaac ROS加速扩展到ROS Noetic应用，优化后的ROS桥接器比标准ROS桥接器提速两倍；CUDA NITROS，支持开发者使用带有自定义编码器和解码器的DNN模型，以充分利用NITROS的加速功能；Stereolabs ZED摄像机集成，Isaac ROS已与Stereolabs ZED相机集成；Nova Carter，Isaac ROS软件（包括 Nav 2导航堆栈）已支持Nova Carter，Nova Carter是用于机器人研发的参考AMR，由NVIDIA Jetson AGX Orin驱动；ESS 3.0性能，全新ESS 3.0深度感知DNN模型具有更高的准确性和更强的性能。

机器人开发者可以定制各种解决方案

建立于NVIDIA Omniverse的机器人仿真器Isaac Sim，可用于开发、训练、测试和部署AI机器人，其内置功能包括用于生成合成数据的NVIDIA Omniverse Replicator和用于GPU加速强化学习的Isaac Gym等。借助Omniverse Replicator 1.10，开发者利用基于YAML的低代码配置器和异步渲染功能，就可以提高合成数据生成能力。Isaac Sim的精准传感器仿真适用于当今的多数主流传感器。Isaac Sim还支持ROS和ROS 2，也可以通过Python脚本进行控制。

Isaac Sim 2023.1的升级包括：全新内置机器人模型和传感器，使用内置机器人模型和传感器快速入门。新机器人模型包括FANUC和Techman。新传感器包括Orbbec、SENSING、Zvision、Ouster和RealSense；升级的ROS及ROS 2支持，为仿真应用创建自定义ROS和 ROS 2 消息。URDF/MJCF导入器现已开源，便于将机器人导入Isaac Sim平台；增强的合成数据生成（SDG）支持：针对机械臂和移动机器人应用，现已添加仿真随机化功能；仓库构建器模块化3D资产，使用SimReady仓库场景和资产，快速创建强大的仓库环境，即可测试和演练机器人解决方案。

NVIDIA Isaac Sim 2023.1新增的内置机器人模型包括FANUC Robot Arm（左）、Fraunhofer EvoBOT（中）和Techman Cobot（右）

为开发生产级AI解决方案，需要开发和训练针对特定用例定制的AI模型，在平台上实现强大的安全功能，编排应用，管理机队，建立边缘到云的无缝通信等。NVIDIA推出了一套基于Metropolis和Isaac框架的精选AI工作流参考，帮助开发者快速采用整个工作流或有选择性地集成独立的部分，从而大幅减少开发时间和成本。三个AI工作流包括： 网络视频录制、自动光学检测和自主移动机器人。此外，NVIDIA还推出了一系列系统服务，为每个开发者提供在构建边缘AI解决方案时必不可少的基本功能，简化与工作流的集成，使他们不必再费时费力地从头开始构建这些服务。

全新的NVIDIA JetPack 6会在今年年底上线，AI开发者将无需全面升级Jetson Linux就能保持在计算领域的前沿，大幅加快开发进度，不再依赖Jetson Linux。JetPack 6还将通过与Linux发行版合作伙伴的合作，扩大基于Linux的发行版的选择范围，包括Canonical的优化及经过验证的Ubuntu、Wind River Linux、并行实时Redhawk Linux以及各种基于Yocto的发行版。与此同时，Jetson合作伙伴生态系统提供了从硬件、AI软件和应用设计服务到传感器、连接和开发者工具的广泛支持。这些创新的合作伙伴作为NVIDIA合作伙伴网络（NPN）中的一部分，是为市场上在售的众多产品提供构件和子系统的中坚力量。新版本通过采用更多具有更强性能与功能的AI技术，将助力Jetson合作伙伴加快产品上市并扩大客户群。此外，独立软件供应商合作伙伴也将能够为Jetson提供更多产品。