NVIDIA图灵神卡Tesla T4详解：功耗仅75W

TensorRT超大规模平台是一整套硬件和软件产品，这些产品针对强大、高效的推理进行了优化，整套系统的关键要素包括基于Turing架构的Tesla T4专业计算卡、TensorRT 5和TensorRT推理服务器。

Tesla T4是一款独特的GPU产品，专为AI推理工作负载而设计，如处理视频，语音，搜索引擎和图像的神经网络。Tesla T4配备16GB GDDR6，GPU中集成320个Turing Tensor Core和2560个Turing CUDA Core，这款全新GPU具有突破性的性能，以及FP32/FP16/INT8/INT4等多种精度的运算能力，FP16的峰值性能为65T，INT8为130T，INT4为260T。

作为上一代Tesla P4的继任者，Tesla T4采用高能效的75瓦小型PCIe封装，可轻松适用于大多数服务器。NVIDIA称其可在相同的功率范围内提供高达12倍的性能提升，可能为推理工作负载的功效设定了新的标准。

Tesla T4还具有针对AI视频应用的优化功能，此功能由硬件转码引擎提供动力，提供两倍于Tesla P4的性能。NVIDIA表示Tesla T4可以同时解码多达38个全高清视频流。

围绕Tesla T4的一系列技术，NVIDIA公布了TensorRT Hyperscale平台。该平台支持PyTorch、TensorFlow、MXNet和Caffee2等所有主要的深度学习框架，NVIDIA还为其配套提供了推理优化器和运行时引擎TensorRT 5，这是Nvidia深度学习推理优化器和运行时引擎的新版本，支持Turing Tensor Core，并对适用于多精度工作负载的神经网络优化集进行了扩展。此外还公布了为Turing优化的CUDA 10，其中包括优化的库、编程模型和图形API互操作性。

而TensorRT推理服务器这一容器化的微服务软件使应用能够在数据中心生产中采用AI模型，其在NVIDIA GPU Cloud容器注册中免费提供，可实现数据中心吞吐量和GPU利用率的最大化，支持所有常用AI模型和框架，并集成了Kubernetes和Docker。

会上，NVIDIA还公布了其AGX阵容，这是其基于Xavier的产品系列的新名称，产品阵容包括Drive Xavier和新推出的Drive Pegasus，此次主要介绍的是Drive AGX Xavier开发套件，这是一个用于构建自动驾驶系统的平台。这种开放、可扩展的软件和硬件解决方案使公司能够无缝地开发和测试定制的自动驾驶技术，简化生产。NVIDIA还提供类似的Clara平台，专为医疗应用而设计，作为疾病早期检测、诊断和治疗的新工具。

而作为AGX阵容的另外一部分，NVIDIA还推出了Jetson AGX Xavier开发套件，部分日本的工业和制造商率先开始使用该新系统。

作为世界上第一台为人工智能、机器人和边缘计算而创建的计算机，Jetson AGX Xavier的大规模计算性能可以处理对下一代机器人至关重要的测距、定位、测绘、视觉和感知以及路径规划。同时黄仁勋在今天GTC大会上介绍到，雅马哈汽车公司将选择NVIDIA Jetson AGX Xavier作为开发系统，为其即将推出的自动机器系列提供动力。