刚改完名 扎克伯格在博客上公布了一款逆天的AI数字皮肤

编译| 程茜

编辑 | 李水青

ReSkin利用机器学习和磁感应，采用无监督学习算法来帮助自动校准触摸传感器，提供了一种廉价、多功能、耐用且可替换的长期使用解决方案。

扎克伯格谈道，ReSkin已经被放在多种应用场景中实验，例如，研究人员将ReSkin和电路板放在狗鞋的鞋底，跟踪狗在休息、行走和跑步过程中施加的力的大小和方向。“它还可以解锁AR、VR的可能性，并引领工业、医疗和农业机器人技术的创新。”Meta研究科学家说。

▲佩戴在狗脚上的ReSkin（图片来源为Meta）

除了ReSkin，Meta还概述了触觉感知领域在开发硬件、模拟器、数据集和用于触摸感应测试的基准方面已经取得进步。该公司表示，已经形成了AI系统通过触摸进行理解和互动的基础。

另外，Meta开源了ReSkin的设计、数据文档、代码和基础模型，帮助其他研究人员更快使用该传感器，进一步推动触觉传感器发展，并促进AI行业的应用落地。

一、从18mm到2mm，Meta数字皮肤大进化

“我们通常认为触摸是一种传达温暖和关怀的方式，但它也是我们感知周围世界的关键方式。”Calandra和Lambeta说，“触觉为我们提供了无法通过任何其他感官辨别的信息，例如关于物质的温度、质地和重量，有时甚至是它的状态。”

“触觉帮助我们在周围的世界中‘导航’。有了它，我们可以收集关于物体的信息，例如它们是轻还是重、软还是硬、稳定还是不稳定，我们还可以使用触觉来完成从穿鞋到准备饭菜的日常任务。”Meta研究员经理Abhinav Gupta和博士后研究员Tess Hellebrekers表示。

触觉传感是机器人技术中的一个新兴领域，旨在理解和复制物理世界中人类级别的触摸，在家庭到工厂车间等环境中，能够让机器人学习和使用自己的“触觉”，从而使机器人更高效、更安全、更温和。

过去几年，Meta一直在开发触觉传感器，主要专注于机器人抓取任务。2020年，Meta已经推出一种高分辨率、低成本的小型触觉传感器Digit，可以安装在多指机器人手上。

▲Digit的分解图（图片来源为Meta）

Digit的塑料机身外壳可以通过3D打印和注塑成型来制作。同时，Digit还配备了三个RGB发光二极管，正如下图所示，这可以为使用硅和丙烯酸制造工艺定制设计的弹性体凝胶表面提供照明，可以平衡坚固性和灵敏度。Digit制作过程中使用“压配合”连接工艺将相机和凝胶安装到机身上，以便可以更换组件，还可以更换外壳以适应不同的镜头焦距。

▲安装在机械手上的Digit（图片来源为Meta）

对Digit进行实验时，将其配备到机械手上，研究团队利用该机械手的拇指和中指去握住和操纵玻璃弹珠。在50次试验过程中，大约25%的时间中机械手中的弹珠会掉落。研究人员将此归因于数据不准确和多变性，而不是Digit设计中的缺陷。

Digit的塑料外壳、凝胶和电子产品的制造文件以及用于编程的固件二进制文件于去年6月在GitHub上开源。同时，近日Meta宣布将与麻省理工学院的衍生公司GelSight合作生产Digit。

相比于Digit，现在发布的ReSkin是一种嵌入了磁性颗粒的可变形弹性体。

▲可变形弹性体ReSkin的演示模型

其次，ReSkin相比于Digit可能更便宜，生产100张ReSkin时每件成本已经低于6美元，而生产1000张的Digit每件成本仍为15美元。Gupta和Hellebrekers介绍道，ReSkin的厚度为2毫米到3毫米，而Digit的厚度为18毫米，可进行超过50,000次交互，这使得ReSkin成为从机械手、触觉手套到臂套甚至狗鞋等各种外形的理想选择。

▲安装在机械手上的ReSkin（图片来源为Meta）

“ReSkin还可以提供高频三轴触觉信号，用于快速操作任务，如滑、扔、接和拍手等。当它磨损时，可以很容易地将其剥离并更换新的配件。”Gupta和Hellebrekers说。

根据Gupta和Hellebrekers的说法，ReSkin实际目标是建立一个联系人数据源，这可能有助于进行对象分类等一系列基于触摸的任务时，整合数据资源，进一步推进人工智能。使用ReSkin开发的具有触觉感知技能的AI模型，还可能被用于在医疗保健环境中工作或抓取柔软的物体。

ReSkin可以与其他传感器集成，收集视觉、声音和触摸数据以创建多模式数据集，因此有助于构建比以前更真实的世界模型。

▲ReSkin传感器用于测量触觉力（图片来源为Meta）

“今天的人工智能有效地融合了视觉和听觉等感官，但触觉仍然是一个持续的挑战，是由于人体以外获取触觉传感数据有限。因此，AI研究人员希望利用人们触觉感知的丰富性和冗余性，更好地将触觉融入到他们的模型中。”

二、ReSkin有望解决大规模生产难题

值得注意的是，Digit和ReSkin都不是该领域中的第一个触觉传感器，其他触觉传感器还包括加州大学伯克利分校研究小组开发的OmniTact和麻省理工学院计算机科学和人工智能实验室的机器人抓手GelFlex，新加坡国立大学还使用英特尔的原型芯片开发了触摸感应机器人“皮肤”。

▲机器人抓手GelFlex正在抓取物体（图片来源为麻省理工学院 ）

但是，之前的这些实践表明，“柔软的皮肤”难以进行大规模制造，因为在制造过程中它们会发生变化，首先是该设备本身的材料的性质会随着时间的推移而发生变化，其次对材料的使用方法不同也会使其产生改变，这都为“皮肤”的大规模制造增加了挑战。同时，每个传感器都必须通过校准程序来确定其各自的响应结果，这也意味着校准程序必须自行适应上述变化。

ReSkin利用机器学习和磁感应，并采用无监督学习模型，设备安装、使用时减少触碰，降低其损坏率，一定程度上能缓解难以大规模制造的困境。

ReSkin通过消除软材料和测量电子设备之间的电气连接，无需近距离接触连接，确保其材料不受外界干扰，以此克服其在大规模制造时出现的困难。该触觉传感器的磁信号依赖于接近它的距离，因此电子设备只需在附近，无需连接就可以接收磁信号。

除此之外，ReSkin还开发了一个映射函数，该函数对来自多个数据源的数据进行训练，使其比传统映射函数更具通用性和稳健性。并且ReSkin的传感器采用无监督模型，可以使用少量未标记数据自动且连续地进行微调。

▲ReSkin的无监督模型演示

在无监督学习中，算法会受到“未知”数据的影响，这些数据不存在先前定义的类别或标签。这与“监督”学习相反，在“监督”学习中，算法是针对特定输出注释的输入数据进行训练的，直到它们可以检测到其中潜在的关系。在ReSkin上运行的那些无监督机器学习系统，必须从固有数据中自学，能够对未标记的数据进行分类、处理，而不是从注释中学习。

“我们可以使用未标记数据的相对位置来帮助微调传感器的校准程序，而不是提供先验的强制标签。例如，我们知道在三个接触点中，物理上彼此更接近的两个将具有更相似的触觉信号。”Gupta和Hellebrekers解释。

“总而言之，ReSkin开辟了现有系统无法实现的多功能、可扩展且价格低廉的触感模块。现有的基于摄像头的触觉传感器要求设备表面和摄像头之间的距离达到最小，从而导致设计更加笨重。相比之下，ReSkin可以作为一个表层覆盖在人类和机器人的手和手臂上。”

“我们对通用触觉传感器的研究催生了今天的ReSkin，它具有低成本、便携且续航时间久的优点，其次，它的皮肤就像剥皮和换上新绷带一样容易更换，并且可以立即使用。我们学习的模型在开箱即用的新设备上表现出色。这是一个强大的工具，将帮助研究人员构建AI模型，为广泛应用的多样性提供动力。”Gupta和Hellebrekers写道。

三、开源模拟器、学习框架、基础模型……

为了支持像Digit和ReSkin这样的硬件，Meta今年夏天开源了Tacto和PyTouch，这是用于PyTorch机器学习框架的库。Tacto是基于视觉的触觉传感器模拟器，而PyTouch是用于触摸传感的机器学习模型和功能的集合。

▲PyTouch的界面

Tacto模拟器能以每秒数百帧的速度呈现触摸读数，并且可以将其配置为不同的传感器，包括Meta自己的Digit。正如Calandra和Lambeta指出的那样，模拟器在原型设计、调试和机器人基准测试中发挥着重要作用，因为它们可以通过测试而避免进行昂贵的实验。他们说：“模拟实验能够使得设备运行更快，除此之外，也可以通过模拟实验获得正确的硬件，并减少触觉传感中硬件表面的磨损和撕裂，这使得模拟对于触摸传感变得更加重要。”

至于PyTouch，它为传感器提供了基本功能，例如检测触摸和滑动，以及估计物体姿态等。PyTouch可以将现实世界的传感器和Tacto集成，以实现模型验证和将模拟训练的概念转移到现实世界应用程序中的“Sim2Real”功能。Meta还设想PyTouch能够让机器人社区使用专用于“即服务（as a service）”触觉传感的模型，研究人员可以在其中连接传感器，下载预先训练的模型，并将其用作应用程序中的组成部分。

“我们目前正在研究Sim2Real转移，用于在模拟中训练PyTouch模型并将它们部署在真实传感器上，并作为快速收集数据集和训练模型的一种方式。”Calandra和Lambeta说，“在模拟中，收集包含大量数据的大规模数据集可以在几分钟内完成，而使用真实传感器收集数据需要时间和人力来物理探测物体。因此我们计划探索Real2Sim方法，以更好地从真实数据中调整模拟器。”

在触觉感知方面有一大堆障碍需要克服，包括硬件限制、对哪些触摸功能用于特定任务缺乏了解，以及缺乏广泛应用的基准测试。

Meta为克服上述障碍，迈出了一小步，发布了ReSkin的设计、数据文档、代码和基础模型，以帮助研究人员使用该传感器，而无需收集或训练他们自己的数据集。

结语：多个玩家共同努力，触摸传感器解锁更多可能

Meta发布ReSkin，开源大量软件、数据，利用机器学习和磁感应，采用无监督学习模型，在探索触摸传感器领域更进一步，有望在机器学习的领域取得重大进展。

一代代的通用触摸传感器催生了ReSkin，在大规模生产难题上更进一步，离不开众多企业、研究人员等对卡脖子问题的努力。Meta表示，无论触摸传感器的发展增量如何，都可以帮助推进AI技术，并帮助研究人员构建具有增强功能的机器人。