字幕组双语原文：盘点 | 电子游戏中的神经技术与脑机接口应用

英语原文：Neural Tech and Brain Computer Interfaces (BCI) in Video Games: An Overview

翻译：雷锋字幕组（听风1996、小哲）

最近，我参加了由 NeurotechX 举办的关于神经技术和BCI（Brain Computer Interfaces或BMI，脑机接口）在游戏中的应用的虚拟会议。

我已经时不时地关注这个领域有一段时间了，因为BCI在我通向仿真点的路途中扮演了重要的角色，我在我的书《 The Simulation Hypothesis》中描述过。在这个理论点上，我们将能够将模拟直接传送到大脑中，并得到大脑的反应，就像电影《黑客帝国》中一样。

这次讨论让我想起了我第一次真正认真地思考BCI的时候。那是在看80年代的电影 《Firefox》 时，克林特-伊斯特伍德（Clint Eastwood）饰演的间谍/飞行员的任务是从苏联偷取一架超级机密的飞机。这架喷气机的特别之处在于，它可以对飞行员的心理指令做出反应；它的想法在于，如果你能切断哪怕是一秒（或许是几毫秒）的反应时间，那么这架战斗机就会比北约的战斗机更有优势，因为北约的战斗机仍然使用手持控制。当伊斯特伍德最终偷走喷气式飞机时，有一个问题是，它不会对他的命令做出反应–除非他用以俄罗斯人的方式思考!

虽然我们还没有达到黑客帝国或火狐级别的BCI，但一些有趣的公司的介绍有助于阐明该行业的现状和方法。

我注意到的第一件事是，所有这些公司都在研究无创性的神经接口。这与埃隆-马斯克（Elon Musk）资助的Neuralink公司形成鲜明对比，该公司正在创造一种芯片，可以通过在头骨上钻一个小孔植入大脑。这款备受推崇的芯片承诺具有神奇的特色功能–包括刺激大脑的兴奋愉悦中心，并通过人工智能提高人类的智力。不过首批版本将针对那些有脑部疾病的人。对我个人而言，我不知道有哪个玩家现在准备在自己的脑袋上钻洞，但这种情况可能会在不久的将来发生改变!

图1：在黑客帝国中，人类可以通过一个连接端口和线路进去虚拟(世界)

更为重要的是，与《黑客帝国》中与大脑完全双向连接不同，这些公司大多专注于通过大脑（或生物反馈或肌肉）接口获得玩家的输入，不过其中一家公司也有意让用户接收到身体的信号，以获得更沉浸式的体验。

在虚拟会议的其中两个研讨会上,神经游戏技术领域的六个公司展出了非常有趣的东西:

维尔福(Valve) — 第一个展示是由麦克.阿宾得( Mike Abinder)展出, 麦克阿宾得是一个华盛顿大学的实验心理学家, 他在维尔福集团致力于研究与脑机接口和游戏相关的一些神秘的东西.关于脑机接口技术如何题提升游戏体验,他给出了一个基本的概述,虽然阿宾德对维尔福公司在这个领域中做的研究含糊其辞，但他确实提出了一些很好的论点，即可以收集玩家在玩游戏时的经验和情绪的实时数据，这可能会引发一个全新的适应性游戏体验.关于"我们可以测量的东西"他给出了一个概述 — 主要是不同排列的脑电信号(EEG),他的专业技术术语就是我们可以检测对于警戒,学习,记忆等不同任务的脑电信号,我从中得到的基本想法是，当玩家在做不同的事情时，测量大脑发出的脑电图信号，比如竞争游戏、策略游戏等等，测量诸如“期望、唤醒和支配”之类的东西。

图2: Brainattach的新型脑电(EEG)设备,这款设备被吹嘘为生物生物游戏软件

Brainattach—第二个名为"在游戏中引入生存本能"的讨论来自于Brainattach的Maciej Rudzinski. 现在主要考虑硬件,Brainattach已经研制了一种专为游戏玩家设计的个人脑电信号设备,这种设备被称为"生物游戏软件",  基本上, 这是一种生物反馈装置，可以通过“同步”你的情绪和心理状态来提高你的游戏表现。生物反馈已经以多种形式存在了一段时间了 — 考虑一下，如果你在呼吸时测量你的心率，看看它是如何变化的，那么你基本上就是这样做的。生物反馈。BrainAttach利用其临床级设备的脑电图信号来实现这一点。类似于Valve他的演讲没有很多关于他的设备的内容，而是关于游戏玩家和游戏开发者使用脑电图信号和其他生物反馈来维持“流动状态”的方式，这种状态介于“挫败感”和“无聊”之间，使游戏变得有趣。他们的游戏设备还没有开放, 但是你可以注册:www.brainattach.com.

  图3：完全沉浸式的触觉Teslasuit提供了完全的沉浸感受

Teslasuit— 第一天最有趣的演讲来自Teslasuit公司的Dmitri Mikhalchuk，这家公司从技术上讲根本不是一个BCI—除非你把 "大脑 "这个词换成 "身体"。 对于一个BBI来说。Teslasuit是一款完全沉浸式的触觉服饰，与VR头显结合后，不仅会让你沉浸在一个世界里，还要通过刺激身体的不同部位让你感受游戏的乐趣。Teslasuit在2018年和2019年的CES上首次亮相并引起了轰动，它看起来更像是直接从《Ready Player One》中的出现的东西。它以这样的方式进行工作，它向你身体的不同部位发出电脉冲，并使用和先进的动作捕捉系统和生物识别技术来查看你正在做什么作为输入。据我所知，它并没有严格使用脑电图或大脑接口，但这个地方似乎与生物识别反馈融合在一起。

除了全套衣服，他们还推出了高保真触觉手套，让你在虚拟现实中感受你所看到的物体，结合Luminas XR眼镜，让你获得完全沉浸式的体验。例如，该公司做的赛车演示，你不仅可以看到你移动时的道路，还可以感受到身体不同部位的g-forces。2019年，为了展示他们的潜质能力，他们演示了 "非接触式擒抱 "或 "触觉擒抱 "的演示，他们让一名橄榄球运动员用动作捕捉在模拟擒抱另一名球员。虽然动作捕捉一般都是用来让动画更逼真，但他们真的很想知道在擒抱过程中，身体的哪些部位会与对手接触。现在，任何穿上Teslasuit的人都可以体验到被职业橄榄球运动员擒抱的感觉! 虽然具有创新性，但我想我还是算了，因为那些橄榄球运动员看起来很强壮! 但你可以看到可以打造的游戏应用。这套衣服最初是在Kickstarter上众筹，价格是几千美元–在这里阅读更多关于它的信息。

在第二场会议中，又有三家公司发表了演讲，也更清楚地说明了行业现状以及在更广泛使用BCI方面所面临的一些挑战。

图4：今天的游戏输入（控制器）vs 未来的游戏输入，大脑和生物统计，来自Flying Mollusk of Erin Reynolds。

Flying Mollusk–Flying mollusk的创始人兼CEO Erin Reynolds进行了演讲，从游戏开发者的角度介绍了公司的历史以及BCI和生物反馈的现状。她打造了一个基于生物反馈版本的游戏作为她的一个学术项目，毕业后创办了Flying Mollusk公司，并打造了Nevermind，在几年后发布在steam上。最初是测量心率和其他生物反馈，并利用这些反馈来增加或减少玩家体验到的 "压力 "速度–这正是Valve公司的Mike Abinder所说的 "动态适应性"。之后，她还加入了情感情绪SDK，它可以帮助游戏开发者利用AI技术检测玩家的情绪。原来有一整个行业的公司都在使用面部识别技术来观察用户的脸部，并检测他们是高兴还是悲伤或愤怒，这被称为情感API或情感计算。她并不清楚在她的游戏中使用了多少实际的Brain界面，但她肯定提到脑电图和大脑输入是未来发展的一个领域。Erin还指出了BCI在游戏中的一些障碍–即没有足够的传感器，以及需要更好的游戏开发者工具。点击这里了解更多关于Flying Mollusk和他们的游戏Nevermind的信息。

图5：BCI的硬件演进，来自Neurable的Adam Molnar

Neurable—下一个镜头是来自Neurable公司的Adam Molnar，这家公司曾有过令人印象深刻的演示，仅通过思想就能在VR中移动物体。Neurable是从密歇根大学的研究中发展起来的，是一家位于波士顿的公司，他们将神经界面带入VR世界，改装后的VR头盔可以检测脑电信号。但这并不是他们使用的全部，他们还使用眼球追踪信息和其他信息，不过重点是不同的脑电信号处理。Adam概述了BCI用于游戏的历史，以及剩下的道路。这包括像 Mattel公司的星球大战原力训练器这样的设备，它让你感觉自己真的在使用原力。

图6：Adam Molnar讲述了BCI在游戏中的历史，包括《星球大战》原力训练器!

Adam和其他许多小组成员一样，认为心智界面是游戏界面的下一个可行的逻辑步骤，游戏界面从打字命令到操纵杆/鼠标，再到手势和触摸控制。Adam还概述了他们的历史发展，从实验室里的湿式传感器，到可以连接到VR的干式传感器，再到未来将包括集成传感器。Adam指出BCI作为一个行业的危险之一是设定过高的期望值。当人们看到几年前的Neurable演示时，很容易就认为BCI真的来了—当时还有很多工作要做。这种 "崇高的期望 "实际上可能是一个问题，因为现实情况很少与这些演示的炒作相匹配。换句话说，我们很容易认为我们已经达到了像火狐那样的读心术，但我们确实还没有达到，整个BCI领域可以被贴上 "失去潜质能力 "和/或 "哑巴 "的标签。Neurable的目标是 "永远的BCI"–请看这里。

图7：Brink仿生学手套能感知动作，给游戏玩家带来优势!

Brink Bionics–最后的演示就像把火狐做成了一个具体的用例和使它应用到非常具体的游戏中，由Brink Bionics的Erik Lloyd做的。他们宣称，在需要快速反应和手眼协调的游戏中，比如第一人称射击游戏和类似的动作游戏，信号从大脑到手再到鼠标/键盘/操纵杆/输入设备所需的几毫秒时间，就能起到决定性作用。他们的技术可以装在无指手套中，可以检测到神经中的小电脉冲，导致肌肉抽搐，从而表明用户决定在游戏中执行什么命令。不过，他们的产品不需要使用鼠标，而是可以将肌肉输入直接转化为现有游戏中的命令！这也许是最实用的产品。这也许是此次展出的产品中最实用的一种–虽然有新的硬件，但你不必对现有的游戏进行重新编程，因为他们将肌肉信号转换为鼠标或其他控制器的现有命令。在这里了解更多信息。

图8：Erik Lloyd谈BCI今天与未来的状态

Erik还谈到了神经技术在游戏中的发展，并指出今天我们现在正处于第一阶段–游戏向用户提供刺激，然后我们测量结果（或用户的反应），然后将其映射到一些已知的反应。他称之为 "依赖性 "BCI，而最终将出现 "独立性 "BCI，它不需要向用户呈现一个场景（就像VR一样），但将允许机器直接接收我们的任何想法，我们可以使用这些想法来控制机器。

结论

Erik对 "依赖型 "和 "独立型 "的BCI的区分，或许是结束当今行业现状讨论的好地方。你会注意到，我并不是在VR或AR中或通过BCI观看会议，而只是在Youtube上观看。

今天的BCI使用了生物反馈（心率、皮肤/压力反应）、情感计算（基于面部识别的情感）、脑电信号检测（而且有很多关于解释这些信号的不同方法的研究）、眼球跟踪（用于VR内部的意图）、动作捕捉（用于teslasuit）和电脉冲模拟触摸的组合。虽然行业现状已经不再只是研究实验室，但要想从你的头脑中直接控制任何游戏，还有很长的路要走。也许用不了多久，这些技术的影响就会超越游戏–谁知道可能会有一个像火狐一样的战斗机在路上呢!

Rizwan Virk毕业于麻省理工学院和斯坦福大学，是一位未来学家、企业家、风险投资家、视频游戏先驱、独立电影制作人和畅销书作家。他的著作包括《模拟假说》：一个麻省理工学院的计算机科学家展示了为什么人工智能、量子物理学和东方神秘主义者一致认为我们在电子游戏中，以及《你在商学院学不到的创业神话和模型》。他是Play Labs @ MIT的创始人，也是包括Griffin Gaming Partners在内的多家风险投资公司的风险合伙人。访问他的网站：www.zenentrepreneur.com

雷锋字幕组是一个由 AI 爱好者组成的翻译团队，汇聚五百多位志愿者的力量，分享最新的海外AI资讯，交流关于人工智能技术领域的行业变革与技术创新的见解。

团队成员有大数据专家、算法工程师、图像处理工程师、产品经理、产品运营、IT咨询人、在校师生；志愿者们来自IBM、AVL、Adobe、阿里、百度等知名企业，北大、清华、港大、中科院、南卡罗莱纳大学、早稻田大学等海内外高校研究所。

如果，你也是位热爱分享的AI爱好者。欢迎与雷锋字幕组一起，学习新知，分享成长。

雷锋网雷锋网(公众号：雷锋网)

雷锋网版权文章，未经授权禁止转载。详情见。