港科大刘明：深度学习为机器人研究注入新能量，产业需求是新发展的源动力 | CCF-GAIR 2018

2017 年 10 月，多家媒体报道了香港科技大学刘明团队研制的低速无人车系统：

港科大电子及计算机工程学系助理教授刘明率领团队研发了香港首部拥有多项创新功能的无人车。他们开发了一个先进无人车综合系统，当中包含传感器系统、动态建模系统及面向终端应用的人机接口。此外，他们还研发了基于云端的控制台，能统一全天候监控无人车的动态性能，包括车辆行驶状态、环境信息到电线驱动的转向、加速及制动信号等等。

刘明博士目前担任香港科技大学机器人学院机器人与多感知实验室（RAM-LAB）主任，他本科毕业于同济大学，于 2013 年获得瑞士苏黎世联邦理工学院（ETH）机器人学博士，由于出色的科研成果，他在博士毕业前即加入香港科技大学任教。

在他的带领下，实验室快速扩张，目前，实验室中除了他的研究生和博士生，还有许多来自 ETH、清华等高校的实习生。通过多年的积累，在香港、深圳两地已经形成几十人规模的科研团队。近年来团队获得了包括 IEEE-IROS 大会最佳 Robocup 论文奖，IEEE-CYBER 大会最佳论文奖，IEEE-ICIA 会议 Automation 最佳论文奖，IEEE-MFI、IEEE-ICAR 最佳学生论文奖等 10 余项国际奖励。

图：香港科技大学机器人学院机器人与多感知实验室（RAM-LAB）团队

在社会工作上，刘明博士历任 2016 年 IEEE 实时系统机器人大会主席，2017 年国际计算机视觉系统大会主席，2017 年机器人产业联盟大会组委会主席。在科研与产业上，他集机械、电子、计算机、算法及系统工程多方面背景于一身，拥有充分的第一手技术能力与经验。

图：香港科技大学电子及计算机工程学系助理教授刘明

务实、谦逊是雷锋网 AI 科技评论对这名 33 岁年轻教授的第一印象。

谈到去年研制的无人车，刘明博士对雷锋网 AI 科技评论说道，他从大学高年级就跟随万钢教授进行汽车动力控制方面的研究，本科毕业之后在德国西门子从事与汽车相关的项目，博士阶段进行移动机器人的研究。一步步走来，基于在汽车与机器人两方面的积累，恰逢港香港科大提供校级发展资金支持，他就想可以借机系统地、一体化地实现无人车系统，尤其针对低速载人载物场景。

这一问题的解决并非易事，刘明博士对雷锋网 AI 科技评论表示，这一系统面向的是低速混杂场景，环境中包含多种未知因素。

他们团队提供的是整体化设计方案，这不同于大多数团队想法。刘明博士解释道，「有些人做这样一个无人车系统，可能主要偏重算法和方案；有些人会从车本体的角度，比如动力系统、机械结构等考虑；还有些人会从通讯的角度来看。我们是从一体化的角度，不只是展现单一的技术，从车的底层结构，到电气、电子硬件部分，再到算法设计，我们都拥有自主产权，并进行了长时间的稳定性测试。」

他进一步对雷锋网 AI 科技评论说道，这一系统有两个突破点，一是将底层硬底平台和上层软件平台完美结合，二是在控制系统和感知系统上的独特算法。「一切的目标就在于如何以一个稳定的平台进行产业落地，并掷地有声。」在算法方面，他们一方面运用传统的几何方面的感知算法，比如 ICP、SLAM、RRT 等常规算法，另一方面，通过机器学习与深度学习算法，基于数据驱动进行决策与控制，应对复杂场景。

他表示，这些新的算法的融合极具创新性，对工程实现能力也提出了很高的要求，大家也是摸着石头过河。

深度学习为机器人研究注入新能量

在香港科技大学刘明博士的主页上可以看到，他的研究涉及移动机器人、制图和导航、深度学习、深度强化学习等多个领域，他对雷锋网(公众号：雷锋网) AI 科技评论表示，目前他的研究以移动机器人为主，由他担任主任的 RAM-LAB 实验室的研究分为三个大的方向：

• 一是导航，包括地图、避障、定位路径规划等技术；

• 二是学习，包括深度学习、深度强化学习、传统的机器学习，此外，还有对识别问题、数据拟合问题以及激光点云、多传感器融合等的研究；

• 三是应用，例如一些大范围低成本室内外定位与导航的应用、可见光定位系统、无人船、无人车平台等。

目前，他们比较前沿的研究是机器学习与机器人技术的深度结合，其中包括深度学习、深度强化学习、迁移学习等。他表示，将深度学习融入机器人领域也是最近几年才兴起，他们早在 2015 年即用深度学习解决实际平台的避障与路径规划问题，在低速室内外服务机器人、扫地机器人等场景中具有广泛的应用潜力。

图： RAM-LAB 实验室自研无人车之一

图： RAM-LAB 实验室无人船平台

他对雷锋网 AI 科技评论说道，相较传统偏几何的感知与学习方法，比如贝叶斯优化，机器学习存在诸多优势。

「传统方法的特点是效果的上下限已经基本确定，而利用机器学习方法，可以通过大量有效数据的加持，一直刷新性能的上限，出现令人惊奇的结果。」

不过刘明博士坦言，深度学习与迁移学习在机器人学术圈里目前还处于摸索阶段。「传统方法虽然存在局限性，但它的运作机理很清楚，结果比较稳定。利用机器学习虽然会取得比较好的结果，但它具有动态性，一旦训练数据特别差，结果也会非常差。其上下限都是不确定的。它更像一个黑盒子，背后的机理、训练过程还不明确。现在大家希望解析每一层的网络特征，慢慢将它变成灰盒子，最终期望能向白盒子过渡。」

现在，他们也在尝试将传统方法与深度学习方法结合，他表示，大家对神经网络提出了新要求，比如能不能用小数据量来进行训练，能不能进行不同问题及不同场景的迁移学习，如何证明系统的稳定性，如何将算法快速落地到应用，而为了更好地解决这些新的问题，单靠深度学习的既有网型不行，需要引入传统方法进行有效补充。

基于之前的 Virtual-to-real Deep Reinforcement Learning: Continuous Control of Mobile Robots for Mapless Navigation 初步研究成果，四月初，他们团队投稿一篇最新论文——Curiosity-driven Exploration for Mapless Navigation with Deep Reinforcement Learning，这一工作中重要的一点就是通过深度神经网络描述空间关系，实现从无记忆到有记忆智能体的进化。在这里，建图、定位、探索的过程都是由深度神经网络一体化解决。

「相关的一些结构化信息实际上可以通过深度网络，或者是通过网络结构里某些特征的组合去进行描述。基于这样一个前提，我们希望这一算法不仅仅能解决导航问题，还能同时解决探索问题，更根本的是解决记忆和知识表达、存取与转移的问题。」

他表示这一算法极具价值。「如果机器人具备探索能力，就可以自动扫描，不断学习，慢慢知道空间的描述，不需要人为去做太多分割，从而真正产生『智能』，而不仅仅是『学习』。」

对于这一算法的落地，他也非常乐观。「从实际应用的角度来看，会非常快。我们的强项是做系统，这里的深度学习方法只是研究中的一个点。ETH 的传统就是，做事先从系统、数据入手。我想在最开始研究的时候，就需要去想未来的应用前景。我们最终还是希望自己研究的算法能应用于实际，最大化地满足产业需求。」

严谨务实的研究观，创业的坚定实践者

刘明博士表示，ETH 是一家非常注重实用的机构，整体风格非常务实，它成功的基石建立在其实际科研产出对工业界的影响力之上。在 ETH 的博士研究经历，加深了刘明博士对实际落地的考量。

目前，他所带领的 RAM-LAB 实验室也是秉承这一观点，做研究时会先考虑是否能落地。刘明博士表示，在同济求学期间，电信学院与汽车学院的研究即注重实际效能和工程化实现，他参与的我国第一代新能源汽车的研发充分体现了「严谨求实，团结创新」的同济校训。在 ETH Roland Siegwart 教授门下的几年学习，更加强化了他的务实思想——应该怎么做，才能对工业界带来促进作用。

「做事情，首先是严谨，然后求实，要有实际产出和应用。如果选择做实际系统，必然面临的是发表论文的进程会受到影响，虽然发表论文相对比较慢，但做出来的研究会产生更深远的影响。」他如是说道。

除了务实观，在 ETH 期间，刘明博士的导师 Roland Siegwart 教授也在其他方面给他带来诸多指导。Roland 是全球最有影响力的机器人科学家之一，也是很多科学院的院士，发表论文累计引用次数超过 30000 次，h 指数为 85。刘明博士对雷锋网 AI 科技评论说道，Roland 在机器人行业非常有影响力，做的工作非常前沿，同时他也是一个非常有领导力的行业领袖，执行力非常强，管理能力一流，也非常和善，愿意尽最大可能去帮助他人。Roland 的很多观念也一直影响着他，比如招生时秉承只收「能把问题搞得定」的人。

除了一直进行务实的学术研究，还有一个想法一直穿插在刘明博士的科研与实践过程中，那就是创业。

早在 1999 年读高中时，刘明博士就在校报上发表了一篇关于畅想未来世界的文章，他在文章中对物联网的应用场景进行了畅想，比如远程交流、智能家居等，当时，创业的种子已经在他心中萌芽。

读研期间，他与朋友合作，创办自动化设备公司，目前公司也仍然发展迅猛。在瑞士就读博士期间，他于 2012、2013 年连续两年获得春晖杯创业奖，2013 年回香港之后，他参与成立了一家专注于物联网的公司。「像远程智能家居，工业自动化，目前都已经有了落地和实现。这相当于圆了高中时的梦。」

他表示，创业至关重要，是改变世界的最直接的方式，通过创业，可以坚实自己的研究基础，让科研成为有根之木、有源之水。将科研应用到产业的实际需求上，切实将两者融合，才能进一步借力政府、资本等更广泛的资源，定义重大的的科研与产业的出口方向。

雷锋网 AI 科技评论非常好奇为何刘明博士没有全职跳出科研而投入创业，他说道，

创业公司需要的技能是多方面的，而一个人的精力有限，如何把精力分配做到兼顾且专注，本身需要长期学习和自我修炼。

很多港科大的教授在这方面非常成功，我在怎么创业这件事情上也会进一步学习前辈的经验。但现今已经过了创业单打独斗的时代，想要真正产生影响，需要很多方面共同努力与资源整合。

我们把科研与技术结合，也有一些产出，比如低速无人车、无人船的自动控制系统、智能轮椅的控制系统、家用服务机器人、工业视觉检测等等。假设将这些产品进一步包装和市场化，是可以短期内即推出成为产品的。但是我们极力避免马马虎虎完成多件事情，把摊子铺得特别大只见广度不见深度。

我们更希望能在更集中的技术点上做得足够深入，如果将过去 10 多年的科研与技术积累像放大镜聚焦太阳光一样聚焦起来，在一个点上集中爆发，其产出将是惊人的，会极大地满足目前的产业需求，甚至有可能重塑一个行业。

而他也表示，马上将会有成果展示：「我们已经在酝酿一些事情，也取得了阶段性的成果，目前受限于一些条件并没有做太多宣传。很多了解我们的人都评价我们是一支充满『一级既战力』的神秘团队，团队成员中也包括了多名信息学竞赛金牌选手和多名毕业于名校的牛人，每日无休工作到凌晨。我由衷的感激和认可团队每一个人的参与、付出和努力。现在先卖个关子，结果将以怎样的形式呈现在大家面前，相信很快就能看到。」

第三届 CCF-GAIR 全球人工智能与机器人峰会将于 6 月 29 日-7 月 1 日席卷鹏城，届时将会有 1 个主论坛和 11 个分论坛（仿生机器人分论坛，机器人行业应用分论坛，CV 分论坛，智能安全分论坛，金融科技分论坛，自动驾驶分论坛，NLP 分论坛，AI+ 分论坛，AI 芯片分论坛，IoT 分论坛，投资人分论坛），意欲从产学研多个维度，呈现出更富前瞻性与落地性的会议内容。

刘明博士担任大会 CV 分论坛主席，欢迎来到此次大会，与他进行现场交流。目前四折门票正在火热销售中，限量 100 张，详情可访问大会官网了解。

官网：https://gair.leiphone.com/gair/2018yr

。