手语服务让信息世界没有障碍

内容来源：华为开发者大会2021 HMS Core 6 App Services技术论坛，主题演讲《手语服务，助您构建信息无障碍应用》。

演讲嘉宾：华为消费者云服务 手语服务技术总监 北京师范大学教授 郑璇

大家好。今天为大家分享一下HMS Core为什么要做手语服务，背后的故事和进展。

首先看一下我们服务的对象，据世界部门组织调查，当前有4.6亿听障群体，而我国至少有2700万听障群体，并且每年国家也有将近2.3万的听障儿童出生，但是仅有不到5%的听障群体使用助听器等辅助设备。因此由于信息的缺失，我们听障朋友在日常的学习交流中存在一些困难，这就是为什么在公共场所应用场景中手语的渠道非常迫切。

手语是什么？对听障群体意味着什么？对健全的群体意味着什么？我们邀请到北京师范大学郑璇教授跟大家做分享。

大家好，我是北京师范大学的郑璇，很高兴跟大家面对面交流。 其实我是聋人，大家可能看不出我左耳戴了助听器，但是我的口语还是不错的，我的手语翻译是听力健全人士，但是她可以流畅地使用手语，我想在这一刻，聋人和听人界限不那么分明了，这要感谢科技的进步。

今天要跟大家分享的是《解锁手语密码，走进无声世界》。

说到手语大家可能感觉很神秘，手语从语言学来说，是一种语言，我在读博士的时候，在复旦大学中文系语言学与应用语言学专业，我所做的是从语言学角度研究手语到底是什么样的语言，手语是用手的手形、位置、运动、手掌朝向、配合面部表情和身体姿态，还有必要的口形，表达特定意思的交际工具，是一种真正的语言。为什么这么说？因为手语是有完整复杂系统的语言，有它的语音、语汇、语法，如果孩子的父母是聋人，就可以把手语当作第一语言学习，这时发展的路径和口语基本是同步的，而且我们从脑科学的角度可以证明，聋人在用手语的时候，大脑里面活跃的区域基本也是左脑的语言区。

关于手语的地位已经有了比较成熟的法律规定，比如2006年联合国的残疾人权利公约，以及后来在中国签署的联合国教科文组织的岳麓宣言强调，手语和口语是平等的，是两种语言，每个国家有义务保护促进推广手语的使用，目前世界聋人联合会的数据显示，世界有66个国家和地区通过立法承认了手语的地位。

我们国家在通用手语推广上，也有很大的进步，比如2015年和2021年分别是“十三五”和“十四五”的起点，我们发布了两期《国家手语和盲文的规范化行动计划》，2018年的时候，我们出台了《国家通用手语词表》，这个上升到了国家语言文字规范的高度，在2019年又出版了《国家通用手语词典》，如果大家有兴趣的话，可以直接从华为应用市场上下载APP。

上图是一个中国残疾人艺术团的演员演示“中国”的手语打法，“中国”的手语打法是伸出手指，从左肩到右肩往下，这时模仿汉服当中传统服装的式样，来模仿中国的概念。

手语对聋人朋友意味着什么？

我是一名聋人，所以我非常深刻地感受到手语对我们的重要性，可能大家不知道，超过95%的聋孩子，他们的父母是听力健全的人，这就意味着在家里他们不能像正常孩子一样顺利的跟父母沟通。国外有一个词形容：餐桌综合症，即使在餐桌上我们跟父母都是最熟悉的陌生人。所以，手语的介入可以改变这个状况。

当他们成长进入学校以后，手语可以作为教学语言，连接孩子和世界，促使他们对知识的学习；当他们走入社会以后，可以通过手语跟普通人建立连接，当社会上每个人都会手语，聋人朋友就会感受到平等和尊重；当他老了以后，手语会为他营造一个精神家园，聋人朋友对手语是非常有感情的，曾经有句诗描写他们对手语的感情，“如果你砍掉了我双手，我就用双臂打手语，如果你砍断了我的双臂，我就用双肩打手语”。

对于听力健全的朋友来说，手语意味着什么？

我曾经多次在高校教手语课，学生们问我：“老师，手语要怎么表示我爱你？”手语对青年学生来说是技艺才能，对刚出生的婴儿可以作为早教益智的手段开发他的智力，当他走入社会以后，如果他会手语，其实有助于构建信息无障碍的社会，让他知道每个人都可以接纳世界的多元性，让这个世界更美好。 此外，手语可以在特别的时候沟通，比如当环境嘈杂的时候，当秘密交流的时候，手语都非常地有用，当老去以后，有助人助己的意义，以前是他帮助别人，但是每个人都会老去，听力会下降，手语可以作为视觉语言支撑他的沟通。

我自己也有过多年的手语教学倡导和科研的经历，我自己非常欣赏一句话“如果你接纳了一个人，那你必将接纳他的语言，反过来如果你拒绝了一个人的语言，那就是拒绝了他本身”。我曾经在美国的孔子学院，教美国的聋孩子学习中国的手语和中国文化，我曾经在重庆师范大学的课堂上教空乘专业学生学习手语，我曾经拍摄过《我和我的祖国》手语歌的MV，我也曾经跟南京聋人学校的老师和同学们，一起编创我们的国学手语的图书。

做这些事的时候，我就有一个深刻的感受，手语其实并不是小众的语言，离每个人都不远，我们说手语是桥梁，可以连接世界上每一座孤岛，手语是资源，让我们明白每种语言独特的美，它还是人生经验的传承，是团结奋斗的桥梁，是聋听共建的纽带。

我作为顾问参与这样的项目，我们的愿景是：手语并不遥远，触手可及。其实每一个人在年老以后，在生病以后，在某些特殊的状况下，都会变成所谓的“残障者”。

手语不神秘，其实手语人人可学。比如说，这个手势表示一个人，那人从远到近是来，从近到远是去，两个人相遇、分开、追逐，你看，我们一下可以把一串手语词学会，真的并不难。

手语也不狭隘，海纳百川，我们不希望聋人朋友内部有什么手语群体、口语群体的撕裂，我真心希望，我们可以一起交流、一起建设家园、一起共享现代生活的便利。

手语更加不是一个小众的语言，我们可以开脑洞，可以打造一个手语的生态系统和新的经济体。从玻璃墙到破壁者，华为走出了关键一步。 参与这个项目的过程当中，其实也经历了非常多的坎坷，我个人非常地荣幸能参与其中。我自己是一名聋人，我自己是手语言学的研究者，对于我们来说，这个产品可以帮助到我们。但是在现在可能不是所有的人都能够理解，但是我们非常高兴通过一段时间的攻关，终于有了一个阶段性的成果，我想，黑暗给了我们黑色的眼睛，但是我却用它寻找光明，从黑暗中走过的眼睛，是世界上最明亮的眼睛。

最后我想教大家两个手语。

第一个是欢迎欢呼的意思，我们欢呼这个伟大的时代。

第二个是谢谢，谢谢大家给了我们无声世界新的希望。

谢谢大家。

从郑老师的分享可以看到，手语无论对听障人士还是健听人都非常重要，国家也意识到这个问题，并颁布了相应的法律条款。深圳市特区的条例今年9月1日刚刚实施的，还有10月1日北京市的条例、10月 22日广电总局发布了“十四五”的规划，都在推动和鼓励使用手语。

我们总结了三点国家法律条款。

第一，在党和国家以及地方重大活动中安排国家通用手语翻译。

第二，市级以上电视台应积极创造条件，播出节目配备手语或者字幕，开办手语栏目，推广和使用国家通用手语。

第三，飞机、铁路、地铁等公共交通应为听力残疾人提供国家通用手语服务。

华为公司做手语服务，并不是从零到一开始做的，我们在2018年跟欧洲聋人协会和世界聋人协会推出了Storysign的项目，是面向三到六岁的儿童阅读的场景，使用华为手机对着儿童阅读书籍拍摄，可以通过人工智能的技术自动产生手语动画。

在Storysign项目的基础上，我们开发了手语服务，不再面向特殊的年龄特殊人群，我们开发的是面向开放人群、开放场景、智能手语动作生成的。

手语不仅包括手部动作，还有唇动和面部表情整个的表达，因为手语是一种视觉语言，跟口语不太一样，有自己的语法，比如“我没有带身份证”，在手语当中不是逐词打的，整个的手语是按照视觉语言，会先打“身份证”“我”“带”“没有”，其次是手语动作是否连贯自然，再就是是否自带面部表情。

华为手语服务主要有三个模块。

第一个模块，首先把语音转成文本，这是在日常生活当中经常使用语音转文字的能力，这是比较成熟的技术。

第二个模块，从文本转到手语表达，这里有一个手语翻译的关键技术，利用的是华为公司的自研的语言大模型，再结合手语语言学数据做的，我们跟其他技术不一样的是，我们有训练大模型，在特定语义环境下训练，所以效果非常好。

第三个模块，文本产生3D动作，这是非常难的技术问题，我们是利用了神经网络多模态的模型实现的。当然这个过程当中，我们不仅有人工智能算法和数据，还把手语语言学跟手语翻译、手语生成两个模块进行深度融合，输出3D的动作，最后通过3D虚拟人呈现。要驱动3D虚拟人，还要通过骨骼运动带动肢体运动，再进行3D虚拟人的渲染呈现。

当前的语种只支持中国的手语，后续对英文也有规划。关于词汇也是非常重要的，刚才郑老师也讲了，国家通用词典2019年发布了以后，其实里面收录了8214个词汇，但是实际上还有很多词汇并没有输入，我们跟郑老师一起，把日常生活当中，没有被国家通用词典收录的词进行拓展，当前覆盖了一万多个词汇，当然还会继续增加，预估在明年达到2万的词汇，基本可以覆盖90%-95%的日常词汇。

如果您想将手语服务运用到您的业务场景当中，也支持3D虚拟人定制，比如将穿红衣服的3D小姐姐换个造型。

以上介绍的是手语服务的关键技术，那手语服务的能力在什么场景中应用呢？

在To C的应用场景中，面向普通消费者，可以降低交流和信息获取难度，实现沟通无障碍。

第一， 日常生活。日常生活可以用于比如在家庭、朋友交流的场景。

第二， 教育学习。手语也是有口音和地方标准的，国家一直在推广国家通用的手语，而真正懂或者是非常熟练专业手语的人是非常少的，那么基于国家通用手语标准的华为手语服务，应用于聋人朋友的教育是非常好的。

第三， 用于对社会资讯的获取。比如旅游资讯、就餐、购物等场景。

手语服务在一些To B的场景中也发挥了很大作用。比如国家鼓励或推动在一些行业里进行推广和使用国家通用手语。

第一， 广播电视、直播和转播的场景。

第二，在政务、银行、交通等场景使用。

第三，在大型会议、活动直播等场景使用。

手语服务的产品发布，不是我们的终点，只是我们的起点。希望我们的创新能够推动整个社会信息无障碍持续的进步。

以上就是我的分享，谢谢。

了解更多详情>>

访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址：GitHub、Gitee

关注我们，第一时间了解 HMS Core 最新技术资讯~