中国科学院孙哲南研究员：带你认识虹膜识别研究进展和发展趋势

2016人工智能湖南论坛暨自兴人工智能研究院揭牌仪式，来自国内外的许多顶级专家在会上给我们做了报告。中国科学院自动化研究所模式识别国家重点实验室研究员、天津中科智能识别产业技术研究院院长孙哲南研究员就虹膜识别这一话题做了详细的讲解。

今年是人工智能60周年，像虹膜、人脸、指纹识别是比较实用的人工智能，也是发展利用比较成功的几个方向。现在的智能手机基本上都是用指纹识别来解锁，最近三星发布的新手机就会有虹膜解锁，因此现在很多人不太了解虹膜识别，我给大家做个科普。

什么是虹膜？

虹膜是位于人眼表面黑色瞳孔和白色巩膜之间的圆环状薄膜，在红外光下呈现出丰富的视觉特征，如斑点，条纹，细丝，冠状，隐窝等。

为什么使用虹膜识别

现在识别人的身份主要有人脸识别和指纹识别，其实虹膜有很大的优势。

1. 唯一性：虹膜的形成主要是由胚胎发育环境的随机因素所决定，虹膜纹理中随机分布的细节特征决定了虹膜模式的唯一性，虹膜具有独一无二的纹理结构，虹膜上面的细节特征自由度是几百个的数量级，因此可以唯一标识个体身份。

2. 稳定性：虹膜纹理出生八个月后稳定成形，终身不变。

3. 非侵犯性：采集非接触，有可能远距离获取。

4. 安全性：相对指纹、人脸特征不易窃取。虹膜大部分需在红外线下进行识别，因为虹膜在黑色的瞳孔和白色的瞳孔之间，大部分中国人虹膜色素是在近红外以下才能显示细节特征，可以非常精确识别一个人的身份。

虹膜识别发展简史

最早是1936年眼科医生发现每一个人的虹膜不一样，他发现可以用虹膜进行人脸识别，1985年另外两个眼科医生就是在美国申请第一个虹膜识别的专利，他们认为虹膜是可以通过计算机电脑来实现，但是他们不知道怎么去实现，后来当时在美国哈佛大学一个研究人员John Daugman发明了第一个虹膜识别算法，他是把虹膜识别能够用算法的形式把它表达出来，并且成功地实现了虹膜识别。

然后在90年代就有陆续有一些虹膜识别的产品开发出来，后来虹膜识别就是被证明是一个非常安全可靠的身份识别技术之后，在各个领域得到了广泛的应用，包括海关、机场、国民身份证目前有三个国家作为身份证虹膜的标识，像印度每个人都有分配一个编号采集虹膜，现在有10亿采集了虹膜识别特征，在印度应用非常成功，墨西哥、印度尼西亚，现在他们的国民身份证也加了虹膜特征，中科院自动化研究所是1999年开始研究虹膜产品，后面我们发明了手机终端的虹膜应用，大概虹膜是这样的发展历史。

虹膜识别的应用

目前虹膜识别应用领域非常的广泛，不管是物理空间还是在网络空间，只要是人员身份识别都可以使用，包括像安检通关都可以用虹膜，或者是安全反恐也是用到的虹膜，一些恐怖分子可以化妆甚至可以易容，或者是用烫伤的方式把指纹换掉，但是防恐要求精确识别，虹膜是很重要的方式。目前我们的技术也在国外的银行自助提款机用虹膜身份证就可以取款。

另外三星新发布的手机就是用虹膜识别，支付宝也会虹膜识别，他们也明确将来是虹膜使用很重要的方向，因为指纹可以造假的，很可能通过造假的指纹就可以盗取支付宝里面的资金，包括摸过茶杯水杯的指纹都可以窃取进来因为安全攻击。在公安司法监狱管理包括煤矿工人的考勤都有使用，在门禁控制方面，虹膜也有广阔的适用前景。

虹膜识别的主要流程

第一步是虹膜图像的获取，虹膜图像的采集就是普通的相机不能采集到清晰的虹膜纹理，因为人的虹膜物理尺寸比较小，并且需要一些近红外光的配合。

第二步就是虹膜图像的处理，我们需要把它有效的分割出来，然后把它进行归一化处理。

第三步就是虹膜图像特征比对，这也是虹膜比较关键一步。1998年我们发展了虹膜计算理论和方法。

虹膜图像获取：

首先给大家介绍虹膜图像获取的过程，虹膜图像获取是一个具有挑战性的问题，一是物理尺寸小，造成成像系统景深是比较小的，然后成像过程用户眼睛跟摄像机在一个光轴上，有效对焦就不是很方便，就是传统的技术面临着很大挑战。比如说戴上眼睛之后会有反光等其他因素的干扰，所以虹膜图像采集是虹膜识别比较大的瓶颈。

虹膜成像的原理主要是采用近红外的一个滤光片通过成像系统之后进行成像，包括有一些视觉反馈、人和相机的距离。这个虹膜的系统是一个精密的自动化系统，这是在不同的情况下采集的虹膜图像，我们东方人虹膜纹理是采用近红外800多纳米光源，虹膜图像是最清晰的。

当前虹膜识别系统主要是近距离的，比如说日本冲电气最早是手持式，在笔记本上用的虹膜装备，包括这种便携式虹膜成像系统，包括还有虹膜成像设备。当前也有公司开发远距离，比如说1米到3米之间可以采集人的虹膜纹理，这样更方便，也是在安检通关方面比较重要的趋势，主要的科研单位和科研机构，美国的一些公司，Aoptix, Eyelock, Sarnoff等公司都曾经研发近距离虹膜系统。

虹膜图像的获取主要有四个跨越，我们是从1998年开始做，1999年实现了从无到有，当时我们从美国买设备，他们不卖我们，后面通过我们自主的研究，2001年有了很大的进步，我们实现了单眼到双眼的采集，2006年和2008年都有新的设备做出来，后面我们研究出来一幅图像可以先拍照后对焦的光场相机。

现在我们发展移动终端的虹膜识别技术，这是我们最近研发手机虹膜识别。这是虹膜识别登记，只要两三秒钟就可以实现虹膜注册，非常方便。今年年初发布了第一部虹膜安全手机，在国家的安全部门在用，包括应用自主知识产权的虹膜设备，我们也建设了自己的虹膜项目数据库，目前有1.6万个科研团队申请使用，包括有各种各样的数据库，我们通过虹膜图像的共享使虹膜研究领域活跃度大幅度提升。

虹膜图像处理

采集了虹膜图像之后，我们要对虹膜图像进行预处理，就是把虹膜图像上面一些反光，包括确定初步位置，就是虹膜检测，然后对虹膜内外圆进行定位，有时候虹膜并不完全是圆形，包括睫毛和眼睛的检测，我们也提出新的方法，根据虹膜分布的规律，能够自动建模，然后结合纹理、虹膜的边缘、上下眼皮的边界，再用一些模型把这些睫毛、光斑滤除。

虹膜图像特征比对

这时怎么对虹膜特征进行编码，传统的虹膜识别方法都比较复杂，我们提出比较新颖非常简单并且实用，计算速度非常快的定序测量特征，就是统计这个图像区域之间绝对值，就计算哪个区域之间相对哪个区域更亮，哪个区域更暗。

这些编码是符合二项分布的，这样可以确定如果是不同用户虹膜比对，匹配分数的分布服从二项分布。Hamming距离匹配分数会非常高。而同一个人绝大部分即使有一些噪声，定序测量也能够匹配上，这样的话很容易识别出来，并且计算速度非常快。后面我们提出了线性规划方面解决虹膜和掌纹图像中定序测量特征选择问题，在主流的虹膜和掌纹图像数据库取得了当前最好的识别效果。

虹膜识别的机遇与挑战

在完成虹膜技术识别之后，我们通过技术转移转换之后，对于监狱犯人的管理、机场安检、计划生育、防恐、国外的提款机都有应用，也会发布今年虹膜安全手机。现在虹膜虽然经过多年的发展，可以取得很好的识别效果，但是并不一定完全解决虹膜识别的问题，因为在复杂场景中，特别是在远距离、多目标包括沟通量的条件下，怎么精确识别人的身份还需要很大的研究。

包括用户处于不同的姿态和速度，环境不同的光照等等，都是这个系统未来的发展方向。特别是网络条件下，为虹膜识别提出了无处不在新的机遇，比如说三五米甚至十米之外实现虹膜采集和识别，包括互联网上、移动互联网怎么在手机上进行挑战。我们认为有三个挑战：一是如何便捷性的挑战。二是鲁棒性的挑战。三是安全性的挑战。

虽然虹膜内在的安全比指纹跟人脸安全很多，但是也有可能别人用这种虹膜文理或者是玻璃眼球，或者是戴有隐性眼镜来进入虹膜识别系统。因此虹膜要从近距离到远距离，从被动成像到主动成像，从静态成像到动态成像。以后不管在什么样情况下，我们可以同时采集多个人的虹膜，包括从远距离到近距离，甚至人可以呈现3D的人脸，包括成像的获取和用户的配合。我觉得在虹膜在生物特征进行上还需要变革的创新，因为虹膜采集的对象、距离都是千变万化，因此用固定的模式去应对变化的场景，很难保证每次都能采集到高质量的虹膜成像。

现有虹膜识别技术的局限

因此我们认为现在很大的一切问题，感和知都是单向的流程，做成像的做成像，做识别的做识别，两者没有做考虑，就是感和知之间是互相孤立的，因为我们在成像过程当中是可动态配置传感框架，因为以前成像设备都是固定的，包括焦距、光圈都是死的。

虹膜识别的发展思路

以后我们想做成活的，就是可动态配置可以根据环境自身调整，叫做可动态配置生物传感的框架。由自上而下的认知驱动，在任务的驱动下选取最优的参数来采集最佳的图像。在识别过程当中，也是自下而上数据驱动，然后在大数据驱动下，可以使用深度神经网络方法得到更好的识别模型，因为以前的识别模型都是人工调节滤波器的参数，很难应对复杂多变的虹膜成像，所以识别算法应该是自适应性的。

我们面向虹膜识别的需求，采用计算成像主动感知模式，建立可动态配置视觉传感模型，采集多维光场的虹膜成像信息。成像过程都是认知任务的驱动，都是多维的，在信号处理阶段都是多维信号处理进行计算，比如说成像过程当中有计算，识别过程当中也有成像的参数来驱动。这样的话我们在成像过程当中引入识别任务的认知需求进行有针对性的虹膜信息检测，建立虹膜纹理成像的身份识别。

计算光场成像技术

我们研究研发了计算光场成像，光场成像基本思路是在成像过程当中同时记录光的方向和记录光的强度，这样的话可以得到三维的感知，并且可以先成像后对焦，可以采取计算成像的模式，可以对不同位置的目标进行重对焦的计算，这样的话可以得到不同人的虹膜，这样一张图像可以采取的多个人虹膜。

光场相机

我们也研制成功了光场相机，并且把三维的信息通过计算模型呈现出来，并且可以同时实现多个目标的虹膜成像，因为原来的虹膜成像是采用先成像后对焦，然后虹膜成像过程当中，可以用活体检测。比如说用一张白纸根据眼周区域、对焦区域可以实现真的虹膜还是假的虹膜的自动识别，这样就非常方便。

数据驱动

像人工智能之父Minsky他认为多样性的数据去描述智能模型更有效，因为虹膜的本质就是多样性和复杂性的，这样我们就提出数据驱动，就是用数据神经网络的模型来用虹膜识别大数据来定义这样的方法。比如说用人工设定的规则去做虹膜图像的分割，现在简单用机器自动去学大数据模型就会提高19%，这样就可以实现虹膜识别概念要素和数据定义，包括这种噪声虹膜图像分割实现了非常好的效果。

并且我们把这个方法，同时可以对这个民族进行分类，如果是单个神经网络只有98%的精度，但是用虹膜网络可以达到99%的精度，我们把深度神经网络用到虹膜图像，因为虹膜图像可以来自于互联网或者是移动手机设备商，这样成像都具有差异化，克服这些差异化我们以前也研究了很多的方法，我们采用共同空间的方式去表达模型，后面我们采用了数据驱动，就是说深度学习来做虹膜图像的识别，也是比传统的方法提高了很高的精度。

虹膜识别系统所面临的安全问题

最后一个问题就讲一下虹膜系统将来会面临一些安全的问题，因为虹膜是信息安全系统，每个环节都可能受到安全的攻击，比如说传感器可以伪造数据来进行攻击，包括特征提取和体征比对都会有安全攻击的问题，重点是解决两个安全分析。比如说前端伪造虹膜纹理怎么去进行判断和识别，后端怎么保护虹膜特征模板，保护用户的隐私。

前端伪造虹膜纹理识别和判断方法——活体识别

为识别伪造虹膜纹理，我们采用的是活体检测的方法。在活体检测方法中目前主要的方法是纹理分类方法，就是真实用户采集的虹膜，是非常自然圆润的，然后假体的虹膜纹理，成像会形成一些比较粗糙的纹理，因为我们采用纹理分类的方法来进行区别。

我们活体检测方法也用在人种分类和大规模数据库粗分类，都取得了很好的效果，我们就是用很多人的虹膜大数据去自动实现层次化的视觉基元词典，然后在这个投影上进行分类，当前国外银行有这样的需求，因为活体检测现在99%以上可以检测假冒瞳孔虹膜图像，对于隐形眼镜可以自动判断或者是自动报警，并且同样的模型不仅能够解决虹膜活体检测的问题还可以实现人种的分类。

后端虹膜特征保护——虹膜密钥系统

比如说传统的虹膜识别，虹膜是跟基因没关的，后来我们的研究虹膜跟基因还是有关系的，亚洲人跟欧洲人的虹膜是有很大的差异，我们可以用自动分类的方法达到99%的精度，你给我一个虹膜图像我就知道这是亚洲人还是欧洲人，我们还提出了虹膜密钥的系统，我们把它跟信息安全相结合，我们提出了虹膜密钥的方法，同时保护虹膜模板同时也可以保护密钥，虹膜密钥是虹膜识别和密码学有机结合的安全体系，既能保证虹膜特征和密钥的安全，同时基本的思路采用模糊承诺的方式。

基本原理可以把512字节的虹膜特征编码跟密钥的纠错编码生成密钥编码进行运算，然后运算完的结果就是安全的结果，并且这个结果很难攻击出来，除非你知道我这个密钥，但是只要是本人就可以通过虹膜比对的结果，即使不能够百分之百的比对上，只要错误误差在一定的范围之内就可以用这个纠错编码把密钥给解出来，这样的话可以实现虹膜特征，是可以可撤销的。

比如说虹膜模板可以采取新的模板来保护加密，这样的话可以保护虹膜模板的安全，在实际过程当中，虹膜不同的时段采集的不同的成像不能百分之百去匹配上，可能会也一些误差，然后通过纠错编码来克服，另外增强可侵入的密钥的程度，我们通过了成像的特征和提取模块，在纠错编码方面采取几种吗，可以提高安全性，这个虹膜密钥系统就可以实现800个密钥系统的嵌入，并且准确性非常高的。

最后

我们团队是从虹膜信息获取的源头进行系统创新，打通了虹膜识别从科学研究到产业化的完整链条，实践了获取装置、数据资源、识别算法、集成系统、应用一个技术路线，虽然我们已经取得一些进展，但是虹膜识别我们认为在从受控场景到复杂场景，仍然有很多的问题需要解决，需要解决便捷性、鲁棒性、安全性的问题，我们也会再接再励，做好更好的虹膜系统。

提问环节

提问：在你刚才讲的过程当中提到识别精度的问题，我问一下精度是分别在多大的数据库上得到的结果？

孙哲南：实验的结果是在几百个人，有汉族、蒙古族、藏族做的分类，这个数据库有一个描述，汉族有400多个人，男性有400多个人，女性有200多个人，藏族有178个男性，124个女性，蒙古族的人比较少，有58个男性，72个女性，数据量有两万多幅图片。

提问：除了这些测试之外，其他的数据库里面，最大的承受量是多少？就是保持90%精度下。

孙哲南：我们也测过，我们测过上千人基本上可以达到99%以上，比如说简单定义两大类，比如说东方人跟西方人准确率也是很高的，因为东方人和西方人纹理分布和特征还是不一样的。

提问：您刚才说到虹膜识别的小组，在今后的话还会做一些什么样的成果呢？除了刚才说到的几部虹膜识别的手机之外。

孙哲南：我们最近刚申请了一个国家重点研发计划，云计算与大数据专项里面有一个项目，我们将来实现十厘米远多模态虹膜人脸步态图像识别，就是在反恐维稳他们就有迫切的需求，因为有很多极端分子，他的脸整容，名字也换了，指纹全部抹掉了，没法确认这些人的身份，下一个人我们就会公共安全领域去做这个系统，基本上都给重点人员采集虹膜，基本上出国之后也没法把虹膜给改掉，除非把眼睛弄瞎了，我国反恐还有在怎么在监控环境下怎么远距离识别这个人的身份，这个虹膜系统还是有很多领域去研究的。

提问：我想请问一下，彩曈和隐形眼镜对虹膜识别系统有影响吗？

孙哲南：如果戴上彩曈或者是美瞳的话会有影响，这个纹理不是这个人的纹理，是叠加上面的纹理，我们必须精确判断，比如说在国外银行我们系统能够自动识别，你当时的成像是戴了彩瞳或者是美瞳的，我们这个系统就可以自动识别，必须要求这个人摘下这个彩瞳或者是美瞳。

雷锋网原创文章，未经授权禁止转载。详情见转载须知。