海量人脸识别蚂蚁金服刷脸支付为何上榜《MIT科技评论》全球十大突破性技术？

人脸识别

什么是人脸识别 人脸识别，特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。 人脸识别概述 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域，它属于生物特征识别技术，是对生物体（一般特指人）本身的生物特征来区分生物体个体。生物特征识别技术所研究的生物特征包括脸、指纹、手掌纹、虹膜、视网膜、声音（语音）、体形、个人习惯（例如敲击键盘的力度和频率、签字）等，相应的识别技术就有人脸识别、指纹识别、掌纹识别、虹膜识别、视网膜识别、语音识别（用语音识别可以进行身份识别，也可以进行语音内容的识别，只有前者属于生物特征识别技术）、体形识别、键盘敲击识别、签字识别等。 人脸识别的优势 人脸识别的优势在于其自然性和不被被测个体察觉的特点。 所谓自然性，是指该识别方式同人类（甚至其他生物）进行个体识别时所利用的生物特征相同。例如人脸识别，人类也是通过观察比较人脸区分和确认身份的，另外具有自然性的识别还有语音识别、体形识别等，而指纹识别、虹膜识别等都不具有自然性，因为人类或者其他生物并不通过此类生物特征区别个体。 不被察觉的特点对于一种识别方法也很重要，这会使该识别方法不令人反感，并且因为不容易引起人的注意而不容易被欺骗。人脸识别具有这方面的特点，它完全利用可见光获取人脸图像信息，而不同于指纹识别或者虹膜识别，需要利用电子压力传感器采集指纹，或者利用红外线采集虹膜图像，这些特殊的采集方式很容易被人察觉，从而更有可能被伪装欺骗。 人脸识别的困难 虽然人脸识别有很多其他识别无法比拟的优点，但是它本身也存在许多困难。人脸识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。人脸识别的困难主要是人脸作为生物特征的特点所带来的。人脸在视觉上的特点是： 第一，不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的； 第二，人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大，另外，人脸识别还受光照条件（例如白天和夜晚，室内和室外等）、人脸的很多遮盖物（例如口罩、墨镜、头发、胡须等）、年龄等多方面因素的影响。 在人脸识别中，第一类的变化是应该放大而作为区分个体的标准的，而第二类的变化应该消除，因为它们可以代表同一个个体。通常称第一类变化为类间变化（inter-class difference），而称第二类变化为类内变化（intra-class difference）。对于人脸，类内变化往往大于类间变化，从而使在受类内变化干扰的情况下利用类间变化区分个体变得异常困难。 人脸识别的技术细节 一般来说，人脸识别系统包括图像摄取、人脸定位、图像预处理、以及人脸识别（身份确认或者身份查找）。系统输入一般是一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图象或者相应的编码，而其输出则是一系列相似度得分，表明待识别的人脸的身份。 人脸识别的算法种类 基于人脸部件的多特征识别算法(MMP-PCA recognition algorithms)。 基于人脸特征点的识别算法（Feature-based recognition algorithms）。 基于整幅人脸图像的识别算法（Appearance-based recognition algorithms）。 基于模板的识别算法（Template-based recognition algorithms）。 利用神经网络进行识别的算法（Recognition algorithms using work）。 人脸识别的应用 人脸识别的应用主要有： ·公安刑侦破案：通过查询目标人像数据寻找数据库中是否存在重点人口基本信息。例如在机场或车站安装系统以抓捕在逃案犯。 ·门禁系统：受安全保护的地区可以通过人脸识别辨识试图进入者的身份。 ·摄像监视系统：例如在机场、体育场、超级市场等公共场所对人群进行监视，以达到身份识别的目的。例如在机场安装监视系统以防止恐怖分子登机。 ·网络应用：利用人脸识别辅助信用卡网络支付，以防止非信用卡的拥有者使用信用卡等。 人脸识别软件 人脸识别软件顺应当前的要求，慢慢走上了历史的舞台。KnowU (基于视频的人脸识别系统), 是当前不多的人脸识别软件中具有代表性的一款，它是由个人开发编写的，并且随着版本的升级，逐渐具有了商业开发的色彩，在网上已经免费发布试用了。 人脸识别系统 脸识别系统以人脸识别技术为核心，是一项新兴的生物识别技术，是当今国际科技领域攻关的高精尖技术。人脸因具有不可复制、采集方便、不需要被拍者的配合而深受欢迎。人脸识别系统具有广泛的应用：人脸识别出入管理系统、人脸识别门禁考勤系统、 人脸识别监控管理、人脸识别电脑安全防范、人脸识别照片搜索、人脸识别来防登记等等。

蚂蚁金服刷脸支付为何上榜《MIT科技评论》全球十大突破性技术？

《麻省理工科技评论》发布了2017年全球十大突破性技术榜单，其中刷脸支付上榜。“在中国，人脸识别系统现在应用于授权支付、设备访问以及罪犯追踪。”该项技术被认为是在“成熟期”。而蚂蚁金服被列举为三家主要公司其中的一家。 ? 背景 蚂蚁金服以世界领先的人脸比对算法为基础，研发了交互式人脸活体采集与识别技术和图像脱敏技术，并通过蚂蚁金融云实现高并发和高可靠性的系统安全架构，以此为依托的人脸验证核身产品已经成功产品化，在支付宝等和网商银行等身份验证场景广泛应用。在最新的测试报告中，该技术人脸识别准确率已达99.6%，再配合眼纹等多因子验证，准确率为99.99%，远超肉眼识别97%的准确率。 自支付宝引入人脸识别技术后，在用户登录、实名认证、找回密码、商家审核、支付风险校验等场景，该技术作为主要身份验证方式全面应用，自2015年底上线至今已服务超过1.5亿用户。与传统基于密码等身份验证方法相对比，人脸识别技术在安全性、可靠性、识别性能和用户体验方面的都得到了大幅提升，对实现互联网金融场景下具有现实意义。 针对蚂蚁金服的人脸识别技术，InfoQ采访了蚂蚁金服生物识别技术负责人陈继东。 陈继东博士现任蚂蚁金融服务集团全球核身平台部总监和资深专家，负责生物识别技术研发与应用。带领团队将人脸识别技术在网商银行和支付宝等金融场景成功上线并大规模商业应用，使蚂蚁金服在生物识别智能技术及应用方面保持世界领先。陈继东曾任人人游戏大数据研究中心首席数据科学家，EMC中国研究院大数据实验室主任。 《麻省理工科技评论》发布了2017年全球突破性技术榜单，其中刷脸支付上榜，而蚂蚁金服是这一技术的代表性公司。作为蚂蚁金服生物识别技术的负责人，请问您对这件事有什么看法？这是否也意味着中国的人脸识别技术在世界范围内都处于领先地位？ 综合来看，该榜单描述是比较准确的。上榜的突破性技术是刷脸支付，而不是人脸识别。对突破的定义是“给人们带来高质量的科技解决方案”。所以，它不只在于技术本身，更是在强调应用场景，如何应用技术来改变人们生活。强调技术的应用也正好是蚂蚁金服技术研发的定位。除了技术本身之外，我们更看重技术的应用如何带给人们平等的金融服务。身份识别和身份验证是所有金融服务的基础，因此基于人脸识别的在线身份验证对数字普惠金融服务起到很重要的作用。 以人脸识别为代表的计算机视觉技术在过去几年取得了很大进展，主要得益于深度学习技术的深入应用、计算能力的增强以及海量数据的爆发。但是人脸识别技术是近两年才开始真正的全面商用，刷脸认证和刷脸支付也正处于刚起步的阶段，还有很多新的场景可以应用。 2016年云栖大会上，蚂蚁金服展区开张了一家“未来咖啡馆”，客人对着摄像头刷刷脸，就能完成支付。据悉，刷脸支付很快就将落地真实场景。 在人脸识别研究领域，一批杰出的华人研究学者是推动技术不断发展的重要力量，可以说在世界范围内，中国的人脸识别技术不管是技术还是应用都处于领先地位。刷脸支付由蚂蚁金服与中国人脸识别技术公司Face++合作研发，在人脸识别核心比对算法的基础上，蚂蚁金服开发了具有专利的活体检测技术，并结合其基于金融云的风控防攻击安全策略等多个维度的核心技术，能够提供金融级的准确度和安全性。 您可以聊聊这几年蚂蚁金服在人脸识别领域的投入和发展吗？在整个人脸识别领域中，处于什么样的位置？ 蚂蚁金服几年前就开始在人脸识别领域投入资金和人才，同时也在其他生物特征识别技术研发方面有持续投入，生物识别技术已成为蚂蚁金服技术体系和安全风控体系中的重要组成部分。蚂蚁金服从2015年开始将人脸识别技术应用于支付宝用户登录、实名认证、找回密码、支付风险校验等场景，迄今已有超过1.5亿用户使用，据我们所知，这是目前国内外用户量和访问量最大的人脸识别系统，更是在金融领域全球范围内第一家大规模商用的在线系统。 蚂蚁金服的人脸识别技术 人脸识别常用的算法模型您能不能简单介绍一下？蚂蚁金服又采用了什么样的算法策略呢？ 通常大家说的人脸识别是指人脸比对算法，又分为1:1比对（verification）和1:N识别（identification），其算法核心是让机器自动判断不同人脸图片之间的相似度。人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，在这一技术发展过程中涉及到的算法模型既有基于人脸局部特征点的识别模型，也有基于全局特征变换或几何特征的识别模型，还有基于2D或3D模板建模的识别模型。目前人脸识别技术已经全面转向了基于卷积神经网络（CNN）的识别模型。 除了识别模型的准确性之外，人脸识别还有一个重要环节就是活体检测，也就是确保机器要识别的人脸图片是来自一个活体人脸，而不是照片、视频或面具等伪造的人脸，因此活体检测技术也是人脸识别成功应用的关键。活体检测涉及的算法也非常多，同时又与传感器技术关系非常紧密，比如指纹识别可以通过电容/电感传感器检测活体，虹膜识别可以通过红外摄像头检测活体。由于红外摄像头在在智能手机上的普及率还很低，目前活体人脸检测技术主要依赖一系列软件算法，包括基于动作交互的识别模型，以及基于图像分析的识别模型等。 蚂蚁金服在人脸识别和活体检测两方面都在同步推进，也同时在研发如眼纹识别和声纹识别等用于增强人脸识别的多因子生物特征识别技术。此外还基于大数据分析技术研发基于用户行为和不同场景的智能识别模型，从而形成一整套完备的身份识别解决方案 您能介绍下支付宝刷脸支付服务的人脸识别请求并发量峰值能达到多大？单日请求数能到什么数量级？蚂蚁金服又是使用什么样的技术架构做业务支撑的呢？ 金融级人脸识别的技术要求和难点，我们总结以下几点： 1. 高安全性：人脸活体检测技术（防止照片伪造、视频、面具以及专业软件工具等攻击） 2. 高准确率：极低误识率下（<0.001%）的高识别通过率（90%以上） 3. 高可用性：海量并发人脸比对服务（tps="">1000） 4. 高实时性：人脸比对结果实时返回（响应时间<100ms） 支付宝的人脸识别，除了达到金融级的准确度和安全级别外，还需要极高的稳定性、可靠性和极低的实时响应。我们基于蚂蚁金融云的基础架构，实现了高可用、动态扩展的服务框架体系，来保证刷脸服务能够满足双十一、新春红包等高并发峰值要求。 蚂蚁金服是如何做数据回流的可以跟我们介绍一下吗？ 数据回流确实是改进算法识别精度以及提高产品用户体验的有效手段，我们在严格遵守蚂蚁金服数据安全和隐私保护等相关规范的前提下，通过记录用户刷脸过程中的一些关键参数信息（如光照、距离、角度、时长等）来验证和分析人脸识别在各种真实环境下的鲁棒性，再基于这种实际场景下的分析结果进一步对算法和产品进行针对性改进，做到完全数据驱动的产品开发和优化闭环。 人脸识别的难点所在 能否介绍一下蚂蚁金服的人脸识别底库数据量级，单次从人脸检测到返回比对结果的耗时，以及人脸识别的准确率？准确率的适用范围？准确率是只针对汉族而言，还是所有种族（少数民族、白人、黑人）？在不同种族的人脸识别范畴，是否有什么难点？如何解决？ 蚂蚁金服刷脸服务目前只针对中国大陆公民的支付宝实名用户。截止到目前，支付宝全部4.5亿实名用户中已经有三分之一使用过刷脸服务登录账户，实名认证，找回密码，或者在高风险交易中进行身份验证。人脸识别全流程（以刷脸登录为例）的通过率在95%以上（其中没通过的用户中还包括很大比例的主动退出）。不同种族的人脸具有更大的多样性，会给人脸识别系统的准确性带来挑战，但是目前基于深度学习的识别模型已具备处理海量数据的可能，如果能不断对不同种族的人脸数据持续训练和学习，这一问题也能很好的解决。 您能分别谈一谈人脸检测、活体检测、图像脱敏、人脸比对这几个方面当下的发展和难点么？对于配戴眼镜、口罩、面具，或者手持照片、视频刷脸的行为，如何处理？ 人脸检测：人脸检测算法是目前最成熟的人脸识别技术分支，准确性和轻量化都已满足商用，除了能作为后台服务使用，也广泛应用在智能手机、数码相机等前端设备上。目前的挑战是低光照环境以及大角度侧脸条件下的人脸检测。 活体检测：活体检测技术在过去几年也有很大发展，已经能解决绝大部分照片和视频攻击，但活体攻击手段也在不断演进，特别是各种人脸相关建模软件合成或变换的人脸越来越逼真。人脸活体检测技术将是持续攻防和不断改进的过程。 图像脱敏：图像脱敏会带来信息损失，与提高人脸识别精度形成矛盾，蚂蚁金服研发了一套独特的单向变换脱敏技术，能够比较好的解决这个问题。目前学术上这方面的成果不多。 人脸比对：目前机器的识别能力已经超过人眼，但是低光照、夸张表情、重度化妆和整容、年龄老化、双胞胎仍然是人脸比对需要持续解决的问题，随着数据的不断累积和训练，性能也在不断提升。 挑战 您能谈谈目前人脸识别领域面临的最大挑战是什么吗？能否从人脸识别的算法和工程两个角度聊一聊各自的挑战？ 算法方面仍然要不断提高人脸识别和活体检测的准确性，识别的难题上面已经提及，活体检测需要防范不断演进和出现的新型攻击方式。 工程方面的挑战主要在用户体验和系统的稳定性及可靠性，不断降低用户的使用门槛的同时保证极致的刷脸体验，涉及交互文案、设备兼容、算法加速、参数自适应等多方面。由于人脸识别核心是图像特征提取及比对，这是CPU密集型的计算应用，面对支付宝上亿用户的身份验证需求，特别是在双十一、新春红包等高并发峰值的情况下如何保证刷脸服务的性能和高可用性是系统方面的挑战。 蚂蚁金服人脸识别产品从2015年7月正式上线，在此之前做的都是小规模的测试，进行快速产品优化和迭代。我们发现，真实场景是十分复杂的，用户会在室内和室外，白天和晚上各种光线，不同角度和姿势下使用刷脸，有的是躺在床上刷脸，有的甚至在敷面膜的时候刷脸，如何解决各种复杂真实环境中的刷脸体验，尤其是用户达到亿级规模的时候，保证普通用户能够便捷的通过是很大的挑战。这不单单是算法问题，更是涉及从产品、交互、用户体验、环境参数适配，安全策略，高并发系统架构等一系列问题，这是一个系统工程。经过一年多的产品优化，现在能保证在各种复杂的环境下仍有不错的刷脸体验和安全性。 未来目标 您可以聊一下人脸识别在刷脸支付之外，未来还可能应用在哪些地方吗？ 身份验证已经变成了互联网金融的基础设施，甚至是整个互联网+的基础设施。基于人脸识别的身份验证方式可以在数字世界中更好的证明“你是你”，提升便捷性和安全性。另外信用体系是整个社会的基础服务，而身份识别和身份验证又是信用体系的基础，所有的信贷类服务的核心基础就是要知道个人的信用等级，当然其前提还是要证明“你是你”，否则评价出来的信用等级也有可能变成别人的了。除了信用和金融的应用，安全领域也是人脸识别的重要应用，全国多个城市火车站上线了人脸识别验票、北京机场刷脸出关。 蚂蚁金服未来几年在人脸识别领域希望达到的阶段和目标可以介绍一下吗？ 首先在技术上不断保持世界领先地位，驱动各个业务场景更深层次的应用，形成AI驱动、数据驱动的良性循环，同时不仅仅应用在中国，也随着蚂蚁金服国际化的推进，将人脸识别技术应用到全球，为世界上更多的用户提供既安全又便利的刷脸产品和服务。 您怎么看待整个人脸识别行业未来几年的发展？ 人脸识别行业目前整体上还只是起步阶段，如前面讲的，要应用到各行各业和各个用户群体，还有很长的路要走，不管是国际还是国内，还没针对人脸识别的行业标准，目前的人脸识别相关产品使用上还具备一定门槛，没有达到普适性的程度。但是随着技术的持续投入，产业环境的不断成熟，以及相关标准不断出台，相信未来几年会迎来人脸识别行业应用真正的爆发期。 寄语 对于想转行人脸识别的新人，您有什么建议？是否门槛太高，很难切入？ 人脸识别是一个系统工程，除了算法本身，产品、交互、工程都需要深入研究和探索，从算法到线上服务再到用户体验，从实验室性能到实际场景系统性能，仍然有很多挑战性问题需要解决，在各个环节都有很多可以切入的点，重要的在于是否真正解决了用户的问题。