近日,NIST研究测试了184名人类和4种最新人脸识别算法的识别准确率,并将研究结果发布在美国科学院学报。人类识别员由3组人构成:一组是87名经过训练的专业人员,一组是13名所谓的“超级识别者”(天赋出众的人);还有作为对照组的84名没经过专门训练的普通人。
不出意外,经过训练的专业组的表现明显优于未受过任何培训的对照组。但令人惊讶的是,如果单打独斗的话,无论是人类专家还是机器算法,都给不出最准确的结果。只有人类专家搭配上最好的算法,才能得到最好的表现。
NIST电子工程师 P. Jonathon Phillips 评论道:“我们的数据显示,最好的结果出自面部审查员与最好算法的组合。两名人类面部识别专家搭档确实能提升准确率,但不如一名人类专家与最佳算法的组合表现好。”
Vectra安全分析主管 Chris Morales 解释说:“NIST的研究采用了名为卷积神经网络的深度学习。因为其分析是基于像素而不是基于整幅图像,该深度学习被证明在图像识别上相当有效。说白了,它看到的不是整个森林,而是一棵一棵的树。”
NIST研究人员想要弄清的问题,是多少个人或多少台机器结合起来,才能在对比两张照片以确定是否同一人时达到最低错误率——完全正确当然最好。该研究的结果是,人与机器的组合比单个人的准确率要高,也就形成了更高的生产力。之所以会产生这样的结果,是因为人和机器各自具备的优缺点不同,协同工作时正好能扬长避短互相弥补。
研究人员发现,最好的机器与最优秀的人,其表现相差不大。另外,人类面部审查员与机器学习结合能取得最佳准确度得分 1.0 (不出错)。而想要在不用机器学习的情况下取得同样的1.0表现,则需要4名经过训练的面部审查员或3名超级识别者。
如果这些结果代表着AI在网络安全应用上的普遍现象,也就意味着我们可能正快速接近一个临界点。目前,算法并不比经过训练的专业人士好多少,但如果机器学习学习算法为人所用,它们就能提升性能并减少所需人力。
虽然AI本身不是什么新鲜事物,但过去几年其应用和功能有了长足进展。如果上述研究是在3年前做的,最好的计算机算法可能也仅仅与未经训练的普通学生表现相当。如今,顶尖算法的表现已经与经验丰富的专业人士毫无二致了。
其中蕴含的意思就是,虽然我们尚不能完全依赖机器学习算法决策,但如果算法品质持续改善,那一天终将到来。我们目前就已经达到能用AI减少人力资源依赖的程度了。最好的结果不是来自专家团队搭配机器学习,而是单个专业人士与最好算法的配合。
Tim Sadler,机器学习电子邮件安全公司Tessian共同创始人兼CEO。他表示:“新问题的最优解决方案往往是有人和机器共同找出来的。但是,随着越来越多的数据被打上标记,随着越来越多的研究人员投身AI研究,机器学习模型总体上在往更准确更自治的方向走,越来越不需要人类‘操作员’的存在了。其中一个例子就是医疗影像诊断。该领域里,如今深度学习模型已经在癌变组织早期诊断中大幅超越了放射科医生,即将变身AI万能诊断师。”
不过,Tim Sadler 并不认为人脸识别算法已经达到医疗影像诊断中AI所企及的高度。
“
人脸识别技术还很新,尽管机器学习正快速颠覆该领域,但很明显这项技术并不完美,比如家族特征有时候就能蒙过人脸识别技术的验证。人脸识别专家和机器学习算法的紧密合作还将持续数年,在类似的颠覆出现之前,专家还将继续修正机器的错误,并正确标记数据。
NIST的研究专门针对的是人脸识别,但基本的原则适用于生物特征识别和网络安全中的各种机器学习用例。首先,机器学习算法通过输入收集有关某情形的各种细节,然后将该信息与所存储的数据进行比较,判断这些信息代表着什么。计算机根据所收集的信息排演各种可能操作,预测哪一种是最有可能成功的。
AI在网络安全领域越来越举足轻重,尤其是在用户身份验证面临更多挑战的当下。但是,AI技术必须能够自适应复杂困难场景,比如人脸被部分遮挡,或者光线不足以保证图像精度而错误接受率又很低之类的。
英国阿尔斯特大学教授,IEEE高级会员 Kevin Curran 博士举出了苹果 Face ID 中AI应用的例子:
Face ID 通过往人脸上投射3万个红外点阵来产生3D网格面。由此产生的人脸识别信息本地存储到苹果的A11仿生芯片中的安全区域。前置红外传感器是是传感深度的关键。早期人脸识别功能,比如三星去年推出的产品,太容易被面具和2D照片骗过了。苹果宣称,其 Face ID 不会屈从于这些小伎俩。不过,有人已经宣称,用3D打印头部的方法可能骗过 Face ID。但我们并未看到该黑客手法经过测试。
该NIST研究仅仅展现了人脸识别算法的有效性,其结果不能自动应用到其他机器学习算法上。但无论如何,基本结论还是可以用到物理安全和网络安全领域的很多其他AI用例上的。
AI改进的脚步很快。虽然AI技术不能完全替代人类,但多个AI联用或人类专家搭配AI使用,能提供最大的有效性。情势已经很明显了:人与机器的正确结合具备提升性能和减少开支的潜力。
研究报告:
http://www.pnas.org/content/pnas/early/2018/05/22/1721355115.full.pdf
本文转自安全牛 作者nana,原文链接https://mp.weixin.qq.com/s/svhvmo3QRIhoXmzemh7JPA