视美泰openAI技术白皮书
----------------------------------------
Smartview AI SDK 向开发者提供基于人脸识别的多种类型的开发包。
视美泰致力于为合作伙伴提供便捷准确的人脸识别技术(包括但不限于人脸验证、人脸搜索、人脸检测、关键点检测、属性检测等),为智慧标牌、智慧零售、智慧安防等多个场景提供软硬件一体化的系统级人脸识别解决方案。
核心技术简介
-------------------------------
1、人脸检测
在静止图像或者视频流中,人脸检测技术能快速准确地检测出多张人脸的位置。基于深度学习的人脸检测算法,对光线变化,角度变化,不同肤色,不同年龄的人脸都有较好的适应性,克服了侧脸、半遮挡、模糊人脸等难题,极大提升了各种现实情况中的人脸检出效果。
2、关键点定位
在人脸检测的基础上,可以进行人脸关键点检测(眼角,眉毛尖端,嘴角,鼻尖等),每个特征点可以以图像坐标的形式表现,特征点数量的多少(21 点,106 点)可以表达不同精度的人脸变化。人脸检测技术中的关键点定位算法可对各种表情、姿态、角度丰富多变的人脸进行精准关键点定位。我们的技术经测试(在LFW 1 数据集上随机选取80%训练和20% 测试,计算所有图的平均每点误差与眼距之比的平均误差)误差仅为4.02% 。
2、人脸属性检测
人脸属性检测技术不仅可以准确识别照片中人物的性别和年龄,也提供表情、颜值、 戴眼镜、戴墨镜、微笑等属性。目前可检测出年龄、性别、颜值、眼镜、太阳镜、口罩、种族、睁眼、张嘴、胡须、微笑、生气、平静、困惑、 厌恶、高兴、难过、害怕、惊讶、斜视、尖叫21 种人脸属性。
3、活体检测
活体检测技术能够判断在一段视频中出现的人脸是活人还是照片,视美泰提供单目活体检测技术,也就是只需要一个普通的USB摄像头,当被检测者进入到摄像监控范围内,通过深度学习的活体检测算法,1~2秒内即可完成活体检测。此举在不增加硬件成本的基础上,大大提高了识别认证精度,有效避免人脸存在较大变化情况下识别失败的问题,可以有效抵御照片、视频等欺骗手段,做到真正精准安全的智能身份核验。
4、人脸验证系统
人脸验证技术可以实现1:1和1:N的人脸相似度比对,适用于身份识别及相似脸查询等应用场景。该技术采用深度学习方法对大量数据进行特征提取,利用特征匹配程度来区分不同的人脸。
4.1人脸验证
人脸验证(Face Verification)可以计算两张人脸的相似度,从而判断是否为同一个人。
4.2人脸库搜索
人脸库搜索模块可用于在大规模人脸数据库中快速搜索相似的人脸数据,以确定身份。通过预先创建待查人员的面部特征索引,可在人脸数据库中迅速查找相似人脸。
Smartview AI SDK优势
----------------------------------
视美泰的Smartview AI SDK支持Android系统,通过提供完整的API和测试APP以及测试APP源代码,帮助用户更高效地实现自主产品功能的开发。
1、识别精准
基于DeepID (深分证)的深度学习模型, 在公开的LFW (Labeled Faces in the Wild)数据库测试中,该解决方案的人脸验证技术可达到世界领先的99.53% 准确率(技术源自香港 中文大学的DeepID3 3 ),已超过了人眼自身的识别能力(人用肉眼在LFW上的识别率为97.52%)。
2、极速高效
基于ARM NEON和Mali GPU,在视美泰RK3288系列以及RK3399系列人工智能硬件平台可实现极速核验:
1)、人脸验证测试结果
测试方法:循环10 次调用接口,取单次平均耗时。
时间:人脸特征提取时间
2)、人脸属性测试结果
测试方法:循环10 次调用人脸属性检测接口,取单次平均耗时。
平均每张人脸耗时(ms):
3、离线识别
支持离线人脸识别,在本地处理所有数据。用户只要提前将数据(卡号、指纹、人脸)导入,即可在获取被识别者人脸信息、证件信息后在本机上进行比对验证。
4、深度定制
视美泰的Smartview AI SDK针对ARM指令集的深度优化,大幅提升性能,支持专有的人脸识别加速框架,方便用户开发上层应用。
开发资料
------------------------------
1、API文档
视美泰为用户提供API文档,包括模块介绍、Android开发包、API列表、环境的搭建以及函数的调用等。
2、测试APP
视美泰可提供测试APP作为测试例程,通过模拟典型应用场景来测试Smartview AI SDK,包括:
1)、人脸检测:通过摄像头捕捉人脸,显示人脸的性别和年龄信息以及人数统计。
2)、人脸验证:轻量级人脸验证,在人脸库中预先注册人脸信息,再通过摄像头捕捉人脸,将捕捉到的人脸信息与人脸库的信息进行比对核验并返回验证结果。
3、测试APP源代码
视美泰的Smartview AI SDK为用户提供测试APP源代码,用户可以参考测试APP源码,根据自身需求进行应用软件的开发。
Smartview AI SDK分类
----------------------------------
1、人脸识别硬件平台
基于视美泰的高运算性能RK3288系列及RK3399系列人工智能硬件平台,可以为人工智能产品化提供无限可能,并且通过专业的硬件开发,嵌入式开发,系统开发以及应用开发等服务帮助合作伙伴加快项目落地。
1)、RK3288系列人工智能硬件平台
推荐主板:IoT-3288A / IoT-3288E
2)、RK3399系列人工智能硬件平台
推荐版型:IoT-3399E
2、Smartview AI SDK开发包分类
Smartview AI SDK 向开发者提供基于人脸识别的多种类型的开发包。针对不同的应用环境,目前提供4种类型的系统级人脸解决方案:
1)、MIPS_AI_Basic(标准版人脸识别模块):
提供人脸跟踪、人脸属性识别(年龄、性别等)、人脸比对、人脸搜索等功能
2)、MIPS_AI_Basic_GerLivenessOffline(标准版人脸识别+活体识别模块):
除提供标准版人脸识别功能外,还提供活体识别功能;
3)、MIPS_AI_Basic_IDCheckOffline(人证比对模块):
提供人脸跟踪、人脸比对、人脸搜索等功能,与标准版的区别在于,人脸比对模块使用的模型是针对人脸比对场景有特定优化,人脸1:1、1:N 比对准确率更高。
4)、MIPS_AI_Basic_ _ LivenessIDCheckOffline(人证比对+活体识别模块):
除提供人脸比对外,还提供活体识别功能;
3、开发包导入方式
Smartview AI SDK 包含android开发包:MIPS_AI_Basic_GerLivenessOffline.jar,导入此包即可开始开发。支持两种导入方式:
1)、采用授权工具(MIPS_AI_Authorization.apk)手动授权,
2)、采用API(mipsGetDeviceInfo )获得设备信息,集中授权。
Smartview AI SDK 典型应用
---------------------------------------
人脸识别闸机
基于视美泰Smartview AI SDK的人脸识别闸机解决方案支持在设备本地获取人脸图像,调用人脸查找API,基于查找结果判断是否可以放行,将返回结果通过信号指令传输给闸机或门禁,并完成设备联动。
人脸识别考勤机
用户提前将数据(卡号、指纹、人脸)导入,即可在获取被识别者人脸信息、证件信息后在本机上进行比对验证。并且利用前端采集设备新获取的人、证信息还可以实时回传比对记录供后台系统实现远程数据分析。
人脸识别标牌
基于Smartview AI SDK的支持,数字标牌可实现精准推广以及客流统计,根据顾客的性别以及年龄等属性自动切换到更精准的广告信息。并且前端实现通过人脸检测抓取分析客群年龄、性别,后端系统可自动进行数据的整合分析。
人脸识别支付
搭载视美泰人脸识别技术的智慧自助终端可以实现人脸识别支付功能,以自动售货机为例,可支持消费者预先充值到个人账户后,再次购物时登陆账号刷脸支付购物。