人脸活体识别3：C/C++实现人脸眨眼张嘴点头摇头识别(可实时检测)

技术文档

人脸活体识别3：C/C++实现人脸眨眼张嘴点头摇头识别(可实时检测)

1. 前言

2.人脸活体识别方法

（1）基于人脸动作的检测

（2）基于红外的活体识别

（3）基于深度的活体识别

3.人脸检测模型

4. 活体识别模型

（1）将Pytorch模型转换ONNX模型

（2）将Pytorch模型转换为NCNN模型

5. 活体识别C++端上部署

（1）项目结构

（2）配置开发环境(OpenCV+vulkan+base-utils+NCNN)

（3）部署NCNN模型

（4）CMake配置

（5）main源码

（6）源码编译和运行

6.活体识别效果（C/C++版本）

7.活体识别效果（Android版本）

8. 项目源码下载

1. 前言

人脸活体识别技术是确保人脸识别系统安全性的关键，主要用于区分真实人脸与伪造攻击（如照片、视频、3D面具等）。本项目基于深度学习技术，构建了一套高鲁棒性的面部活体检测系统，可精准识别眨眼（闭眼）、张嘴、点头（低头）、摇头（侧脸）等生物特征动作，可有效防范照片、视频、3D面具等伪造攻击等多种场景，可应用于金融支付、远程身份核验（如银行开户）等场景。

整套项目分为人脸活体识别数据集说明，模型开发和训练，模型边缘侧部署C++/Android等多个章节，本篇是项目《人脸活体识别》系列文章之《C/C++实现人脸眨眼张嘴点头摇头识别》；为了方便后续模型工程化和Android平台部署，项目对活体识别模型进行轻量化，并提供Python/C++/Android多个版本；

整套活体识别系统，在普通Android手机上可以达到实时的检测效果，CPU(4线程)约40ms左右，GPU约30ms左右，基本满足业务的性能需求。准确率还挺高的，采用轻量级mobilenet_v2模型的人脸活体识别准确率也可以高达99.9661%左右，满足业务性能需求。

模型 input size Test准确率 Mobilenet 112×112 99.9661 Resnet18 112×112 99.9322 MobileVit 112×112 99.9322

【尊重原创，转载请注明出处】https://blog.csdn.net/guyuealian/article/details/148774226

更多人脸识别和活体识别文章，请参考：

人脸活体识别1：眨眼张嘴点头摇头人脸数据集
人脸活体识别2：Pytorch实现人脸眨眼张嘴点头摇头识别(含训练代码和数据集)
人脸活体识别3：C/C++实现人脸眨眼张嘴点头摇头识别(可实时检测)
人脸活体识别4：Android实现人脸眨眼张嘴点头摇头识别(可实时检测)
人脸识别2：InsightFace实现人脸识别Face Recognition(含源码下载)
人脸识别3：C/C++ InsightFace实现人脸识别Face Recognition(含源码)
人脸识别4：Android InsightFace实现人脸识别Face Recognition(含源码)

2.人脸活体识别方法

人脸活体识别的方法有很多，如基于人脸动作的活体识别，基于红外的活体识别，基于深度的活体识别等等方法。

（1）基于人脸动作的检测

要求用户配合完成随机指令动作（如眨眼、点头、张嘴、摇头等），通过计算机视觉算法（如光流法、关键点跟踪）分析动作的自然性和时序连贯性。

优点：实现简单，能有效抵御照片和静态视频攻击。

缺点：依赖用户配合，体验较差；可能被高仿动态视频（如Deepfake）欺骗。

（2）基于红外的活体识别

利用红外摄像头捕捉人脸的红外反射特性或热辐射分布，如采用红外光谱分析，活体皮肤对特定波长红外光的吸收/反射模式与非活体不同。

优点：无需用户配合，可抵御照片、视频及部分3D面具攻击。

缺点：设备成本较高；受环境温度影响（如低温可能降低检测精度）。

（3）基于深度的活体识别

通过3D深度摄像头（如结构光、ToF）获取人脸的三维几何信息（如鼻梁高度、曲面曲率），非活体（照片、屏幕）缺乏真实的深度结构。

优点：防御能力最强，可识别高级3D头套攻击。

缺点：硬件成本高，需专用3D传感器。

本项目实现方案是采用基于人脸动作的活体识别方法，即先采用通用的人脸检测模型，进行人脸检测定位人脸区域，然后按照一定规则裁剪人脸检测区域，再训练一个人脸活体识别分类器，完成人脸活体识别的任务。人脸动作主要包含：眨眼（闭眼）、张嘴、点头（低头）、摇头（侧脸）。

3.人脸检测模型

本项目人脸检测训练代码请参考：https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB

这是一个基于SSD改进且轻量化后人脸检测模型，很slim，整个模型仅仅1.7M左右，在普通Android手机都可以实时检测。人脸检测方法在网上有一大堆现成的方法可以使用，完全可以不局限我这个方法。

当然可以基于YOLOv5训练一个人脸检测模型：人脸检测和行人检测2：YOLOv5实现人脸检测和行人检测(含数据集和训练代码)

4. 活体识别模型

关于人脸活体识别模型训练，请参考《人脸活体识别2：Pytorch实现人脸眨眼张嘴点头摇头识别(含训练代码和数据集)》

整套活体识别系统，在NCNN加速下，可以达到实时的检测效果，基本满足业务的性能需求。下表格给出Mobilenet，Resnet18和MobileVit模型识别的准确率：

模型 input size Test准确率 Mobilenet 112×112 99.9661 Resnet18 112×112 99.9322 MobileVit 112×112 99.9322

模型训练完成后，需要将Pytorch模型转换为NCNN格式，转换方法请参考如下

考虑到端上硬件处理性能比较弱鸡，项目C++和Android部署仅使用Mobilenet模型。

（1）将Pytorch模型转换ONNX模型

项目Python源码提供了转换工具，可实现将Pytorch的模型转换为ONNX模型文件，且文件会默认保存在Pytorch的模型文件同一目录下。

python libs/convertor/convert2onnx.py

（2）将Pytorch模型转换为NCNN模型

你也可以一步到位，使用PNNX工具，直接将Pytorch模型直接转换为NCNN文件

python libs/convertor/convert2ncnn.py

NCNN转换工具说明，请参考：

https://github.com/Tencent/ncnn/wiki/use-ncnn-with-pytorch-or-onnx

将ONNX模型转换为NCNN模型，请参考NCNN官方说明：GitHub - Tencent/ncnn: ncnn is a high-performance neural network inference framework optimized for the mobile platform

5. 活体识别C++端上部署

（1）项目结构

（2）配置开发环境(OpenCV+vulkan+base-utils+NCNN)

项目仅在Ubuntu18.04进行测试，Windows系统下请自行配置和编译

安装OpenCV：图像处理

图像处理（如读取图片，图像裁剪等）都需要使用OpenCV库进行处理

安装教程：Ubuntu18.04安装opencv和opencv_contrib

OpenCV库使用opencv-4.3.0版本，opencv_contrib库暂时未使用，可不安装

安装vulkan：模型加速

安装教程：Ubuntu18.04安装Vulkan SDK教程方法

vulkan用于模型GPU加速，若不使用vulkan进行模型推理加速，纯C++推理模型，速度可能会比较慢

base-utils：C++库

GitHub：https://github.com/PanJinquan/base-utils （无需安装，项目已经配置了）

base_utils是个人开发常用的C++库，集成了C/C++ OpenCV等常用的算法

NCNN：模型推理

GitHub：https://github.com/Tencent/ncnn （无需安装，项目已经配置了）

ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。 ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能 APP，将 AI 带到你的指尖。 ncnn 目前已在腾讯多款应用中使用，如：QQ，Qzone，微信，天天 P 图等。

（3）部署NCNN模型

项目实现了C/C++版本的活体识别，模型推理采用NCNN部署框架（支持多线程CPU和GPU加速推理）；图像处理采用OpenCV库，模型加速采用vulkan，在普通设备即可达到实时处理。

如果你想在这个 Demo部署你自己训练的活体识别模型，你可将训练好的Pytorch模型转换为NCNN模型，然后把原始的模型替换成你自己的NCNN模型即可。

（4）CMake配置

这是CMakeLists.txt，其中主要配置OpenCV+vulkan+base-utils+NCNN这四个库，Windows系统下请自行配置和编译

cmake_minimum_required(VERSION 3.14.0)project(Detector)#set(CMAKE_BUILD_TYPE Debug)add_compile_options(-fPIC) # fix Bug: can not be used when making a shared objectset(CMAKE_CXX_FLAGS \"-Wall -std=c++11 -pthread\")#set(CMAKE_CXX_FLAGS_RELEASE \"-O2 -DNDEBUG\")#set(CMAKE_CXX_FLAGS_DEBUG \"-g\")if (NOT CMAKE_BUILD_TYPE) # -DCMAKE_BUILD_TYPE=Debug # -DCMAKE_BUILD_TYPE=Release message(STATUS \"No build type selected, default to Release\") set(CMAKE_BUILD_TYPE \"Release\" CACHE STRING \"Build type (default Debug)\" FORCE)endif ()# NCNN setset(NCNN_OPENMP ON CACHE BOOL \"\" FORCE)set(NCNN_VULKAN ON CACHE BOOL \"\" FORCE)set(NCNN_BUILD_TOOLS OFF CACHE BOOL \"\" FORCE)set(NCNN_COMPILER_SUPPORT_X86_AVX OFF CACHE BOOL \"\" FORCE)set(NCNN_COMPILER_SUPPORT_X86_AVX2 OFF CACHE BOOL \"\" FORCE)set(NCNN_AVX OFF CACHE BOOL \"\" FORCE)set(NCNN_AVXVNNI OFF CACHE BOOL \"\" FORCE)#set(NCNN_SHARED_LIB ON CACHE BOOL \"\" FORCE)set(NCNN_THREADS ON CACHE BOOL \"\" FORCE)set(NCNN_BF16 ON CACHE BOOL \"\" FORCE)set(NCNN_DISABLE_RTTI OFF CACHE BOOL \"\" FORCE)if (CMAKE_SYSTEM_NAME MATCHES \"Android\") add_definitions(-DDEBUG_ANDROID_ON) # for Android Log add_definitions(-DPLATFORM_ANDROID)elseif (CMAKE_SYSTEM_NAME MATCHES \"Linux\") add_definitions(-DDEBUG_ON)  # for WIN/Linux Log add_definitions(-DDEBUG_LOG_ON) # for WIN/Linux Log add_definitions(-DDEBUG_IMSHOW_OFF) # for OpenCV show add_definitions(-DPLATFORM_LINUX)elseif (CMAKE_SYSTEM_NAME MATCHES \"Windows\") add_definitions(-DDEBUG_ON)  # for WIN/Linux Log add_definitions(-DDEBUG_LOG_ON) # for WIN/Linux Log add_definitions(-DDEBUG_IMSHOW_OFF) # for OpenCV show add_definitions(-DPLATFORM_WINDOWS)endif ()add_subdirectory(3rdparty/ncnn ncnn_build)include_directories(3rdparty/ncnn/src)# VULKAN setset(VULKAN_SDK \"3rdparty/vulkansdk/1.3.280.1/x86_64\")# opencv setfind_package(OpenCV REQUIRED)include_directories(${OpenCV_INCLUDE_DIRS} ./src/)#MESSAGE(STATUS \"OpenCV_INCLUDE_DIRS = ${OpenCV_INCLUDE_DIRS}\")# base_utilsset(BASE_ROOT 3rdparty/base-utils) # 设置base-utils所在的根目录add_subdirectory(${BASE_ROOT}/base_utils/ base_build) # 添加子目录到build中include_directories(${BASE_ROOT}/base_utils/include)include_directories(${BASE_ROOT}/base_utils/src)MESSAGE(STATUS \"BASE_ROOT = ${BASE_ROOT}\")# Detectorinclude_directories(src)set(SRC_LIST src/Interpreter.cpp src/object_detection.cpp src/classifier.cpp)add_library(dlcv SHARED ${SRC_LIST})target_link_libraries(dlcv ncnn ${OpenCV_LIBS} base_utils)MESSAGE(STATUS \"DIR_SRCS = ${SRC_LIST}\")add_executable(Detector src/main_classifier.cpp)target_link_libraries(Detector dlcv -lpthread)

（5）main源码

主程序中实现了人脸活体识别，其中test_image_file()实现测试图片，test_video_file()实现测试视频文件，test_camera()实现测试摄像头

//// Created by Pan on 2018/6/24.//#include #include #include #include #include \"classifier.h\"#include \"object_detection.h\"#include \"Types.h\"#include \"file_utils.h\"#include \"image_utils.h\"using namespace dl;using namespace vision;using namespace std;int numThread = 8;DeviceType device = GPU; // 使用GPU运行，需要配置好vulkan//DeviceType device = CPU; // 使用CPU运行string det_bin_file = \"../data/model/face/rfb_face_416.bin\";string det_pam_file = \"../data/model/face/rfb_face_416.param\";// 测试图片数据string image_dir = \"../data/test_image/person\";// 初始化人脸和关键点检测DetParam model_param = FACE_MODEL;ObjectDetection *detector = new ObjectDetection(det_bin_file, det_pam_file, model_param, numThread, device);string rec_bin_file = \"../data/model/class/face_gesture_112_112.bin\";string rec_pam_file = \"../data/model/class/face_gesture_112_112.param\";// 设置检测阈值RecParam param = REC_MODEL;Classifier *classifier = new Classifier(rec_bin_file,  rec_pam_file,  param,  numThread,  device);/*** * 测试图片文件 * @return */int test_image_file() { // 测试图片 string image_dir = \"../data/test_image\"; vector image_list = get_files_list(image_dir); for (string image_path: image_list) { cv::Mat frame = cv::imread(image_path); if (frame.empty()) continue; FrameInfo resultInfo; // 开始检测 detector->detect(frame, &resultInfo); // classifier->detect(frame, &resultInfo); // 可视化代码 classifier->visualizeResult(frame, &resultInfo, 0); } printf(\"FINISHED.\\n\"); return 0;}/*** * 测试视频文件 * @return */int test_video_file() { string video_file = \"../data/video/test-video.mp4\"; //视频文件 cv::VideoCapture cap; bool ret = get_video_capture(video_file, cap); cv::Mat frame; while (ret) { cap >> frame; if (frame.empty()) break; FrameInfo resultInfo; // 开始检测 detector->detect(frame, &resultInfo); // classifier->detect(frame, &resultInfo); // 可视化代码 classifier->visualizeResult(frame, &resultInfo, 10); } cap.release(); delete detector; detector = nullptr; printf(\"FINISHED.\\n\"); return 0;}/*** * 测试摄像头 * @return */int test_camera() { int camera = 0; //摄像头ID号(请修改成自己摄像头ID号) cv::VideoCapture cap; bool ret = get_video_capture(camera, cap); cv::Mat frame; while (ret) { cap >> frame; if (frame.empty()) break; FrameInfo resultInfo; // 开始检测 detector->detect(frame, &resultInfo); // classifier->detect(frame, &resultInfo); // 可视化代码 classifier->visualizeResult(frame, &resultInfo, 10); } cap.release(); delete detector; detector = nullptr; printf(\"FINISHED.\\n\"); return 0;}int main() {// test_image_file(); test_video_file(); //test_camera(); return 0;}

（6）源码编译和运行

编译脚本，或者直接：bash build.sh

#!/usr/bin/env bashif [ ! -d \"build/\" ];then mkdir \"build\"else echo \"exist build\"ficd buildcmake ..make -j4sleep 1./demo

如果你要测试GPU运行的性能，请修改src/main_classifier.cpp

DeviceType device = CPU;

如果你要测试GPU运行的性能，请修改src/main_crnn.cpp （需配置好vulkan）

DeviceType device = GPU;

下面截图给出开启vulkan加速的性能对比截图，纯C++推理模式需要耗时几百毫秒的时间，而开启vulkan加速后，GPU模式耗时仅需十几毫秒，性能极大的提高。

6.活体识别效果（C/C++版本）

C++版本的opencv不支持中文显示,暂时未解决这个BUG，不过LOG会打印检测信息，凑合的用吧。

下图GIF这是Python版本的活体识别效果，C++版本与Python版本的结果几乎是一致

7.活体识别效果（Android版本）

项目已经完成Android版本人脸活体识别算法开发，APP在普通Android手机上可以达到实时的检测和识别效果，CPU(4线程)约40ms左右，GPU约30ms左右，基本满足业务的性能需求。详细说明请查看：人脸活体识别4：Android实现人脸眨眼张嘴点头摇头识别(可实时检测)

Android Demo体验：https://download.csdn.net/download/guyuealian/91133467

8. 项目源码下载

如需下载项目源码，请WX关注【AI吃大瓜】，回复【活体识别】即可下载

项目资源内容包含：

提供轻量化人脸检测模型

提供轻量化人脸活体识别模型(Mobilenet)，支持眨眼（闭眼）、张嘴、点头（低头）、摇头（侧脸）动作识别，识别准确率可以高达99.9661%左右。

提供整套人脸活体识别C++项目源码

C++ Demo源码支持二次开发

C++ Demo支持图片，视频和摄像头测试

C++ Demo支持CPU和GPU，GPU模型加速需要配置好vulkan，否则速度较慢；CPU模式推理需要耗时40ms左右，而开启vulkan加速后，GPU模式耗时仅需30ms左右

人脸活体识别3：C/C++实现人脸眨眼张嘴点头摇头识别(可实时检测)