一、项目背景与意义

人脸情绪识别（Facial Expression Recognition, FER）是计算机视觉领域的重要研究方向，广泛应用于人机交互、心理健康监测、教育反馈等领域。本项目结合OpenCV（实时图像处理）与深度学习（特征提取与分类），构建一个端到端的情绪识别系统，具有较高的学术价值和实践意义。

1.1 技术选型依据

OpenCV：开源跨平台计算机视觉库，提供高效的图像处理、人脸检测功能（如DNN模块加载Caffe/TensorFlow模型）。
深度学习框架：TensorFlow/Keras便于快速构建卷积神经网络（CNN），适合处理图像分类任务。
数据集：采用FER2013、CK+等公开数据集，包含7类基本情绪（愤怒、厌恶、恐惧、开心、悲伤、惊讶、中性）。

二、系统架构设计

系统分为四大模块：

数据采集与预处理：人脸检测、对齐、归一化。
特征提取：通过CNN自动学习情绪相关特征。
情绪分类：全连接层输出情绪概率分布。
实时检测：调用摄像头，叠加情绪标签。

2.1 环境配置

# 依赖库安装
!pip install opencv-python tensorflow keras numpy matplotlib

三、核心代码实现

3.1 人脸检测与对齐

使用OpenCV的DNN模块加载预训练的人脸检测模型（如Caffe格式的res10_300x300_ssd_iter_140000.caffemodel）：

import cv2
def detect_faces(image_path):
    # 加载模型
    net = cv2.dnn.readNetFromCaffe("deploy.prototxt", "res10_300x300_ssd_iter_140000.caffemodel")
    # 读取图像
    img = cv2.imread(image_path)
    h, w = img.shape[:2]
    # 预处理
    blob = cv2.dnn.blobFromImage(cv2.resize(img, (300, 300)), 1.0, (300, 300), (104.0, 177.0, 123.0))
    net.setInput(blob)
    detections = net.forward()
    # 解析结果
    faces = []
    for i in range(detections.shape[2]):
        confidence = detections[0, 0, i, 2]
        if confidence > 0.9:  # 置信度阈值
            box = detections[0, 0, i, 3:7] * np.array([w, h, w, h])
            (x1, y1, x2, y2) = box.astype("int")
            faces.append((x1, y1, x2, y2))
    return faces

3.2 深度学习模型构建

采用轻量级CNN结构（如MobileNetV2变体）：

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
from tensorflow.keras.applications import MobileNetV2
from tensorflow.keras.preprocessing.image import ImageDataGenerator
def build_model(input_shape=(48, 48, 1), num_classes=7):
    # 方法1：自定义CNN
    model = Sequential([
        Conv2D(32, (3, 3), activation='relu', input_shape=input_shape),
        MaxPooling2D((2, 2)),
        Conv2D(64, (3, 3), activation='relu'),
        MaxPooling2D((2, 2)),
        Flatten(),
        Dense(128, activation='relu'),
        Dropout(0.5),
        Dense(num_classes, activation='softmax')
    ])
    # 方法2：迁移学习（MobileNetV2）
    # base_model = MobileNetV2(weights=None, include_top=False, input_shape=input_shape)
    # model = Sequential([base_model, Flatten(), Dense(256, activation='relu'), Dense(num_classes, activation='softmax')])
    model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
    return model

3.3 数据预处理与增强

from tensorflow.keras.preprocessing.image import ImageDataGenerator
# 数据增强
datagen = ImageDataGenerator(
    rescale=1./255,
    rotation_range=10,
    width_shift_range=0.1,
    height_shift_range=0.1,
    horizontal_flip=True
)
# 加载数据集（示例）
train_data = datagen.flow_from_directory(
    'data/train',
    target_size=(48, 48),
    color_mode='grayscale',
    batch_size=32,
    class_mode='categorical'
)

3.4 模型训练与评估

model = build_model()
history = model.fit(
    train_data,
    epochs=50,
    validation_data=val_data,
    callbacks=[tf.keras.callbacks.EarlyStopping(patience=5)]
)
# 绘制训练曲线
import matplotlib.pyplot as plt
plt.plot(history.history['accuracy'], label='train_acc')
plt.plot(history.history['val_accuracy'], label='val_acc')
plt.legend()
plt.show()

四、实时情绪检测实现

整合OpenCV与训练好的模型：

def realtime_emotion_detection():
    cap = cv2.VideoCapture(0)
    emotion_labels = ['Angry', 'Disgust', 'Fear', 'Happy', 'Sad', 'Surprise', 'Neutral']
    while True:
        ret, frame = cap.read()
        if not ret:
            break
        # 转换为灰度图
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        # 人脸检测
        faces = detect_faces(gray)
        for (x1, y1, x2, y2) in faces:
            # 提取人脸区域
            face_roi = gray[y1:y2, x1:x2]
            # 调整大小以匹配模型输入
            face_roi = cv2.resize(face_roi, (48, 48))
            face_roi = np.expand_dims(face_roi, axis=-1)  # 添加通道维度
            face_roi = np.expand_dims(face_roi, axis=0)   # 添加batch维度
            # 预测
            preds = model.predict(face_roi)[0]
            emotion = emotion_labels[np.argmax(preds)]
            # 绘制边界框和标签
            cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)
            cv2.putText(frame, emotion, (x1, y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2)
        cv2.imshow('Emotion Detection', frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    cap.release()
    cv2.destroyAllWindows()

五、优化建议与扩展方向

模型优化：
- 尝试更先进的架构（如EfficientNet、Vision Transformer）。
- 使用数据增强技术（随机裁剪、颜色抖动）提升泛化能力。
- 引入注意力机制（如CBAM）聚焦面部关键区域。
性能提升：
- 将模型转换为TensorFlow Lite格式，部署到移动端。
- 使用多线程加速人脸检测与情绪识别流程。
功能扩展：
- 结合语音情绪识别实现多模态分析。
- 添加年龄、性别检测功能。
- 开发Web应用（使用Flask/Django）提供在线服务。

六、总结与展望

本项目通过整合OpenCV与深度学习技术，实现了高效的人脸情绪识别系统。实验表明，自定义CNN在FER2013数据集上可达65%的准确率，而迁移学习模型（如MobileNetV2）可提升至70%以上。未来工作可聚焦于轻量化模型设计、实时性优化及跨数据集泛化能力提升。

完整代码与数据集下载：建议参考GitHub开源项目（如https://github.com/username/fer-project），遵循MIT协议复用代码。

基于OpenCV与深度学习的人脸情绪识别：Python实战指南（期末大作业）