【团队新作】连续情感识别，精准捕捉你的小情绪！
2018/4/17 19:15:38 中国科学院自动化研究所

    

     图像识别、人脸识别一直是人工智能领域的关键技术，其中，情感识别是基于多项人工智能技术、赋予计算机或机器人识别人类内在情感的能力。情感识别在智能人机交互中具有极其重要的作用，可以使交互更加自然和谐。

     连续情感识别是指将情感状态映射到连续空间维度上，给每一帧分配一个情感坐标，常用的情感维度包括激活度(表示个体的神经生理激活水平)和愉悦度(表示个体情感状态的正负特性)两个维度。 连续状态空间情感识别能够对情感的动态变化过程进行建模，描绘出情感的时序变化过程。

     (a) 2D CNN

    

     (b) 3D CNN

     图1 2D CNN与3D CNN的区别

     长短时记忆模型(LSTM)相较于CNN，能够更好地学习到情感的长时动态特性。

     本研究融合了CNN和LSTM，利用ConvLSTM来进行连续情感识别。ConvLSTM是CNN和LSTM的结合体，它的核心是卷积层耦合了LSTM结构，即在其输入-状态和状态-状态之间的转移都有卷积结构。因此，ConvLSTM 既具有CNN处理时序信息的能力，也具有LSTM处理长时动态信息的能力。本文中，ConvLSTM的卷积结构是3D CNN。

     图2 端到端连续情感识别系统框架

     该框架避免了分步计算，利用全连接层进行连续情感识别，统一优化目标为情感识别。同时也避免了对情感特征的选取，输入是视频，输出即是情感识别结果，中间网络结构自动提取情感特征信息。我们将提出的方法在AVEC 2017 的比赛数据库上进行实验，评价标准为一致相关系数(CCC)。结果显示：在激活度上超过基线0.058 (0.583 vs 0.525)，愉悦度上超过基线0.147 (0.654 vs 0.507)，效果良好，验证了该方法的有效性。

    

     更多精彩内容，欢迎关注

     中科院自动化所官方网站：

     http://www.ia.ac.cn

     欢迎后台留言、推荐您感兴趣的话题、内容或资讯，小编恭候您的意见和建议!如需转载或投稿，请后台私信。

     来源：自动化所智能交互课题组

     作者：黄健、李雅、陶建华等

     编辑：鲁宁、欧梨成

     排版：智慧、胡佳

     中科院自动化研究所

     微信：casia1956

     欢迎搭乘自动化所AI旗舰号!

    http://weixin.100md.com
返回 中国科学院自动化研究所 返回首页 返回百拇医药