【团队新作】基于交互感知的时空金字塔注意力机制神经网络的行为分类
2018/7/11 18:20:39 中国科学院自动化研究所

     首先，我们定义了一个新的交互感知时空金字塔注意力层，来实现输入在深度卷积神经网络中各个层的不同尺度局部特征的交互感知和时空特征融合的功能。我们首先定义了一个下采样函数R, 将不同层的特征图统一到一个尺度。

    

     接下来，我们对不同尺度的特征图的局部通道特征使用注意力机制进行关键特征提取，

    

     通过使用融合函数对不同尺度的特征进行融合，并计算每个局部特征的注意力得分，用于加权特征。

    

    

     在主成分分析(PCA)中，PCA使用协方差矩阵计算投影向量，进行降维，也就是提取关键的局部特征，其原理如下表示：

    

     我们将其转化损失函数的设计加入到最终的模型中：

    

     同时，我们对提出的空间金字塔注意力模型进行约束，使其不同尺度层的特征图尽量关注到不同的信息：

    

     加入分类损失，最终的损失函数如下：

    

     最后，我们提出的模型参数与输入特征图的数目无关，因此，自然地将其拓展到视频级端到端训练的时空网络，最终的网络结构如下：

    

     我们在国际公开数据库UCF101,HMDB51和无裁剪行为数据库Charades上进行了评测，取得了领先的结果：

    

    

    

     接下来，我们对视频时空输入进行了评测，显示出我们的模型能够同时处理任意数量的视频帧输入，并取得好的实验结果。

    

     最后，我们对视频进行了可视化研究，显示出我们的模型可以对视频中关键的行为进行精确定位。

    

    

     论文信息

     Interaction-aware Spatio-temporal Pyramid Attention Networks for Action Classification

     Yang Du, Chunfeng Yuan*, Bing Li, Lili Zhao, Yangxi Li, Weiming Hu

    

     更多精彩内容，欢迎关注

     中科院自动化所官方网站：

     http://www.ia.ac.cn

     欢迎后台留言、推荐您感兴趣的话题、内容或资讯，小编恭候您的意见和建议!如需转载或投稿，请后台私信。

     作者：杜杨

     编辑：鲁宁、欧梨成

     中科院自动化研究所

     微信：casia1956

     欢迎搭乘自动化所AI旗舰号!

    http://weixin.100md.com
返回 中国科学院自动化研究所 返回首页 返回百拇医药