Hadoop ClickHouse 北斗系统 laravel unicode datatable swift2 Notify.js vue原理 郑州网站开发 seo教程下载 jq遍历对象 edate函数的使用方法 linux撤销 idea批量替换快捷键 kubernetes视频 网页设计公司 python的range python参数 python中set的用法 python教程推荐 python正则匹配数字 java实例 java语法基础 安装java环境 java数组排序 主板排名天梯图 linux解压tar dvwa安装教程 免费的视频剪辑 emit infopath下载 快打旋风3出招表 win10有哪些版本 网络电子书 directx卸载 血dk属性 语音转文字转换器 华为手环怎么连接手机 熊猫关键词
当前位置: 首页 > 学习教程  > 编程语言

Relation-Aware Global Attention for Person Re-identification阅读笔记

2020/8/11 20:24:59 文章标签:

论文题目:Relation-Aware Global Attention for Person Re-identification
作者:Zhizheng Zhang, Cuiling Lan,Wenjun Zeng,Xin Jin,Zhibo Chen
来源:CVPR 2020
文章链接:https://arxiv.org/pdf/1904.02998v1.pdf
代码链接:https://github.com/microsoft/Relation-Aware-Global-Attention-Networks
动机:在行人重识别研究中,注意力机制可以强化区分特征,抑制无关特征。
以前的方法通常使用局部卷积来学习注意力,忽略了从全局结构模式中挖掘知识。作者为了使网络更好的进行attention学习,提出了Relation-Aware Global Attention (RGA) module。
解决方法
1、作者通过设计attention,让网络提取更具有区别度的特征信息。简单来说,就是给行人不同部位的特征加上一个权重,从而达到对区分特征的增强,无关特征的抑制。
2、作者在这篇论文中提出了一个Relation-Aware Global Attention (RGA) 模型挖掘全局结构相关信息,使得attention集中在有区分度的人体部位,并且考虑到每个特征节点和全局特征之间的关系。用来模拟人的视觉系统,对不同的特征付出不同的注意力。
3、对于每一个代表空间位置的特征向量节点,取所有节点之间的成对关系,加上当前节点来表征全局结构信息。对于一个特征集合V = {xi ∈ R d , i = 1, · · · , N},有N个相关特征,通过学习一个表示的mask矩阵,用a=(a1, · · · , aN )表示,用来衡量每个特征的重要程度,通过attention更新的特征为zi = ai*xi,主要任务就是学习ai的值。
方法亮点
如下图所示,在作者之前的attention学习中,有两种普遍的学习方法,分别为下图中的a和b。a1, · · · , a5 对应于五个特征向量 x1, · · · , x5的attention值。
a) 使用卷积神经网络,对每一个特征x,学习一个attention值,因此只能学习到局部特征,而忽视了全局特征。
b) 使用全连接网络,学习到的attention值来自于所有特征向量的连接,虽然学习到了全局特征,但参数量过大,计算量太大。
c) 通过考虑全局的相关信息学习attention值,即对每一个特征向量,全局的关联信息用一个关系对ri = [ri,1, · · · , ri,5, r1,i, · · · , r5,i]表示,其中ri,1表示第i个特征节点和第一个特征节点的关系,以此类推。用一个符号ri&j = [ri,j , rj,i]表示,所有的ri&j组合可以得到x1一个关联特征,组合在一起得到下图中的特征向量r1,再和原始特征向量x1拼接,得到一个relation-aware feature y1, y1 = [x1, r1 ],作为提取attention的特征向量。因此可以看出,基于特征x1得到的attention值a1既包含了局部特征x1,又包含了全局所有特征之间的关系。
在这里插入图片描述
作者设计了两个特征提取模块,如下图所示:
在这里插入图片描述
上图中,a叫做RGA-S,用来提取空间attention,b叫做RGA-C,用来提取通attention。

a) 对于一个输入的特征向量[C,H,W],在上图中,可表示为[C,3,3]。分别输入到两个卷积层c1和c2,经过c1转成向量[9,c];经过c2转成向量[c,9],两者相乘,得到[9,9]矩阵,代表每个向量之间的关系,上图中的黄色块RS(:,6)代表每个向量和第六个特征点之间的关系。再将得到的[9,9]矩阵经过reshape操作分别得到两个矩阵[9,3,3],[9,3,3],紫色块RS(6,:)代表第6个特征和其他所有特征之间的关系。得到的两个relation feature矩阵可以通俗的理解为我和你之间的关系,你和我之间的关系。原始的输入值在经过一个卷积层取所有通道特征图的均值得到一个[1,3,3]的矩阵,因为只需要提取空间信息,所以将通道数变为1。再将三个特征矩阵连接到一起[9+9+1,3,3]。因为卷积网络权值共享,将其压缩为[1,3,3],从而得到每一个位置的权重值,最后与输入x相乘。

b) 与a相似,只不过通道做卷积和reshape操作,获得每个通道的权重值,即判断哪一个特征图重要。

主要结果:
1、 从全局的角度来学习每个特征节点的注意力的特性,通过一个学习函数得到attention关系进行语义挖掘。对每个特征节点,通过叠加节点构建一个紧凑的表示所有特征节点的成对关系的矢量,从中学习注意力,也就是权重。
2、 设计了基于关系的紧凑表示和浅层卷积的RGA模型,分别应用于空间特征和通道维度信息。
在这里插入图片描述


本文链接: http://www.dtmao.cc/news_show_100342.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?