规划问道
数据精英年终大冲刺开车啦！
同时报名还可享更多优惠：
任选2套同报，再减200元！
任选3套同报，再减360元！
任选4套同报，再减520元！
任选5套同报，再减700元！
任选6套同报，再减900元！
项目结题摘要
本项目针对目标重识别数据分布具有共性集中而细节特性差异大的特点，建立了基于一般特征层目标关联的重识别算法，利用特征流形分布规律，聚焦不同层次的特征群体划分，利用度量学习指导更有效的特征提取，从而实现鲁棒精准的跨摄像头目标重识别，具体地：
1）深入分析特征流形的分布特点，细化空间中正负样本的相对位置关系描述，提出基于首位排序损失的度量学习算法，实现更接近样本真实分布的隐式间隔效应，提升模型鲁棒性及泛化能力；
2）利用图网络提取行人特征群体的有效关联及拓扑信息，并通过知识蒸馏将教师分支的拓扑优化能力转移到卷积神经网络的学生分支上，获取图网络学习的数据非欧几何信息，实现复杂信息的有效提取与轻量化部署；
3）构建伙伴式多分支互学习网络框架，全局分支注重目标整体信息，多个局部分支侧重不同的可鉴别性部件或语义信息，提出层次性特征的有机关联及知识迁移方案，实现局部与全局特征空间的有益融合；
4）构建跨空间约束的注意力逐级抑制机制，从最显著的特征开始逐步抑制显著注意力信息，提取更为细微的有价值特征，结合基于目标和图片的跨空间约束进一步细化特征细粒度差异的学习，挖掘出更丰富的判别性信息；
5）针对无法标准化定义的细节显著性信息，提出了基于多样性和一致性约束的非标准结构化特征解耦思路，对解耦后特征按照流形分布聚类，完成特征的隐式对齐，结合全局特征优势，有效地提升了目标特征的鲁棒性和判别能力。
项目结题成果报告
以下研究成果内容摘自项目结题成果报告。该项目报告共计28页，关注城市数据派微信公众号，在微信公众号对话框中输入 24122，即可获得报告全文PDF的下载方式：
(1)主要研究内容。
本项目基于行人重识别数据分布具有共性集中而细节特性差异大的特点，建立了基于一般特征层目标关联的重识别算法，利用特征流形分布规律，聚焦不同层次的特征群体划分,利用基于深度度量学习的损失函数指导更有效的特征提取实现从粗尺度到细粒度的目标特征聚类及重识别，从而提高目标匹配的准确率，实现鲁棒精准的跨摄像头目标重识别，具体地，
1)深入分析特征流形的分布特点，细化空间中正负样本的相对位置关系述,提出基于首位排序损失的深度度量学习算法,实现样本分布的隐式间隔效应并有效防止外点引发的有害效应，提升模型鲁棒性及泛化能力;
2)利用图网络提取行人特征群体的有效关联及拓扑信息，并通过知识蒸馏将教师分支的拓扑优化能力转移到卷积神经网络的学生分支上,获取图网络学习的非欧式几何信息，实现复杂特征的有效提取与轻量化部署;
3)构建伙伴式多分支互学习网络框架，全局分支关注目标整体信息，多个局部分支侧重不同的可鉴别性部件或语义信息,提出层次性特征的有机关联及知识迁移方案，建立拓扑信息的伙伴式互学习机制，有效提取目标判别性较强的局部信息，并实现局部与全局特征空间的有益融合;
4)在特征空间实现相似目标聚类后，构建跨空间约束的注意力逐级抑制机制，从最显著的特征开始，通过逐步抑制已获取的注意力信息，提取更为细微但有价值特征，结合基于目标和图片的跨空间约束，进一步细化特征细粒度差异的学习，挖掘出足够多的判别性信息，强化重识别算法的细粒度区分能力;
5)为了进一步提取无法标准化定义的显著性细节信息，提出了基于多样性和一致性约束的非标准结构化特征解耦思路，将特征按通道解耦，对解耦后特征按照流形分布规律进行聚类，完成特征隐式对齐，并排除有害外点特征的影响结合全局特征优势，有效地提升了目标特征的鲁棒性和判别能力。
(2)取得的主要研究进展、重要结果、关键数据等及其科学意义或应用前景。
本课题致力于基于特征层关联及流形学习的目标重识别算法的研究，在项目执行期间取得的主要研究进展及重要成果包括:
基于深度首位排序损失的行人重识别度量学习算法
在行人重识别(RelD)等许多基于深度学习的基础视觉任务中，度量学习致力于学习具有更强判别性的度量，更加准确地描述特征间相对位置关系，并随着深度学习的发展出现了一系列具有里程碑意义的成果。分类损失是首先被引入行人重识别的损失函数，而由于分类模型仅在“见过的”类别中进行区分，而 RelD 要求在测试阶段中对“没有见过的”的行人进行识别，后续研究人员陆续提出了对比损失，三元组损失，四元组损失及其变体，通过关注局部区域样本之间相对位置关系来实现度量学习，并通过难样本挖掘或适当的加权策略进一步改进度量学习效果。
受到传统排序理论及其在图像检索和其它相关任务中应用的启发,我们认为一个好的行人RelD的深度度量，首先应该是对实现最多首位排序目标的直接及原始的理论表达，即最小化非首位命中排序的惩罚损失;其次，我们深入分析特征空间流形分布的特点，细化空间中正负样本的相对位置关系描述，提出基于首位排序损失的深度度量学习算法，实现样本分布的隐式间隔效应，并有效防止外点引发的有害效应，提升模型鲁棒性及泛化能力。我们提出的这种简单有效的深度重识别度量，命名为“基于首位命中排序的深度计数器度量(DeepTop-rankCounter Metric)”。我们所提出的方法首先给出了首位命中排序的概念,然后定义了首位命中排序计数器的描述。理想的首位命中排序计数器采用Heavisidestepfunction 来对非首位命中排序的出现次数进行计数，即如果真实匹配的样本没有被排到首位时该损失累积损失为1，否则不计损失。这种损失函数设计的思路与其它计算正负样本对之间距离差异之和的方式有所不同,而与行人重识别的最终理想排序目标更加接近。从实践的角度来看,我们使用Generalizedlogisticfunction实现光滑版本的深度首位排序损失的描述，可以近似表达理想版本，同时也缓解了理想损失函数在深度学习中不可微的困境。与经典深度度量学习算法不同，我们提出的深度首位排序度量可以直接优化重识别的首位命中准确率,通过将正确的匹配样本向查询样本推进直到排名为第一位,同时推至距离负样本更远的地方以期获得更强的泛化能力。此外，我们提出的度量学习算法使用了一种渐进式的难样本挖掘策略，可以更有效地训练深度网络并进一步提高RelD的性能。
我们提出的度量损失函数具有以下良好的性质:(1)与ReID优化目标的一致性:提出的方法直接优化首位命中排序损失，是行人重识别排序准确率目标最接近的公式化描述;(2)隐式的间隔效应:由于使用的generalizedlogisticfunction在负无穷处接近0且在原点附近的损失虽然小但仍有值,这些较小的损失会进步推进正样本远离负样本，达到隐含的间隔效应;(3)与mAP准确率的一致性:由于提出的度量针对每一张查询图像进行学习,将每一张真实匹配的正样本行人图像推向 top-rank;(4)较好的鲁棒性及泛化能力:由于损失的最大值为1而不是直接计算样本距离，因此可以防止有可能出现的外点对训练带来伤害;由于损失最小为趋近于零的正值，可以持续推进正样本远离负样本而在测试阶段起到更强的泛化作用。
提出的算法在三个公开的行人重识别数据集Market-1501、DukeMTMC-reID以及CUHK03(Labeled和 Detected)上进行了实验，结果表明:(1)和四种已有的损失函数 Softmax、Triplet、Quadruplet 以及 Hard Triplet 相比，提出的度量函数在三个数据集上都取得了最好的准确率;(2)和目前最先进的前沿算法相比，将提出的算法把 MGN中的度量替换后,可以达到在所有数据集上最好的准确率充分体现了算法的优势。该成果发表在ICPR2020上。
二、基于拓扑信息的伪图网络知识蒸馏的目标重识别
大多数现有的目标重识别方法都采用单一图像作为输入，由于视角、光照、遮挡等因素的影响，往往只能获得有限的信息，造成了目标重识别模型部分性能的损失。同一目标两张不同视角的单一图像通常在外观上存在较大差异，导致最终基于图像的特征表示之间存在较大距离。图卷积网络可以通过聚合邻居节点的拓扑信息来增强特征关联效果，捕捉图网络中非欧式几何信息，提升基于图像的特征表示能力,这种基于图的信息比基于图像的特征表示更适合用于缓解之前提到的目标重识别困境。一些研究人员将图卷积网络(GCN)与重识别方法(RelD)方法相结合，往往可以获得更好的性能。尽管已有的基于图卷积网络的重识别方法取得了一定进展，但获取邻近样本信息在训练和推理阶段都需要较长时间。在实际场景中应用基于图网络的方法存在两个局限性:第一，在城市交通等实际监控场景，通常只有少数摄像头拍摄的有限照片，无法获得充分有效的近邻信息;另-种是大规模的RelD场景，通常有一个较大的图库集，由于图卷积的方法在推断的过程中需要迭代遍历所有样本去搜索近邻,这个过程不仅不经济并且会消耗大量的计算资源。
我们提出了基于伪图网络的目标重识别方法(PGVR)，使一个纯基于卷积网络的模块在推理过程中表现出接近基于图网络模块的性能。PGVR由两个分支组成，包括一个基于图网络的教师分支和一个基于卷积的学生分支,以及用于信息传递的知识迁移机制。教师分支的目标是通过基于块的特征切分和基于GCN的ReID模块来学习鲁棒的特性表示。受到PCB性能提升的启发，我们将基于条型的切分应用于PGVR。学生分支主要关注全局特性，并且是完全基于卷积的块。该方法的核心是基于图的知识蒸馏，将拓扑优化能力从教师分支(基于图卷积的模块)转移到学生分支(基于卷积的模块)。通过基于图的知识提炼和迁移，基于卷积的学生分支具有类似的图关联能力,使得基于卷积的模块与教师模块的性能相媲美为了使教师分支中的图卷积网络模块适应于目标重识别任务，图卷积网络模块会在重识别损失的监督下工作。目标重识别的损失主要在分类空间和度量空间对基于RelD的GCN进行优化，为学生分支提供了更精确的拓扑关系信息。GCN(教师分支)最重要的能力是来自于拓扑优化的特征聚合能力，我们的目标是通过基于图的知识蒸馏，使基于卷积的模型(学生分支)获得同样具有竞争性的拓扑优化能力。所以图信息蒸馏的另一项重要任务是GCN-CNN 蒸馏，目的是将托扑优化能力通过图信息蒸馏从教师分支传递到学生分支。我们在两个分支中得到对应的子图来描述节点关系，然而我们发现由于节点集来自不同的两个分支，因此直接蒸馏可能导致模型性能下降。为了对齐两个分支的节点集，我们提出了一种基于锚点的扩展子图。具体来说，构建了一个基于锚点的子图(AS)，该子图包含两层邻近子节点，以便在基于RelD的GCN中传递更全面的关系。与传统的知识蒸馏不同，我们提出的基于图的知识蒸馏旨在传递与基于ReID的GCN 学习的分类器空间和度量空间信息一致的信息。对于由教师分支和学生分支构造的基于锚点的子图，我们认为它们只强调相邻节点，忽略了学生分支和教师分支往往有不同的邻居节点的现象，而节点集之间的不一致可能导致无效知识迁移。为了解决上述问题，我们通过将所有节点纳入节点集，将基于锚点的子图(AS)扩展为个基于锚点的拓展子图(BAS)。扩展锚基子图(BAS)考虑了所有节点,将batch中非邻居节点称为伪节点，我们在伪节点和最近邻最近的节点之间添加伪边。
我们提出的方法在3个常用目标RelD数据集上进行训练测试，对伪图网络目标重识别模型(PGVR)的性能进行了评价，并对于蒸馏任务，我们提出studentteacher transfer efficiency(STTE)来衡量教师模型和学生模型之间的知识蒸馏效率STTE 量化了知识蒸馏带来的学生模型中的改进。完善的知识蒸馏可以缩小学生模型与教师模型之间的差距。实验表明，1)通过共享基础特征提取的模型以及基于图网络的教师分支的改进，我们的baseline模型已经在大多数数据集上达到了最先进的性能。基于这样的 baseline 模型，PGVR仍取得了新的收益。2)与基于局部信息和基于属性的方法相比，PGVR获得了显著的提高(三个数据集上mAP分别提高了 3.5%，3.3%以及 2.1%)，这验证了PGVR 中学生分支学习到了更好的细粒度信息。3)与基于注意力的方法相比，PGVR在三个数据集上mAP分别提高了4.2%，7.1%以及 1.2%。综上所述，在所有比较的目标重识别方法中，我们的方法获得了更好的性能。由于基于伪图网络的方法使得基于卷积的方法达到与基于网络的方法一样的性能，从而可以在许多实际场景进行部署应用。该项成果发表在ACM-MM2021-。
三、基于层次性知识迁移的伙伴式互学习目标重识别
目标重识别模型为了挖掘更加具有判别力的特征及特征层关联，往往会增加很多额外的模块，虽然可以提升性能，但是却以额外的部署开销作为代价。为了解决这个问题，首先，我们提出了一种多分支的网络结构用于挖掘具有判别力的细粒度特征，一个分支关注于全局特征，其它分支关注于局部细粒度特征;其次，提出了伙伴式互学习的概念，即一种多元平等互补学习的模式，多个分支可以通过相互的学习获得有效的隐式特征层关联。通过伙伴式互学习在训练的过程中交换多个分支的信息，并实现多个局部与全局特征空间的有益关联融合，部署时仅需要全局分支就可以获得细粒度的特征挖掘能力。
针对目标重识别任务在实际部署过程中存在“复杂模型，轻量部署”的需求，本课题提出了基于伙伴式互学习的重识别框架。该框架具有多分支的网络结构，通常具有一个全局分支，同时拥有一个或多个局部分支。局部分支可以采取有监督或者无监督的方式去从局部信息中挖掘细粒度信息。在训练的过程中，局部分支和全局分支共同参与训练，并且通过伙伴式互学习机制进行互补式的学习;在测试的过程中，我们只需要使用全局分支进行部署。下图所示是两种基于不同的局部特征提取方式的框架结构。
传统的知识迁移主要是采取知识蒸馏方案，对训练集的预测分数进行迁移但是由于重识别任务是一个开放环境任务，测试集和训练集是不重叠的，所以仅仅迁移训练集的预测分数是不充分的。为了进行有效迁移，我们进一步提出了层次性知识迁移方案，如图所示包括了下述三个部分:基于注意力的信息迁移;基于样本关系的信息迁移;基于训练集预测结果的信息迁移。
……
还有更多成果内容，详见项目结题成果报告。该项目报告共计28页，关注城市数据派微信公众号，在微信公众号对话框中输入24122，即可获得报告全文PDF的下载方式。
原文始发于微信公众号（城市数据派）：【优秀成果推荐】基于流形学习及特征层关联的行人重识别研究丨城市数据派
