毋立芳团队 | 综述：视频中的群体行为识别

论文题名：A Comprehensive Review of Group Activity Recognition in Videos

论文作者：Li-Fang Wu, Qi Wang, Meng Jian, Yu Qiao, Bo-Xuan Zhao

全文链接：https://link.springer.com/article/10.1007/s11633-020-1258-8  

参考链接：https://mp.weixin.qq.com/s/I3ri8GZupIM0rfGrs1IhDg

人类群体行为识别在安全监控、社会角色理解和体育视频分析等场景中有着广泛应用。然而，当前关于群体行为识别的综述研究非常少，且大多集中在个体行为识别上。北京工业大学毋立芳教授团队带来最新综述，充分介绍了当前关于群体行为识别的最新研究成果及未来发展趋势。成果已于今年1月发表在IJAC上，全文免费下载！

图片来自Springer

近年来，监控设备的大规模应用使得视频数据量迅速增加。分析和理解复杂的视频内容已经成为一项紧迫的需求。群体行为分析作为视频内容分析领域一个极具挑战的研究课题，引起了计算机视觉界的广泛关注，该领域的研究在近几十年来也取得了显著进展。

人类活动是一个复杂的概念，有多个层次。本文根据参与人数的复杂性将人类活动分为三个不同层次：个体行为(individual action)、群体行为(group activity)和密集人群行为(crowd behavior)。图1通过实例分别展示了这三个层次。

图1(来自论文)

个体行为(Individual action)以人体姿势和身体运动为特征信息来区分单个人的行为。密集人群行为(crowd behavior)发生在人群密集较高的环境中，这种情况下无法获得单个人准确的行动轨迹(precise tracks)和详细外观信息，主要方法是基于人群的整体运动模式识别异常活动或紧急情况。

本文主要研究群体行为，这些群体由一个或多个子群体组成，子群体中的多个个体共同协作完成群体行为。群体行为识别的一个显著特征是不同个体之间存在交互关系。

图2(来自论文)

如图2(a)和图2(b)所示，两个被标记出来的人具有相似的外表，且都做着相似的"站立"动作，然而，我们无法仅凭单一个体的动作来区分群体活动，推测群体活动时也应同时考虑个体之间的交互信息。例如，在图2(a)中，两到三个人面对面站着表示他们正在谈话，而图2(b)中，许多人面向同一个方向站立，这意味着他们可能在排队。

图3(来自论文)

图3表明只有少数关键人物在群体活动中扮演重要角色，其他人可能带来无关信息。因此，预测群体行为，应结合场景中的上下文语境信息，而不仅仅关注单一个体反映出的孤立信息。与密集人群行为(crowd behavior)分析相比，群体行为(group activity)识别任务能够捕捉更为细节的个体特征以及个体间的交互信息，这些信息更容易解释，也更具有实践意义。实际场景中，多个个体之间的互动时常发生，群体行为识别(group activity recognition)在体育视频分析、智能视频监控等领域有着巨大的应用潜力。

综上所述，群体行为识别具有重要的理论和实践意义。然而，当前关于人类活动识别(human activity recognition)的综述研究非常少，且大多集中在个体行为识别(individual action recognition)上。最新一项与群体行为识别相关的综述研究发表于2017年，其主要介绍了基于手工特征的方法(handcrafted based methods)，未对基于深度学习的方法进行深入探讨。但随着深度学习技术的不断进步，关于群体行为识别的研究也取得了很大进展。因此，综述最前沿的群体行为识别方法就显得十分必要。不同于以往研究，本研究充分介绍了当前关于群体行为识别的最新研究成果及未来发展趋势。

本文系统综述了当前的群体行为识别方法，区分了基于手工特征的传统方法和基于深度学习的方法。本文将传统方法分为两类：第一类是自顶向下的方法，它主要依靠分析群体的全局外观角度来识别活动。第二类是自底向上的方法，它根据群体中的每一个体来识别活动。对于基于深度学习的方法，本文根据各种方法关注的关键问题将其分为四类。另外，本文还总结了公开数据集，并对最新方法进行了比较。

本文结构如下：第二部分综述了各数据集。第三部分中，传统方法被分为了两类，每一类方法都配有具体的描述。第四部分详细介绍了近年来提出的基于深度学习的方法。最后，第五部分和第六部分讨论了未来研究的挑战，并给出了结论。

来源：《International Journal of Automation and Computing》编辑部