电子工业出版社-网上书店

人体动作识别是计算机视觉以及相关领域的重要研究内容，旨在识别出具有高层语义的人体动作。客观环境的复杂性以及运动的多样性使基于视觉的人体姿态估计和动作识别极具挑战性，因此研究人体动作识别方法具有十分重要的理论意义和应用价值。本书在总结分析人体动作识别研究现状的基础上，从单人动作和群组动作两个层面研究人体动作识别技术，即人体2D姿态估计、人体3D姿态估计、单人动作识别，以及群体动作识别。本书结构合理，内容全面，既有严格的理论基础，又有实际的应用。。

第1章  绪论	001
1.1  研究目的和意义	001
1.2  国内外研究现状	005
1.2.1  人体姿态估计	005
1.2.2  基于视频的人体动作识别	011
1.2.3  基于骨架序列的人体动作识别	014
1.2.4  基于互动关系的视觉人体动作识别	015
1.2.5  视频群体动作识别	027
1.3  研究内容	032
1.4  本书结构安排	034
第2章  基于时序一致性探索的人体2D姿态估计	036
2.1  引言	036
2.2  相关工作	038
2.2.1  基于深度学习的视频人体2D姿态估计	038
2.2.2  卷积长短时记忆网络和可变形卷积	038
2.3  问题定义	039
2.4  图像人体2D姿态估计网络	040
2.5  视频时序一致性探索	041
2.5.1  变形操作	042
2.5.2  聚合操作	043
2.5.3  双向时序一致性探索	043
2.5.4  多尺度时序一致性探索	044
2.6  视频人体2D姿态估计网络	044
2.7  实验结果	046
2.7.1  实验设置	046
2.7.2  性能比较	048
2.7.3  模型控制变量分析与实验结果	051
2.8  本章小结	055
第3章  多视角几何驱动的自监督人体3D姿态估计	057
3.1  引言	057
3.2  相关工作	059
3.2.1  基于深度学习的单目人体3D姿态估计	060
3.2.2  弱/自监督单目人体3D姿态估计	060
3.3  自监督人体3D姿态估计方法	061
3.3.1  双分支自监督训练网络结构	061
3.3.2  损失函数	062
3.3.3  训练	064
3.4  实验结果	065
3.4.1  实验设置	065
3.4.2  模型控制变量分析与实验结果	066
3.4.3  性能比较	070
3.5  本章小结	071
第4章  基于人体形状与相机视角一致分解的人体3D姿态估计	072
4.1  引言	072
4.2  相关工作	074
4.2.1  基于字典学习的单目人体3D姿态估计方法	074
4.2.2  运动恢复非刚体结构	075
4.3  问题定义	075
4.4  一致分解网络	076
4.5  层次化字典学习	077
4.6  模型训练	079
4.7  实验结果	079
4.7.1  实验设置	079
4.7.2  模型控制变量分析与实验结果	080
4.7.3  性能比较	083
4.8  本章小结	084
第5章  基于多时空特征的人体动作识别	086
5.1  引言	086
5.2  相关工作	088
5.2.1  基于表观的时空表示学习	088
5.2.2  基于骨架序列的时空表示学习	089
5.3  多时空特征人体动作识别方法概述	089
5.4  多层级表观特征聚合	090
5.4.1  局部演化描述符提取	090
5.4.2  局部演化描述符编码	092
5.4.3  深度监督的多层级特征聚合	092
5.5  时空图卷积网络	093
5.5.1  时空图卷积	094
5.5.2  网络细节	095
5.6  实验结果	096
5.6.1  实验设置	096
5.6.2  模型控制变量分析与实验结果	097
5.6.3  性能比较	099
5.7  本章小结	100
第6章  基于扁平式互动关系分析的多人动作识别	101
6.1  引言	101
6.2  相关工作	109
6.3  特征表征	111
6.3.1  肢体角度描述符特征	113
6.3.2  空间布局特征	114
6.3.3  基于融合受限玻尔兹曼机的特征融合	116
6.4  线索互动关系模型	126
6.5  扁平式动作识别方法	127
6.6  局部线索与局部识别	129
6.7  基于目标子空间度量的动作相关性分析	130
6.8  全局线索整合与动作识别	131
6.8.1  全局-局部线索整合算法	131
6.8.2  改进全局-局部线索整合算法	132
6.9  实验结果与分析	136
6.9.1  数据集及实验设置	136
6.9.2  算法结果与分析	138
6.9.3  与现有方法的对比	146
6.10  本章小结	149
第7章  基于层级式互动关系分析的群组动作识别	150
7.1  引言	150
7.2  相关工作	152
7.3  混合群组动作模型	154
7.4  混合群组动作模型的概率分布	157
7.5  基于混合群组动作模型的动作识别算法	161
7.6  实验与算法分析	162
7.6.1  数据集和实验设置	162
7.6.2  算法结果和分析	163
7.6.3  与现有方法的对比	168
7.7  本章小结	170
第8章  融合动作相关性的群体动作识别	171
8.1  引言	171
8.2  相关工作	172
8.3  问题定义	173
8.4  动作表示	173
8.4.1  多尺度特征	174
8.4.2  动作表示提取	175
8.5  动作关系推理	177
8.5.1  动作相关性	177
8.5.2  关系推理	179
8.5.3  算法描述	180
8.6  时空表示	181
8.7  模型训练	184
8.8  实验分析	185
8.8.1  数据集与评价指标	185
8.8.2  实验设置	187
8.8.3  实验结果分析	187
8.9  本章小结	193
第9章  结论与展望	194

前言
在当今万物互联的时代，基于计算机视觉的应用呈现出不断增长的趋势。人体动作识别是计算机视觉及相关领域的重要研究内容，旨在识别出具有高层语义的人体动作。客观环境的复杂性，以及运动的多样性使基于视觉的人体姿态估计和动作识别极具挑战性。人体动作识别方法对于研究大脑的视觉认知机理具有重要的理论意义，一方面可以对大脑的认知机理相关研究提供实验证明，另一方面还可以通过实验对认知科学进行反馈和促进；同时，人体动作识别在智能安防监控、人机交互、体育运动分析、虚拟现实、动画生成等领域也有着广阔的应用前景。
现有的人体动作识别算法在实验背景下的简单图像（单一人物、明确动作相关物品、简单背景）中可以取得良好的识别效果，但在真实场景捕获的图像（多个人物、不同动作、杂乱物品、复杂背景）中却很难取得满意的结果。图像或视频中多人动作之间常存在互动关系或人物之间在时空中存在复杂的交互关系，但其中的交互关系和时空动态作为群体行为分析中的重要线索尚未被足够地开发与利用。本书在自然科学基金面上项目、联合基金、国家重点研发计划等项目资助下开展研究，针对图像或视频数据，在总结分析人体动作识别研究现状的基础上，从单人动作和群体动作两个层面研究人体动作识别技术，解决上述问题。
本书共9章。第1章概述研究背景和意义，围绕研究目标详细分析了相关研究现状，并介绍了本书的研究内容和结构安排。第2章设计了一种基于时序一致性的视频人体2D姿态估计模型。该模型可以显式地在端到端的网络中对视频时序一致性信息进行建模，并且不需要额外的光流计算，是一种更加高效的方法。第3章提出了一个完全利用几何先验知识、不需要任何人体3D关节点标注的自监督人体3D姿态估计方法。第4章提出了基于一致分解网络的自监督人体3D姿态估计方法。该方法将人体形状与相机视角充分解耦以克服投影不确定性问题。第5章设计了一种基于多时空特征的人体动作识别模型。该模型同时考虑表观时空特征和骨架时空特征，实现了准确的人体动作识别。第6章针对图像中个人动作识别，构建了单层线索互动关系模型，对图像中个人之间的互动关系进行建模，相比于多层模型，它连接关系简单，具有计算轻量化的特点。第7章针对图像群组动作识别，构建了混合群组动作模型，以层级之间的生成关系对多元（包括群组和个人）互动关系进行统一建模，避免了现有层级模型用二元互动关系组合近似计算多元互动关系带来的误差。第8章结合群体动作识别的动作关系推理，以及从时间和空间两个维度同时进行编码的聚合表示，提出了一种融合动作相关性的视频群体行为识别方法。第9章对本书研究的领域做了总结和展望。
感谢李杨、周正、王浩听等博士生和硕士生们长期的合作与共同研究，以及在本书编写过程中所做的工作。感谢对本书投入过心血的所有人。在本书出版过程中，电子工业出版社的张迪编辑给予了很多帮助，在此表示感谢。
由于作者水平有限，书中难免有不足之处，敬请各位专家和读者批评指正。

                                       李侃       
                                  2023年12月于北京

本书配套资源下载

对不起，暂无音视频资源！

视觉人体动作识别技术