摘  要： 提出一种在双目视觉的条件下，利用光流金字塔跟踪算法跟踪关节点，以解决传统光流不能进行大幅度运动跟踪的问题，并利用极线约束进行三维重建获得深度信息，结合对消失关节点的位置预测求出相应的三维坐标，再利用层次化的描述方法将三维坐标转化为三维模型中各个关节点的旋转角度，实现对人体运动的模型描述。实验结果表明，该算法能有效地对人体的运动进行描述。  
关键词： 人体三维模型；光流金字塔；极线约束；层次化描述

　人体的运动包含了相当丰富的信息，如从人体运动当中可以看出其动作、姿态；根据目前的运动可以推测它在未来某个时刻的位置、速度；可以看出它的表情、神态；可以了解一个人的个性等。正因为如此，对人体运动的研究有着相当广阔的应用空间，如视频监控、运动分析检测、虚拟现实、动画制作等。而其中关于人体关节点的运动跟踪检测以及人体运动姿势的三维重建更是其研究的热门话题。人体姿势的三维重建可以按照视点的个数分为基于单视点的三维重建[1]和基于多视点的三维重建。基于单视点三维重建的优点在于它使用方便，可以在大多数的场合中使用，限制的条件较少，只需要一个摄像机或其他输入设备。缺点是由于只有一个视点，得不到相应的深度信息，所以当有自遮挡的情况时会产生匹配的模糊性问题。而基于多视点的三维重建可以部分解决这个问题。与单视点相比，多视点易于进行三维重建，但多视点的跟踪同样存在特征对应及自遮挡等难点，而且多视点的自动对应也是目前比较有难度的一个课题。其中对于基于多视点的人体姿势三维重建，大体上可以分为利用机器学习的方法和目标跟踪的方法两种。通过机器学习的方法，可以利用大量的先验知识来获得更加准确的有关三维人体姿势的估计。然而，该方法需要大量的样本数据，使用起来十分不方便而且费时，在一定程度上限制了它的应用。目标跟踪的方法主要由两个步骤组成：首先是在每一帧中为每一个特征点定位，并且在每一帧中跟踪相应的特征点；然后是通过获得特征点来对人体姿势进行三维重建。本文提出一种在两个摄像机的条件下，利用金字塔光流的方法对关节点进行跟踪检测，并利用极线约束进行三维重建，对运动过程中被遮挡的关节点进行预测处理，最后将求出的关节点三维坐标转化成模型中的旋转角，通过层次化的描述，用人体模型来显示相应的动作姿态。
1 算法主要思想
1.1 三维人体模型
　将人体看成是由关节点及其连接线段所组成的刚体的集合。如下肢是由膝关节连接的大腿和小腿两个刚体。以一条线段来表示一个刚体，将人体的运动简化为人体框架的运动，这样就得到一个三维人体框架模型[2]，如图1、图2所示。该人体模型共包含16个人体关节点，其中所有关节点之间的线段在任何时刻都不会发生形变，而且各个线段之间的长短比例关系可以事先根据个体情况进行适当调整[3]。

1.2 光流金字塔跟踪算法
　传统的Lucas-Kanade的光流算法[4]主要基于以下三个假设：(1)亮度恒定，即图像场景中目标的像素在帧间运动时外观上保持不变。对于灰度图像，需要假设像素被逐帧跟踪时其亮度不发生变化。(2)时间连续或运动是“小运动”，即图像的运动随时间的变化比较缓慢。在实际应用中指的是时间变化相对图像中目标运动的比例要足够小，这样目标在帧间的运动就比较小。(3)空间一致，即一个场景中同一表面上邻近的点具有相似的运动，它们在图像平面的投影也在邻近区域。但是由于受人体运动和图像噪声的影响，前后帧中对应的特征点的亮点完全相等几乎是不可能的，一方面是人体的运动往往幅度较大，光线难以保证均匀。另一方面由于运动会产生不可避免的遮挡，亮度甚至还会发生突变，因此传统的方法在人体跟踪中受到一定的局限。
　本文将对传统的光流方法进行改进，使用一种基于图像金字塔的角点梯度光流计算方法对图像序列中的角点进行亚像素级跟踪[5]。该方法的基本思想是：首先构造如图3所示的图像序列的金字塔，金字塔中较高的层是下层图像向下降采样后的图像，原始图像的层数为零。当图像分解到一定的层后，相邻帧的图像间运动幅度就变得足够小，就会满足光流的几个约束条件，此时便可进行光流计算。由高层向低层进行计算，当某一级的光流增量计算出来后，将加到其初始值上，作为其下一层的光流计算初值。这一过程持续进行直到估计出原始图像的光流。

1.4 层次化描述
　对于运动描述，本文使用一种层次化的运动描述方法[8]，把人体模型看成是类似树的结构，如图5所示。树的根节点是Root点，其他子节点对应人体模型中的各个关节点。整个人体的运动可以看成是由平移和旋转组成的，Root点的旋转决定人体模型所对应的方向，人体的平移即为Root点的位移量，其他各节点的旋转是在以父节点为坐标原点的相对坐标系下的旋转。各个关节点的位置可以根据各个关节点间的线段长度和旋转向量求出，而关节点间的线段长度可作为先验知识获得。图中的节点R_ankle，其位置与旋转平移向量的对应关系为：

　在已经知道每个关节点的运动除了包括绕父节点旋转外，还包括随父节点绕祖父节点旋转和平移。因此，三维数据向旋转平移数据转化的关键是在各个非叶子节点处建立以该非叶子节点为原点的参考坐标系。以人体上臂为例来说明旋转数据的计算方法。由于三维数据中没有考虑扭矩的作用，可假设绕轴的运动分量为0；假设旋转方向为先绕z轴旋转β，再绕y轴旋转θ。然后，将三维数据(x，y，z)变换到上臂参考坐标系下，其坐标为(m1，m2，m3)，则参考坐标系下的三维数据(m1，m2，m3)与参考坐标系下的上臂初始位置(-l，0，0)之间的关系可以描述为[10]：

　以此类推，可以计算出人体各个关节点的旋转分量，其实现效果如图6所示。

2 实验结果
　根据本文提出的算法，使用VC++开发一个人体运动跟踪描述系统，可运行在Windows平台上。实验中的视频是使用两个具有平行光轴的摄像机拍摄而成。图7是拍摄的一段图像序列的跟踪结果以及恢复出的三维骨架序列。

　本文提出一种双目视觉下的三维人体运动描述算法。该算法鲁棒性较高，因为除利用贴在人体关节处的用于构建三维标记点的白色标记点之外，没有利用图像上的其他特征。实验结果表明，该算法能有效地对人体运动进行描述，并且当有比较大幅度的运动及遮挡的情况时，依然可以较好地跟踪和预测关节点位置，并进行重建显示。未来的工作是要加入更多的人体约束和运动学约束以消除动作的多义性，进一步提高描述的准确性和鲁棒性。　
参考文献
[1] Zou Beiji， Chen Shu， Cao Shi， et al. Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking[J]. Pattern Recognition， 2009，42：2.
[2] 刘小明，庄越挺，潘云鹤.基于模型的人体运动跟踪[J].计算机研究与发展，1999，36：10.
[3] SHEN B C， SHIH H C， HUANG C L. Real-time human motion capturing system[C]. Proceedings of IEEE Interna-
tional Conference on Image Processing， 2005：11-14.
[4] 张永亮，卢焕章，高劼，等.一种改进的Lucas-Kanade光流估计方法[J].海军航空工程学院学报，2009，24(4)：444-445.
[5] 陈乐，吕文阁，丁少华.角点检测技术研究进展[J].自动化技术与应用，2005，24(5)：1-4.
[6] 张娟，潘建寿，吴亚鹏，等.基于双目视觉的运动目标跟踪与测量[J].计算机工程与应用，2009，45(25)：191-193.
[7] 蔡涛，李德华，朱洲，等.基于彩色图像序列的特征检测和跟踪[J].计算机工程，2005，31(8)：12-13.
[8] Chen Yisheng， LEE J， PARENT R， et al. Markerless monocular motion capture using image features and physical constraints[C]. Proceedings of Computer Graphics International. Washington DC： IEEE Computer Society， 2005：36-43.
[9] KIM S M， PARK C B， LEE S W. Tracking 3D human body using particle filter in moving monocular camera[C].Proceedings of the 18th International Conference on Pattern Recognition. 2006：805-808.
[10] SILAGHI M， PLAENKERS R， BOULIC R， et al. Local and global skeleton fitting techniques for optical motion capture[C]. Proceedings of International Workshop on Modelling and Motion Capture Techniques for Virtual Environments. London： Spirnger-Verlag，1998：26-40.