动作捕捉

动作捕捉从字面意思可以直观地理解为通过各种技术手段记录被观察对象（人或物，或是动物）的动作，并做有效的处理。从专业角度来看，动作捕捉是一项能够实时地准确测量、记录运动物体在实际三维空间中的各类运动轨迹和姿态，并在虚拟三维空间中重构这个物体每个时刻运动状态的高新技术。

既然是一项技术，那么总是有各类不同方式实现这项技术的。动作捕捉技术现阶段可以分为以下几种：光学式，惯性式，机械式，声学式，电磁式。

光学式动作捕捉是通过光学原理来完场物体的捕捉和定位的。是通过光学镜头捕捉固定在人体或是物体上面的marker的位置信息来完成动作姿态捕捉。光学动作捕捉可分为被动式和主动式两种。这个分类是从marker来区别的。主动式是指marker是主动发光甚至可以自带ID编码的，这样镜头在视野中可以通过marker自身发光来观测它，并记录捕捉到其的运动轨迹。而被动式光学动作捕捉是通过镜头本身自带的灯板发出特定波长的红外光，照射到marker上，marker是通过特殊反光处理，可以反射镜头灯板发出的红外光，这样镜头就能在视野里捕捉记录该marker的运动轨迹。

惯性动作捕捉则是采用惯性导航传感器AHRS(航姿参考系统)、IMU(惯性测量单元)测量被捕捉者或物体的运动加速度、方位、倾斜角等特性。惯性动作捕捉需要各类无线控件，电池组，传感器等一些配件。类似一个整装衣服穿在身上，通过各个部位的传感器来捕捉人体或物体的数据。

机械式动作捕捉系统依靠机械装置来跟踪和测量运动轨迹。典型的系统由多个关节和刚性连杆组成，在可转动的关节中装有角度传感器，可以测得关节转动角度的变化情况。装置运动时，根据角度传感器所测得的角度变化和连杆的长度，可以得出杆件末端点在空间中的位置和运动轨迹。

声学式动作捕捉系统一般由发送装置、接收系统和处理系统组成。发送装置一般是指超声波发生器，接收系统一般由三个以上的超声探头组成。通过测量声波从一个发送装置到传感器的时间或者相位差，确定到接受传感器的距离，由三个呈三角排列的接收传感器得到的距离信息解算出超声发生器到接收器的位置和方向。

电磁式动作捕捉系统一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场；接收传感器安置在表演者身体的关键位置，随着表演者的动作在电磁场中运动,接收传感器将接收到的信号通过电缆或无线方式传送给处理单元，根据这些信号可以解算出每个传感器的空间位置和方向。

不同原理的动作捕捉设备各有其优缺点。机械式动作捕捉虽然成本低，精度也较高，但是由于机械设备有尺寸及重量等问题，使用起来非常不方便。而声学式动作捕捉的延迟很大，精度不高，大部分动作捕捉的应用领域都无法使用。电磁式的动作捕捉设备对于环境的要求很严格，如果表演场地附近有金属物品，就会造成电磁场畸变，影响精度。所以，机械式、声学式与电磁式的动作捕捉系统在现代已较少应用。

目前主流的动作捕捉技术是惯性动作捕捉与光学动作捕捉。光学动作捕捉中，由于主动式marker需要供电，在固定marker时需要的配件和线路会影响使用，所以现在主流使用的光学动作捕捉几乎为被动式光学动捕。与被动式光学动作捕捉亚毫米级的精度相比，惯性动作捕捉的误差随着时间而累积，精度上不如被动式光学动作捕捉；在使用环境上，由于惯性动作捕捉的传感器长时间暴露在磁场中可能会造成传感器磁化，所以在使用时要远离磁场（包括但不限于电脑、键盘、电视等）。在自动化控制、运动分析、步态分析、虚拟现实、人机工效、影视动画等领域，被动式光学动作捕捉往往更具优势。考虑到惯性动作捕捉相对被动式光学动作捕捉具有的价格优势，在一些对精度要求不那么高的领域（如部分电影电视中的人群的动作捕捉），往往会选用惯性动作捕捉。

（1）无人机&无人车协同控制

光学动作捕捉系统可作为室内定位设备，采集三维空间XYZ坐标、六自由度（6Dof）、偏航角（Yaw）、横摇角（Roll）、俯仰角（Pitch）、欧拉角等数据，为无人机无人车协同控制、运动规划、多智能体集群与编队、多智能体动作跟随、多智能体自主避障提供亚毫米级的定位数据。

例1：北京理工大学-多智能体协同控制实验平台

场地大小：4米×4米

被捕捉物：E-puck无人车，无人机

核心配置：8个Mars 2H动作捕捉镜头

北京理工大学在NOKOV度量光学动作捕捉系统的基础上搭建了一套以无人机、地面移动机器人/无人车为控制对象的异构多智能体协同/地空协同/无人机集群控制实验平台，该平台可实现对多种异构智能体控制算法进行验证，并模拟出空地协同巡逻、无人车围捕和探测围捕等多种军事场景。

例2：电子科技大学-基于Crazyswarm的Crazyflie无人机编队

场地大小：3米×4米

被捕捉物：Crazyflie无人机

核心配置：8个Mars 2H动作捕捉镜头

电子科技大学基于NOKOV度量室内动作捕捉系统的无人机自主建造实时控制系统和可视化界面平台，现已完成了全部由无人机自主完成的搭建试验，向实现空中无人机自主建造的目标更近了一步。

(2) 仿生机器人

光学动作捕捉系统可采集三维空间XYZ坐标、六自由度（6DoF）、头和躯干、上肢（肩、肘、腕、手）、下肢（髋、膝、踝、足） 等关节角度数据，为仿生机器人的位姿控制、运动规划提供连贯、流畅的动作数据基础。然后将运动学数据作为机器人的运动、步态和位姿基础数据，对仿生机器人进行动作估计和控制、步态规划 和控制、位姿规划和控制，使其按照预期的运动轨迹执行人类为其设定的动作任务。

例：山东大学控制学院-四足仿生机器人的步态优化

场地大小 ：14米×8米

被捕捉物 ：四足机器人

核心配置： 12个Mars 2H动作捕捉镜头

研发过程中，为了准确采集机器人的运动步态信息，研究人员借助NOKOV度量光学三维动作捕捉系统，在室外捕捉仿生机器人的运动姿态，以供他们进行调整，优化越障行为。

(3) 外骨骼机器人

光学动作捕捉系统可采集三维空间XYZ坐标、六自由度（6Dof）、头和躯干、上肢（肩、肘、腕、手）、下肢（髋、膝、踝、足）等 关节角度数据，为外骨骼机器人的位姿控制、运动规划提供连贯、流畅的动作数据基础。

例：南方科技大学-生机电一体化穿戴式机器人的研发

场地大小：1.8米×2米

被捕捉物：步态、人体关节角度、外骨骼机器人

核心配置：12个Mars 2H动作捕捉镜头

南方科技大学基于降低残疾人做行走、负重行走、上下楼梯、站起等复杂动作时的新陈代谢消耗的目的，研发了包含踝 关节和膝关节的机器人化动力大腿假肢。NOKOV度量三维动作捕捉系统为其提供了包括研究过程中的髋膝踝等重点 关节角度。付成龙教授将NOKOV度量光学三维动作捕捉系统与三维测力平台、表面肌电仪、足底压力测量仪等 设备同步运行，获取人的六自由度（6DoF）的运动轨迹和运动学参数，进行精确的步态分析，并作为运动规划和位姿 规划的基础数据，解决了相容性问题。

(4) 机械臂

光学三维捕捉系统可采集三维空间XYZ坐标、六自由度（6Dof）、手部和上肢（肩、肘、腕）的关节角度数据，为机械臂的位姿控制、 运动规划提供连贯、流畅的动作数据基础。再将捕捉到的人体运动学数据作为机械臂的运动基础数据，对机械臂进行动作估计和控制、位姿规划和控制， 使其按照预期的运动轨迹执行人类为其设定的动作任务。

例：哈尔滨工业大学（深圳）-装配机器人（机械臂）组装技能学习

场地大小：1m×1m

被捕捉物：手部动作

核心配置： 6个Mars 2H动作捕捉镜头

哈尔滨工业大学深圳机电工程与自动化专业的研究团队运用NOKOV度量6个捕捉镜头获取人手在组装过程中的六自由度信息，该信息包括了手部的位置以及方向信息。然后通过获取的装配演示动作信息，由编程得出机器人的控制策略，以驱动机器人在新环境下完成相同的装配任务。

(5) 船舶、海洋和水下应用

1. 船舶、海洋结构物及渔业

光学三维动作捕捉系统作为定位系统，可以获得船舶和海洋结构物模型六自由度运动学参数，用于分析其在风浪流作用下运动响应，或作为位姿传感器，验证动力定位系统可靠性。

例：运输部天津水运工程科学研究院水下悬浮隧道工程技术研究项目

场地大小：22米×20米

被捕捉物：悬浮隧道

运输部天津水运工程科学研究院利用布置在试验水池周围的24个NOKOV度量 Mars 2H光学动作捕捉镜头，捕捉标志点位置，准确获取隧道模型的运动变形响应。

2. 水下机器人

光学三维动作捕捉系统可广泛用于水下机器人开发验证，获取机器人的位置信息和运动姿态。对于多水下机器人协同控制，动作捕捉系统可作为室内实验室环境定位方案，为机器人提供自身及其他机器人位置信息。

例：哈尔滨工业大学-水下机器人

被捕捉物：水下机器人

虚拟现实，又称虚拟技术，它利用电脑模拟产生一个三维空间的虚拟世界， 用户可以即时地观察虚拟空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的虚拟世界视频传回产生临场感。光学动作捕捉系统可实现低成本低延时高精度的定位追踪，沉浸式体验。

例：中国科学技术大学（USTC）-动作捕捉系统用于多用户虚拟空间行走&交互实验

场地大小：10米×10米

被捕捉物：HMD头盔

核心配置：12个Mars 2H动作捕捉镜头

通常情况下，由于虚拟空间和现实空间的几何形状的不匹配，虽然虚拟空间范围很大，但是实际空间范围比较小，而且多名用户在同一空间时，存在互相碰撞的危险。为了解决用户之间存在互相碰撞风险的问题，中国科学技术大学的刘老师团队设计了一种利用“虚拟化身（avatars）“的方法。当两个用户有碰撞风险时，系统在其中一个用户的行走路线前方生成一个动态化身，作为指示物提示用户远离化身，进而避免用户间发生碰撞。中科大的多用户虚拟空间行走&交互实验中使用了12个NOKOV度量 Mars 2H红外光学动作捕捉相机获取用户在三维空间中的位置。

（1）步态分析

步态分析是研究步行规律的检查方法，旨在通过生物力学和运动学手段，结合步态异常的关键环节及影响因素，从而指导康复评估和治疗，同时也有助于临床诊断、疗效评估及机理研究等。正确且高效的步态分析，对于医疗工作者与与病患都是极其重要的。光学动作捕捉系统可实时进行动作数据采集，与 三维测力平台、 三维测力跑台、 表面肌电仪、 足底压力测量仪等设备同步，采集行走、跑步等运动学数据。

例：上海岳阳医院-步态分析

场地大小 12米×8米

被捕捉物 人体动作

核心配置 12个Mars 2H动作捕捉镜头

由姜淑云主任领导的上海中医药大学附属岳阳中西医结合医院的步态与运动分析中心基于NOKOV度量动作捕捉工程师团队的设计与协作，在两个不同大小的实验室内，分别布置了12个、24个动作捕捉镜头，以及不同数量的三维测力台和表面肌电。用户通过三维步态分析系统，采集受试者行走过程的动作，根据系统所出的报告，获取以髋膝踝为主的下肢关节角度、关节间作用力、力矩、特定肌肉的表面肌电数据，进而根据这些数据判断患者异常发生的原因，制定个性化的干预方案。

（2） 运动分析

运动科学领域研究中，全面了解人体运动方式，获取精确的运动数据是十分重要的。光学动作捕捉系统可以采集研究对象亚毫米级精准的位置信息、路径形状和运动行为数据，供进一步进行可用性分析、用户体验分析、舒适度分析、用户行为观察等人机工效学研究，适应不同大小的实验空间。

例：中国残疾人体育运动管理中心-残疾人滑雪运动数据库建立

场地大小 4米×4米

被捕捉物 滑雪运动员

核心配置 8个Mars 2H动作捕捉镜头

中国残疾人体育运动管理中心通过引入了NOKOV度量光学动作捕捉系统来高效、快捷地获取大量基于三维的残疾人运动数据集，用于评价和纠正残疾人滑雪运动时的动作和姿态等。

（1）    影视动画游戏

光学动作捕捉系统可实时采集演员动作数据，进行动画角色匹配和绑定；驱动动画角色与演员同步运动，实时观看捕捉效果；驱动虚拟摄像机，合成真实角度布景。除此以外，整套动作捕捉镜头硬件与操作及分析处理软件可对数据进行快速人工修复，包括删除、填补、平滑等处理，使任务或动物的动作更加逼真自然，提高动画制作的效率和质量。

例：游戏制作篮球动作捕捉

场地大小：8M × 6M

被捕捉物：人体动作

核心配置：36个Mars 4H动作捕捉镜头

北京全时天地在线网络信息股份有限公司借助NOKOV度量光学动作捕捉系统，通过光学镜头实时采集固定在人体关键部位的反光标识点位置信息，实时传输到电脑中由动捕软件对数据进行处理，获得三维坐标、加速度等运动数据，得到这些数据后可以导入Maya、Motion Builder等三维模型软件用于游戏制作，或影视动画、虚拟拍摄、虚拟综艺、虚拟演出、TVC等应用领域。

（2）虚拟直播

虚拟直播将虚拟场景、虚拟形象实时显示在观众面前，虚拟场景与人物替代了原有的耗费较大搭建成本的实景场景与真人出镜，为观众带来全新的视觉体验，同时新技术降低了原有场景搭建成本，是近些年继AI、VR、动作捕捉等技术出现后新兴的一项集成技术，继疫情出现后这项技术迎来了高速发展。光学动作捕捉系统可集成面捕系统（也称表情捕捉系统）、数据手套等硬件，精准捕捉表情、手势，使虚拟人更加活灵活现。光学动作捕捉系统还可以实时驱动虚拟数字人，使虚拟人活跃于虚拟直播、线下全息活动、虚拟演唱会等各种场景。北京冬奥会借助冬奥主题的虚拟主播“冬冬“介绍冬奥趣事、推广冬奥产品。受大家欢迎的电商主播李佳琦此前也邀请了虚拟偶像”洛天依“做客直播间。近年来，京东、淘宝、快手等平台直播间也都可见虚拟主播的身影。淘宝在2020年将虚拟直播列为重点扶持项目，”虚拟主播＋真人主播“的模式给直播带来了更多新可能。

例：Vtuber虚拟直播

被捕捉物：人体动作

虚拟主播“从仔”首次亮相NOKOV度量科技学术前沿内部分享会。结合NOKOV光学动捕系统全身驱动与VUP虚拟直播平台AI面部驱动，虚拟主播“从仔”不仅动作流畅，且表情丰富。将萌趣十足的二次元风融入前沿学术分享会，为广大用户带来全新视听体验。

光学动作捕捉系统的核心是动作捕捉镜头，NOKOV度量全产品线的动作捕捉设备可满足不同应用场景，可根据客户需求来预售制定解决方案。NOKOV度量官网：https://www.nokov.com/

（1）Mars系列

• 科学级性能。其中Mars12H作为科学级动作捕捉设备，分辨率1200万像素，频率300赫兹，可以轻松提供最细腻的动作细节。详细镜头参数可见下图。
• 相同价格，更高性能。得益于NOKOV度量光学三维动作捕捉系统完全自主研发和稳定供应链，使NOKOV度量的价格比其他任何光学动作捕捉系统都更具竞争力。

（2）水下镜头系列

• 水上水下均可使用。
• 精准定位。通过布置在被捕捉物体上的轻量无线标识点，获取精确的六自由度位置和方向，精度可达亚毫米级。NOKOV度量水下镜头适用于各种应用，包括船舶设计，海军研究，渔业和体育科学。
• 已通过水下测试。所有动作捕捉相机都经过了100m深度的压力测试，并具有防腐蚀保护，可在盐水罐或氯化游泳池中使用。