使用 Unity 引擎开发惯性动作捕捉或光学动作捕捉相关技术，涉及硬件设备的数据集成、数据处理和在 Unity 中实时驱动虚拟角色。以下将对惯性动作捕捉和光学动作捕捉的核心开发流程、技术实现、硬件支持和常见问题解决进行详细说明。

---

1. 动作捕捉简介

1.1 惯性动作捕捉

• 原理：基于惯性测量单元（IMU，包括加速度计、陀螺仪和磁力计），通过计算人体各部位的姿态和位置，实现动作捕捉。
• 特点：
  • 优点：无需外部摄像机，便携性强，适合室内外各种场景。
  • 缺点：容易受到磁场干扰，累积误差可能导致漂移。

1.2 光学动作捕捉

• 原理：通过多台摄像机捕捉反光标记点（或主体）的运动轨迹，从而计算出人体的动作。
• 特点：
  • 优点：精度高，适合高质量动画制作。
  • 缺点：场地要求高，需要专业摄像机和标记点，成本较高。

---

2. 开发流程概述

1. 选择硬件设备：
   • 惯性捕捉设备：如 Xsens、Perception Neuron、Rokoko。
   • 光学捕捉设备：如 OptiTrack、Vicon、Qualisys。
2. 获取硬件数据：
   • 使用设备 SDK 或插件将捕捉数据导入 Unity。
3. 数据解析与映射：
   • 解析捕捉到的动作数据（如关节旋转、位置），并将其映射到 Unity 动画骨骼模型。
4. 实时驱动虚拟角色：
   • 使用 Unity 的 Animator 或 Transform 系统，将捕捉数据应用到角色上。
5. 优化与扩展：
   • 优化实时性，处理数据噪声。
   • 实现动作回放、编辑和二次处理。

---

3. 硬件设备集成

3.1 惯性捕捉设备集成

3.1.1 常用设备与 SDK

1. Xsens：
   • SDK：Xsens MVN Animate。
   • Unity 插件：官方提供 Unity 集成工具。
2. Perception Neuron（PN）：
   • SDK：Neuron SDK。
   • Unity 插件：Neuron Unity Integration。
3. Rokoko Smartsuit Pro：
   • SDK：Rokoko Studio。
   • Unity 插件：Rokoko Studio Live Integration。

3.1.2 集成流程（以 Perception Neuron 为例）

1. 安装 Neuron 官方提供的 Unity 插件。
2. 在 Unity 场景中创建 Neuron 设备的接收器对象（如 NeuronManager）。
3. 配置 NeuronManager 的网络设置（IP 和端口）以接收设备数据。
4. 将设备数据映射到虚拟角色的骨骼。

示例代码：接收并绑定数据到角色

using Neuron;

public class MocapController : MonoBehaviour
{
    public NeuronActor actor; // Neuron Actor 对象
    public Animator animator; // 角色的 Animator

    void Update()
    {
        if (actor != null && animator != null)
        {
            // 将捕捉数据绑定到角色骨骼
            foreach (HumanBodyBones bone in System.Enum.GetValues(typeof(HumanBodyBones)))
            {
                Transform boneTransform = animator.GetBoneTransform(bone);
                if (boneTransform != null)
                {
                    boneTransform.localRotation = actor.GetBoneLocalRotation(bone);
                }
            }
        }
    }
}

3.1.3 数据映射

惯性捕捉设备通常提供关节旋转数据（四元数），需要将这些数据映射到 Unity 的骨骼系统。

• IMU 数据 → Unity 骨骼：
  • 设备提供的 骨骼 ID 与 Unity 的 HumanBodyBones ID 对应。
  • 使用 Unity 的 Transform.localRotation 应用旋转数据。

---

3.2 光学捕捉设备集成

3.2.1 常用设备与 SDK

1. OptiTrack：
   • SDK：Motive Software。
   • Unity 插件：OptiTrack Unity SDK。
2. Vicon：
   • SDK：Vicon Tracker。
   • Unity 插件：Vicon Unity Integration。
3. Qualisys：
   • SDK：Qualisys Track Manager (QTM)。
   • Unity 插件：QTM Unity SDK。

3.2.2 集成流程（以 OptiTrack 为例）

1. 安装 Motive 软件并配置摄像机和标记点。
2. 启用 OptiTrack 的实时流功能（NatNet Streaming）。
3. 在 Unity 中导入 OptiTrack 提供的 Unity SDK。
4. 创建 OptiTrackStreamingClient 对象，从 Motive 中接收实时数据。
5. 将标记点数据映射到虚拟角色骨骼。

示例代码：接收光学数据

using OptiTrack;

public class OptiTrackController : MonoBehaviour
{
    public OptitrackStreamingClient streamingClient;
    public int rigidBodyId; // Motive 中的刚体 ID
    public Transform targetTransform; // Unity 中的目标对象

    void Update()
    {
        var rigidBody = streamingClient.GetLatestRigidBodyState(rigidBodyId);
        if (rigidBody != null)
        {
            targetTransform.position = rigidBody.Pose.Position;
            targetTransform.rotation = rigidBody.Pose.Orientation;
        }
    }
}

3.2.3 数据映射

光学捕捉设备提供的位置和旋转数据，需要将这些数据映射到 Unity 的角色模型。

• 标记点位置数据 → Unity 骨骼位置。
• 刚体旋转数据 → Unity 骨骼旋转。

---

4. 数据处理与优化

无论是惯性捕捉还是光学捕捉，原始数据可能存在噪声或误差，需进行处理优化。

---

4.1 数据滤波

1. 低通滤波：

   • 滤除高频噪声，适合动作平滑处理。

   public static Vector3 LowPassFilter(Vector3 currentValue, Vector3 previousValue, float smoothingFactor)
   {
       return Vector3.Lerp(previousValue, currentValue, smoothingFactor);
   }
   

2. 卡尔曼滤波：

   • 用于处理惯性捕捉数据的累积误差。

---

4.2 数据插值

当捕捉帧率较低或数据丢失时，可以使用插值平滑动作。

void InterpolatePose(Transform target, Vector3 position, Quaternion rotation, float factor)
{
    target.position = Vector3.Lerp(target.position, position, factor);
    target.rotation = Quaternion.Slerp(target.rotation, rotation, factor);
}

---

4.3 磁干扰与漂移校正（惯性捕捉）

1. 磁干扰校正：
   • 使用设备的 校准工具 定期重新校准磁力计。
2. 漂移校正：
   • 使用地面标记点或固定参考点进行位置校准。

---

5. 动作捕捉的应用扩展

动作捕捉技术不仅用于游戏，还可以扩展到以下领域：

5.1 虚拟现实（VR）

• 结合动作捕捉设备与 VR 头显（如 Oculus、HTC Vive），实现全身动作的虚拟现实交互。

5.2 电影与动画制作

• 使用动作捕捉技术捕捉复杂的角色动作，用于电影动画的高精度制作。

5.3 体育训练与医疗康复

• 通过动作捕捉分析运动员的动作，优化训练。
• 结合康复治疗，追踪患者动作数据。

---

6. 常见问题与解决方案

6.1 数据延迟

• 原因：网络传输或设备数据处理速度慢。
• 解决方案：
  1. 使用本地网络传输，减少延迟。
  2. 优化数据接收逻辑，减少帧率丢失。

6.2 动作不连贯

• 原因：数据噪声或丢失。
• 解决方案：
  1. 使用滤波器平滑数据。
  2. 使用插值算法补偿丢失帧。

6.3 骨骼绑定问题

• 原因：设备骨骼定义与 Unity 模型不匹配。
• 解决方案：
  1. 校对设备骨骼结构与 Unity Humanoid 的一致性。
  2. 使用 Retargeting 技术重新映射骨骼。

---

7. 总结与展望

通过 Unity 引擎集成惯性或光学动作捕捉设备，可以实现高精度的实时动作捕捉系统。结合现代数据处理技术（如滤波、插值）和扩展应用场景（如 VR、动画制作），动作捕捉技术在游戏开发、影视制作、医疗康复等领域具有广阔的应用前景。

未来方向包括：

1. AI 动作优化：结合机器学习技术，优化动作捕捉数据的处理。
2. 云端捕捉与协作：将捕捉数据上传云端，实现多人实时协作。
3. 低成本捕捉：利用智能手机或摄像头实现消费级动作捕捉解决方案。

---

接下来我们将更深入探讨 Unity 中动作捕捉技术的高级实现、扩展应用场景，以及未来趋势的具体探索。我们会进一步细化惯性和光学动作捕捉的技术细节，并结合 Unity 的功能和第三方工具，全面解析如何优化和扩展动作捕捉技术。

---

8. 动作捕捉高级实现

在之前的基础上，我们将更深入地研究如何在 Unity 中实现更高级的动作捕捉功能，包括实时多角色互动、高精度动作重定向（Retargeting）、复杂骨骼系统支持，以及定制化的数据处理和优化。

---

8.1 实现多角色实时动作捕捉

多人实时动作捕捉需要处理多个设备的数据流，并将其映射到 Unity 中的多个角色模型。这通常用于多人协作场景，例如多人 VR 游戏、虚拟会议等。

关键实现思路

1. 多设备数据流管理：
   • 每个动作捕捉设备必须绑定到特定的角色。
   • 使用唯一标识（如设备 ID）区分数据流。
2. 角色骨骼的动态绑定：
   • 在 Unity 中动态加载角色并绑定捕捉数据。

示例：多人动作捕捉

using System.Collections.Generic;
using UnityEngine;

public class MultiActorController : MonoBehaviour
{
    // 存储设备 ID 与角色的映射
    private Dictionary<string, Animator> actorMap = new Dictionary<string, Animator>();

    public void RegisterActor(string deviceId, Animator actorAnimator)
    {
        if (!actorMap.ContainsKey(deviceId))
        {
            actorMap.Add(deviceId, actorAnimator);
        }
    }

    public void UpdateActorData(string deviceId, Dictionary<HumanBodyBones, Quaternion> boneRotations)
    {
        if (actorMap.ContainsKey(deviceId))
        {
            Animator animator = actorMap[deviceId];
            foreach (var bone in boneRotations)
            {
                Transform boneTransform = animator.GetBoneTransform(bone.Key);
                if (boneTransform != null)
                {
                    boneTransform.localRotation = bone.Value;
                }
            }
        }
    }
}

---

8.2 动作重定向（Retargeting）

动作重定向是将捕捉到的动作数据适配到不同的虚拟角色骨骼上的关键技术。不同角色的骨骼结构可能不一致，因此需要对动作数据进行适配。

Retargeting 的实现步骤

1. 骨骼映射：
   • 将捕捉设备的骨骼系统与 Unity 模型的骨骼系统进行映射。
2. 比例缩放：
   • 根据虚拟角色的体型调整关节位置和旋转。
3. 动画插值：
   • 平滑处理过渡动作，避免因骨骼差异产生抖动。

示例：骨骼映射与比例缩放

public class Retargeting : MonoBehaviour
{
    public Animator sourceAnimator; // 捕捉模型
    public Animator targetAnimator; // 虚拟角色模型

    void Update()
    {
        foreach (HumanBodyBones bone in System.Enum.GetValues(typeof(HumanBodyBones)))
        {
            Transform sourceBone = sourceAnimator.GetBoneTransform(bone);
            Transform targetBone = targetAnimator.GetBoneTransform(bone);

            if (sourceBone != null && targetBone != null)
            {
                // 调整比例
                Vector3 localScale = targetBone.localScale;
                targetBone.position = sourceBone.position * localScale.x;
                targetBone.rotation = sourceBone.rotation;
            }
        }
    }
}

---

8.3 高复杂度骨骼系统支持

一些复杂角色（如多足动物、机械体、翅膀生物）可能不符合标准的 Humanoid 骨骼系统。对于这些角色，需要用自定义的骨骼驱动系统。

实现自定义骨骼驱动

1. 设备数据解析：
   • 捕捉设备可能提供关节的旋转或位置数据。
2. 自定义骨骼映射：
   • 手动将设备数据绑定到 Unity 中的自定义骨骼系统。

示例：自定义骨骼驱动

public class CustomRigController : MonoBehaviour
{
    public Transform[] rigBones; // 自定义骨骼列表
    private Quaternion[] capturedRotations; // 捕捉设备返回的旋转数据

    void Update()
    {
        for (int i = 0; i < rigBones.Length; i++)
        {
            if (rigBones[i] != null && i < capturedRotations.Length)
            {
                rigBones[i].localRotation = capturedRotations[i];
            }
        }
    }

    public void UpdateCapturedData(Quaternion[] rotations)
    {
        capturedRotations = rotations;
    }
}

---

9. 动作捕捉的扩展应用场景

动作捕捉技术正在被应用在越来越多的领域中。以下是一些扩展应用场景及其实现思路。

---

9.1 动作捕捉在 VR 中的应用

实现全身 VR 动作捕捉

1. 使用头显设备（如 Oculus、HTC Vive）捕捉头部和手部动作。
2. 使用惯性捕捉设备（如 Perception Neuron）捕捉身体动作。
3. 将两者结合，构建完整的 VR 动作捕捉系统。

示例：结合 VR 与动作捕捉

public class VRMocapController : MonoBehaviour
{
    public Transform headTracker; // VR 头显位置
    public Transform[] handTrackers; // 手部控制器

    public Animator bodyAnimator; // 全身模型

    void Update()
    {
        bodyAnimator.GetBoneTransform(HumanBodyBones.Head).position = headTracker.position;
        bodyAnimator.GetBoneTransform(HumanBodyBones.LeftHand).position = handTrackers[0].position;
        bodyAnimator.GetBoneTransform(HumanBodyBones.RightHand).position = handTrackers[1].position;
    }
}

---

9.2 动作捕捉在医疗康复中的应用

应用场景

1. 动作分析：
   • 捕捉患者的动作数据，分析康复进度。
2. 实时反馈：
   • 将动作捕捉数据实时可视化，帮助患者纠正动作。

实现思路

• 数据可视化：通过 UI 显示患者的关节角度、移动轨迹等数据。
• 动作评估：与预定义的标准动作进行对比，提供误差反馈。

---

9.3 动作捕捉在虚拟制作中的应用

虚拟制片（Virtual Production）是电影和动画制作的重要趋势。通过动作捕捉系统，演员的表演可以实时驱动虚拟角色。

实现实时虚拟制作

1. 多摄像机虚拟场景：
   • 使用光学捕捉设备捕捉演员动作。
2. 实时渲染：
   • 使用 Unity 的 HDRP 渲染高质量虚拟场景。
3. 导演控制台：
   • 提供导演实时调整虚拟角色动作和表情的工具。

---

10. 动作捕捉技术的未来发展方向

未来，动作捕捉技术将进一步融合 AI、云计算和低成本硬件解决方案，以实现更高效、更广泛的应用。

---

10.1 AI 驱动的动作捕捉优化

• 动作补全：
  • 通过深度学习模型（如 Transformer），补全丢失的动作数据。
• 智能动作分类：
  • 自动检测和分类捕捉到的动作（如跑步、跳跃）。

---

10.2 云端动作捕捉与协作

• 云端数据分析：
  • 将捕捉数据上传到云端，进行实时分析和优化。
• 多人协作场景：
  • 不同地点的演员通过网络协作完成虚拟表演。

---

10.3 消费级动作捕捉

• 智能手机捕捉：
  • 使用手机摄像头结合 AI 实现低成本动作捕捉。
• AR 与捕捉结合：
  • 实时捕捉用户动作并在增强现实中展示。

---

11. 总结与展望

通过 Unity 引擎的强大功能和第三方硬件支持，惯性和光学动作捕捉技术可以广泛应用于游戏开发、电影制作、VR 应用等领域。未来，通过引入 AI 和云技术，动作捕捉将变得更加智能化和普及化。

---

接下来我们将进一步深入探讨 动作捕捉在 Unity 中的技术细节、开发工具链的优化，以及未来技术融合方向的实践案例。本次内容将涵盖 实时表情捕捉、低成本动作捕捉解决方案、AI 与云计算结合的捕捉优化，并对一些复杂场景的实现进行更细致的说明。

---

12. 表情捕捉与面部动画

动作捕捉不仅限于身体动作，表情捕捉同样是虚拟角色动画的重要组成部分，尤其在影视动画和虚拟主播领域。

---

12.1 表情捕捉简介

表情捕捉通过设备（如 iPhone TrueDepth 相机、面部标记点摄像机）捕捉面部肌肉运动，并将数据映射到虚拟角色的面部骨骼或 BlendShape（混合形状）上。

• 常用设备：
  • iPhone（ARKit 支持表情捕捉）。
  • 光学设备（如 Faceware、Dynamixyz）。
  • 摄像头 + AI 算法（如 Mediapipe 或 DeepMotion）。

---

12.2 使用 ARKit 实现表情捕捉

步骤 1：设置 Unity ARKit 支持

1. 安装 Unity 的 ARKit Face Tracking 插件。
2. 配置 iOS 平台设置，启用 ARKit 支持。

步骤 2：捕捉面部数据

ARKit 提供了 blendShapes 数据，表示面部每个部位的形变程度（如眉毛抬起、嘴巴张开）。

示例：获取 ARKit 面部数据

using UnityEngine.XR.ARKit;
using UnityEngine.XR.ARFoundation;

public class FaceCapture : MonoBehaviour
{
    public SkinnedMeshRenderer faceRenderer; // 绑定的虚拟角色面部模型
    private ARFace face;

    void Start()
    {
        face = GetComponent<ARFace>();
    }

    void Update()
    {
        if (face == null || faceRenderer == null) return;

        // 遍历 ARKit 提供的 blendShapes 数据
        foreach (var blendShape in face.blendShapes)
        {
            int index = BlendShapeToIndex(blendShape.Key);
            if (index >= 0)
            {
                // 更新 BlendShape 的权重
                faceRenderer.SetBlendShapeWeight(index, blendShape.Value * 100f);
            }
        }
    }

    int BlendShapeToIndex(ARKitBlendShapeLocation location)
    {
        // 将 ARKit 的 BlendShape 名称映射到 Unity 的 BlendShape 索引
        switch (location)
        {
            case ARKitBlendShapeLocation.MouthSmileLeft: return 0;
            case ARKitBlendShapeLocation.MouthSmileRight: return 1;
            // 添加其他映射
            default: return -1;
        }
    }
}

步骤 3：映射到虚拟角色

1. 在 Unity 中为虚拟角色创建 BlendShape（通过 3D 模型编辑器，如 Blender 或 Maya）。
2. 使用代码控制 BlendShape 权重，实现实时面部动画。

---

12.3 使用 AI 驱动表情捕捉

如果没有专业设备，可以使用 AI 算法（如 Mediapipe 或 DeepMotion）从普通摄像头捕捉面部表情。

技术实现

1. 使用 Mediapipe 提取面部特征点。
2. 将特征点映射到 Unity 虚拟角色的面部骨骼或 BlendShape。

示例：Mediapipe 特征点映射

public class MediapipeFaceCapture : MonoBehaviour
{
    public Transform[] faceBones; // 面部骨骼列表

    public void UpdateFaceData(Vector3[] featurePoints)
    {
        for (int i = 0; i < featurePoints.Length; i++)
        {
            if (i < faceBones.Length)
            {
                faceBones[i].localPosition = featurePoints[i];
            }
        }
    }
}

---

12.4 表情捕捉的优化

1. 数据平滑：

   • 使用滤波器平滑面部数据，尤其是快速运动时的数据抖动。

   public Vector3 SmoothFilter(Vector3 current, Vector3 previous, float smoothingFactor)
   {
       return Vector3.Lerp(previous, current, smoothingFactor);
   }
   

2. BlendShape 补间动画：

   • 对多个 BlendShape 数据进行插值，避免动作切换过于生硬。

---

13. 低成本动作捕捉解决方案

对于独立开发者或预算有限的项目，可以选择低成本硬件或软件方案实现动作捕捉。

---

13.1 使用普通摄像头实现动作捕捉

AI 动作捕捉工具

1. DeepMotion：
   • 基于 AI 的动作捕捉服务，支持从视频直接生成 3D 动作数据。
2. Mediapipe：
   • 开源库，可实时检测人体关键点（如关节位置）。

实现流程

1. 使用 Mediapipe 提取人体关键点。
2. 在 Unity 中创建对应的骨骼模型。
3. 将 Mediapipe 的关键点数据映射到骨骼模型。

示例：Mediapipe 数据到 Unity 骨骼

public class AIHumanMocap : MonoBehaviour
{
    public Transform[] bones; // Unity 模型的骨骼
    public Vector3[] keypoints; // AI 提取的关键点数据

    void Update()
    {
        for (int i = 0; i < bones.Length; i++)
        {
            if (i < keypoints.Length)
            {
                bones[i].position = keypoints[i];
            }
        }
    }
}

---

13.2 使用智能手机实现动作捕捉

工具支持

1. Move.ai：
   • 使用手机摄像头捕捉人体动作。
   • 支持实时数据流到 Unity。
2. Rokoko Smartsuit Studio：
   • 可从普通视频数据生成动作捕捉动画。

步骤

1. 安装 Rokoko Studio 或 Move.ai，并设置 Unity 数据流接收。
2. 使用手机录制动作，实时传输到 Unity。
3. 在 Unity 中映射数据到骨骼。

---

14. AI 与云计算结合的动作捕捉优化

未来动作捕捉技术将越来越多地与 AI 和云计算结合，提供更强大的功能和更广泛的应用场景。

---

14.1 AI 优化数据处理

AI 数据补全

• 通过机器学习模型（如 Transformer 或 LSTM）补全丢失的动作数据，尤其在惯性捕捉中漂移严重的情况下。

示例：AI 数据补全伪代码

Vector3 PredictMissingData(Vector3[] historicalData)
{
    // 使用 AI 模型补全丢失数据
    return AIModel.Predict(historicalData);
}

---

14.2 云端多人协作

实现多人远程动作捕捉

1. 数据上传到云端：
   • 使用云服务（如 AWS、Google Cloud）同步动作捕捉数据。
2. 实时数据分发：
   • 将捕捉数据分发到其他用户的 Unity 客户端。

示例：通过网络同步动作捕捉数据

[Command]
void CmdSendMocapData(Vector3[] bonePositions)
{
    RpcReceiveMocapData(bonePositions);
}

[ClientRpc]
void RpcReceiveMocapData(Vector3[] bonePositions)
{
    // 更新角色骨骼
    ApplyBonePositions(bonePositions);
}

---

14.3 动作捕捉与生成对抗网络（GAN）结合

GAN（生成对抗网络）可以生成高质量的虚拟动作，结合捕捉数据进行动画优化。

• 生成逼真的动作过渡。
• 自动生成复杂动画序列。

---

15. 动作捕捉技术未来应用趋势

1. 虚拟人技术：
   • 动作捕捉与表情捕捉结合，驱动虚拟主播和数字人。
2. 元宇宙交互：
   • 动作捕捉技术将成为元宇宙中个性化虚拟化身的核心。
3. 消费级普及：
   • 更多低成本方案（如智能手机捕捉、AI 骨骼识别）会进入市场。

---

16. 总结与展望

通过 Unity 引擎，动作捕捉技术可以实现从基础到高级的广泛应用，包括实时表情捕捉、低成本解决方案、多角色互动和云端协作。未来，随着 AI 和云计算的加入，动作捕捉技术将变得更加高效、智能且易用。

---

接下来，我们将进一步探讨 动作捕捉技术在 Unity 中的复杂场景实现、技术优化以及未来技术发展的更深层次内容。本节将重点覆盖以下几个方面：

1. 动作捕捉在复杂场景中的实际应用
2. 多设备集成的同步与优化
3. AI 辅助的动作生成与预测
4. 结合元宇宙的实时虚拟角色驱动
5. 云端存储与分布式协同的动作捕捉架构
6. 未来技术趋势与案例探索

---

17. 动作捕捉在复杂场景中的实际应用

在开发中，有一些复杂场景需要动作捕捉技术的深度应用，例如 群体交互、动作回放与编辑、环境交互等。以下内容将逐步细化这些场景的实现。

---

17.1 群体交互与同步

多人群体交互场景（如虚拟会议、多人游戏、虚拟表演）需要多人角色的实时捕捉与流畅同步。

实现思路

1. 每个角色需要绑定对应的动作捕捉设备数据流。
2. 通过网络同步设备数据（如网络广播、P2P 数据传输）。
3. 处理延迟与数据冲突，确保动作的同步性。

示例：多人角色的同步

using Mirror;

public class MultiPlayerMocap : NetworkBehaviour
{
    [SyncVar] private Vector3[] syncedBonePositions; // 同步骨骼位置
    [SyncVar] private Quaternion[] syncedBoneRotations; // 同步骨骼旋转

    public Transform[] localBones; // 本地角色骨骼

    void Update()
    {
        if (isLocalPlayer)
        {
            // 本地玩家：将捕捉数据发送到服务器
            Vector3[] positions = new Vector3[localBones.Length];
            Quaternion[] rotations = new Quaternion[localBones.Length];
            for (int i = 0; i < localBones.Length; i++)
            {
                positions[i] = localBones[i].localPosition;
                rotations[i] = localBones[i].localRotation;
            }
            CmdSyncBones(positions, rotations);
        }
        else
        {
            // 远程玩家：将同步数据应用到角色骨骼
            for (int i = 0; i < localBones.Length; i++)
            {
                localBones[i].localPosition = syncedBonePositions[i];
                localBones[i].localRotation = syncedBoneRotations[i];
            }
        }
    }

    [Command]
    void CmdSyncBones(Vector3[] positions, Quaternion[] rotations)
    {
        syncedBonePositions = positions;
        syncedBoneRotations = rotations;
    }
}

---

17.2 动作回放与编辑

动作捕捉的回放与编辑功能广泛用于影视动画、游戏制作和运动分析。

实现步骤

1. 动作数据录制：
   • 在捕捉过程中，将骨骼数据（位置、旋转）存储到文件或内存中。
2. 动作数据回放：
   • 读取存储的数据并将其逐帧应用到角色模型。
3. 动作编辑：
   • 提供关键帧插值、剪辑和修改功能。

示例：录制与回放骨骼数据

using System.Collections.Generic;
using UnityEngine;

public class MocapRecorder : MonoBehaviour
{
    public Transform[] bones; // 骨骼
    private List<Vector3[]> recordedPositions = new List<Vector3[]>();
    private List<Quaternion[]> recordedRotations = new List<Quaternion[]>();
    private bool isRecording = false;

    void Update()
    {
        if (isRecording)
        {
            // 录制当前帧的骨骼数据
            Vector3[] positions = new Vector3[bones.Length];
            Quaternion[] rotations = new Quaternion[bones.Length];
            for (int i = 0; i < bones.Length; i++)
            {
                positions[i] = bones[i].localPosition;
                rotations[i] = bones[i].localRotation;
            }
            recordedPositions.Add(positions);
            recordedRotations.Add(rotations);
        }
    }

    public void StartRecording() => isRecording = true;
    public void StopRecording() => isRecording = false;

    public void PlayRecording()
    {
        StartCoroutine(PlayCoroutine());
    }

    private System.Collections.IEnumerator PlayCoroutine()
    {
        for (int i = 0; i < recordedPositions.Count; i++)
        {
            for (int j = 0; j < bones.Length; j++)
            {
                bones[j].localPosition = recordedPositions[i][j];
                bones[j].localRotation = recordedRotations[i][j];
            }
            yield return new WaitForEndOfFrame(); // 播放一帧
        }
    }
}

---

17.3 动作与环境交互

角色通过动作捕捉数据与虚拟环境交互（如抓取物体、攀爬墙壁等），需要结合物理系统与触发器检测。

示例：动作驱动的物体交互

public class MocapInteraction : MonoBehaviour
{
    public Transform handBone; // 捕捉的手部骨骼
    private GameObject heldObject;

    void Update()
    {
        if (heldObject != null)
        {
            // 将物体绑定到手部
            heldObject.transform.position = handBone.position;
            heldObject.transform.rotation = handBone.rotation;
        }
    }

    void OnTriggerEnter(Collider other)
    {
        if (other.CompareTag("Grabbable"))
        {
            heldObject = other.gameObject; // 抓取物体
        }
    }

    void OnTriggerExit(Collider other)
    {
        if (heldObject == other.gameObject)
        {
            heldObject = null; // 放下物体
        }
    }
}

---

18. 多设备集成的同步与优化

在复杂项目中，可能需要整合多个捕捉设备（如身体捕捉、手部捕捉、表情捕捉），并将这些数据同步应用到角色上。

---

18.1 多设备数据整合

整合逻辑

1. 每个设备独立采集数据。
2. 通过主控制器整合不同设备的数据流。
3. 优先处理高优先级设备的数据（如表情捕捉优先于身体捕捉）。

示例：多设备整合控制器

public class MultiDeviceController : MonoBehaviour
{
    public BodyCaptureDevice bodyDevice;
    public HandCaptureDevice handDevice;
    public FaceCaptureDevice faceDevice;

    public Animator characterAnimator;

    void Update()
    {
        if (bodyDevice != null)
        {
            // 更新身体动作
            bodyDevice.ApplyToAnimator(characterAnimator);
        }

        if (handDevice != null)
        {
            // 更新手部动作
            handDevice.ApplyHandData(characterAnimator);
        }

        if (faceDevice != null)
        {
            // 更新面部表情
            faceDevice.ApplyFaceData(characterAnimator);
        }
    }
}

---

18.2 数据同步优化

常见问题

1. 数据冲突：
   • 多个设备同时更新同一骨骼。
2. 延迟不同步：
   • 各设备传输数据的延迟不同步。

解决方法

1. 优先级规则：
   • 设置设备优先级，高优先级设备的数据覆盖低优先级设备的数据。
2. 时间戳对齐：
   • 为每帧数据添加时间戳，按时间戳对齐不同设备的数据。

示例：时间戳对齐

public class TimestampedData
{
    public float timestamp;
    public Vector3 position;
    public Quaternion rotation;
}

public class DataAligner
{
    public TimestampedData AlignData(TimestampedData device1Data, TimestampedData device2Data)
    {
        return device1Data.timestamp > device2Data.timestamp ? device1Data : device2Data;
    }
}

---

19. 结合元宇宙的实时虚拟角色驱动

动作捕捉技术将在元宇宙中发挥核心作用，用于实时驱动用户的虚拟化身。

---

19.1 实现全身虚拟化身驱动

核心功能

1. 全身捕捉：通过惯性捕捉设备获取用户的全身动作。
2. 虚拟场景同步：将动作数据实时传输到元宇宙场景。
3. 虚拟角色个性化：支持虚拟角色的外观定制和动作风格调整。

示例：虚拟化身驱动

public class MetaverseAvatar : MonoBehaviour
{
    public MocapController mocapDevice;
    public CustomizationManager customization;

    void Update()
    {
        mocapDevice.UpdateMocapData();
        customization.ApplyCustomization(); // 应用虚拟角色外观
    }
}

---

19.2 虚拟表演与社交

在元宇宙中，虚拟表演（如虚拟主播、虚拟演唱会）需要高精度的动作捕捉技术和实时渲染。

• 实时表演：结合全身捕捉和表情捕捉驱动虚拟人物。
• 观众互动：通过网络实现用户与虚拟表演者的实时互动。

---

20. 云端存储与分布式协同的动作捕捉架构

未来，动作捕捉技术将更多依赖云端存储和分布式协同，尤其是在多人协作和大规模虚拟场景中。

---

20.1 云端动作存储

1. 实时上传：
   • 捕捉数据实时上传到云端。
2. 数据回放：
   • 云端存储的动作数据支持随时回放和分析。

---

20.2 分布式协同

通过云端服务器实现多人角色的实时同步和协作。

示例：分布式同步架构

• 客户端：负责捕捉和上传本地数据。
• 服务器：汇总并分发所有客户端的数据。
• 其他客户端：接收服务器数据并更新虚拟角色。

---

21. 总结与展望

通过整合动作捕捉技术、AI 优化、云计算和分布式技术，Unity 已成为实现复杂动作捕捉和虚拟角色驱动的强大平台。未来，动作捕捉技术将在 元宇宙、虚拟人、影视制作、运动分析 等领域得到更广泛的应用。