动作捕捉融合（Mocap Fusion [ VR ]）

关于这款游戏

Motion Capture Fusion [VR]是一款沉浸式房间规模动捕沙箱，适合希望使用传统 VR 硬件创建和导出动捕动画或创建实时内容的艺术家和动画师。只需一个 VR HMD 和两个控制器，用户就可以在自己的化身上创建动作捕捉。高级用户可以创建更详细的动作捕捉，包括全身跟踪，并可以与其他传感器（例如 Apple iPhone Truedepth 传感器和 Oculus Quest 2光学手指跟踪）结合使用，将化身连接到同步输入。这种多传感器的融合可以在一次拍摄中结合多层动作捕捉；包括：全身跟踪、面部捕捉、口型同步、视线跟踪、光学手指跟踪。

强调

• 使用自定义头像、场景和道具记录动作捕捉。
• 添加自定义着色器、纹理、表情、动态骨骼物理等。
• Vive pro Eye、Vive 唇部追踪和 Iphone ARkit 面罩支持。
• HTC Vive、Valve Index、Oculus Rift、Oculus Quest2、一些 WMR 耳机。
• 可以在没有 VR 的情况下使用，仅使用跟踪器，或仅使用 iPhone 头部跟踪。
• 将多个化身添加到场景中，构建故事板，对其他预先录制的化身做出反应。
• 摄像机动作捕捉和变焦，玩家充当VR中的电影摄影师。
• 用于航拍拍摄的垂直起降和固定翼飞行模拟飞行器平台。

支持的输出格式

• 导出为SFM (.dmx)。
• 导出到Blender (.blend)。
• 导出到Unity (.anim)。

Live-Link（现场制作）和现场录音插件

• Live Link 插件可用于虚幻引擎 （实时头像同步、实时录制）。
• Live Link 插件可用于Blender （实时头像同步、实时录制）。
• Live Link 插件可用于Unity （实时头像同步）。

包括自定义头像并在整个制作工作流程中使用头像。这消除了重新定位的需要，并确保动作捕捉数据始终适合 1:1，而不会导致最终结果出现任何偏移。Mocap Fusion

的独特功能之一是它能够导出动作捕捉数据并在 Blender 中重建场景，使其可在几分钟内进行最终渲染。兼容的耳机（VR HMD）

• 阀门索引
• HTC Vive （和 Vive Pro Eye）。
• Oculus Quest （1 和 2）。

可选的跟踪硬件

• SteamVR Vive 追踪器。
• iPhone Truedepth 传感器（面部识别和眼球追踪）。
• Oculus Quest 2 （全光学手指追踪）。

能力

• 导出动作捕捉并立即在 Blender™ 中创建场景。
• HTC™ Vive 追踪器（最多 11 个可选点）全身追踪。
• 能够在 VR 中录制、播放、暂停、慢动作、擦除动作捕捉。
• 可定制的 IK 配置文件和头像参数。
• SteamVR Knuckles 支持单独的手指关节。
• Quest 2 光学手指跟踪应用程序用于单个手指关节和手指分离。
• Vive Pro 眨眼和注视跟踪支持。
• Sidekick IOS 面部捕捉应用程序（Truedepth 无标记 AR 面部跟踪）。
• 可以使用 APS_SDK 为动作捕捉构建用户可定制的世界、头像和道具。
• 与现有的 Unity3D™ 头像和环境兼容。
• 支持动捕头像上的自定义着色器。
• DynamicBone 支持为头像添加头发、衣服和身体物理模拟。
• 呼吸模拟添加胸部动画。
• 添加/记录/导出 VR 相机以实现逼真的相机动作捕捉（例如 VR 摄影师效果）。
• 优化将动作捕捉 (.bvh) 数据导出到 Daz 3D。
• 放置“流媒体”摄像机，将头像直播到 OBS 或作为桌面覆盖。
• 麦克风录音，具有唇形同步视位和可记录的颌骨旋转。
• 故事板模式，将动作捕捉体验保存为页面，以便稍后重播或编辑。
• 动画视频播放器，显示故事和脚本，编排动作。
• 用于自然处理卡宾枪的双手武器 IK 解算器。
• 可记录的 VTOL 平台，用于动画直升机飞行模拟（例如新闻直升机）。
• VR 摄像机和 VR 自拍相机可能与跟踪器刚性连接。
• VR道具和枪械可能与追踪器紧密相连。
• 幽灵曲线用于可视化场景中多个化身的未来位置。

游戏
体验取决于用户的电脑和所使用的跟踪硬件。推荐的SteamVR耳机是 Valve Index 或 HTC Vive。Quest HMD 也可能产生合理的结果。也可以在没有 HMD 的情况下使用该软件（例如直播时）。仅当使用脚部和臀部追踪器（以及可选的肘部、膝盖、胸部）时，全身追踪才可用。用户在使用身体追踪器时可以获得更真实的追踪结果。身体追踪器是可选的，并且支持站立动作捕捉。通过启用面部捕捉或使用 Vive Pro Eye 进行凝视和眨眼跟踪，可以在兼容的头像上实现进一步的真实感。

历史
最初，这是一种直观的方式，供用户在沉浸式 VR 环境中创建虚拟培训视频和演示，以增加真实感，然后导出动画进行渲染。该项目已提供给社区进行 Beta 测试，此后收到了反馈和许多功能请求，这有助于增加该软件对不同创建者的实用性。