Meta 全身追踪 API 或只是无腿的身体姿势估计

晓寒妖妖

　　Quest 的“全身追踪”API 与它之前所宣传的可能有所不同。
, S4 J1 N5 L# ?6 ^, k! |; B; y: u　　全身追踪 API 将作为运动 SDK 的一部分发布，其中还包括眼动追踪 API 和面部追踪 API。
　　官方 Oculus 开发人员在 Twitter 宣布了该版本，其中包含文档中的插图，显示了正在跟踪用户的全身姿势。这被大量转发。导致许多人认为 Quest 刚刚获得了全身跟踪支持，但 API 的名称和插图都具有误导性。

9 s, a. V- I1 d  L# v* _/ q　　Meta 的手部跟踪 API 提供手和手指的实际位置，由朝外的摄像头跟踪。其眼动追踪 API 和面部追踪 API 提供用户的实际注视方向和面部肌肉运动，由 Quest Pro 的内向摄像头跟踪。但全身追踪 API 只提供一个基于用户头部和手部位置的“模拟上半身骨架”。Meta发言人证实，这不是真正的追踪，也不包括用户的腿。
　　全身追踪 API 更合适的名称是身体姿势估计。该发言人将该技术描述为反向运动学（IK）和机器学习（ML）的组合。IK 指的是一类方程，用于根据已知位置估计骨架（或机器人）部分的未知位置。这些方程式为当今应用程序中的所有全身 VR 化身提供动力。开发人员不需要实现（甚至理解）IK 背后的数学原理，因为像 Unity 和 Unreal 等游戏引擎内置了 IK，而像流行的 Final IK 这样的软件包以不到 100 美元的价格提供了完全充实的实现。
3 k. L4 ?; i0 n
& v) b; c' i7 r$ w0 H; S# J' i! T0 C3 z　　除非用户使用 HTC Vive 追踪器等身体追踪硬件，否则 IK for VR 往往不准确。对于每组给定的头部和手部位置，都有很多潜在的解决方案。Meta 在这里的主张是，其机器学习模型可以免费产生更准确的身体姿势。演示视频似乎支持这一说法，尽管没有下半身，并且支持仅限于 Quest 头显，大多数开发人员可能不会接受此提议。
　　然而，在 Meta Connect 2022 活动中给出的暗示，以及该公司的研究表明未来将增加腿部追踪支持。
　　在为开发人员进行的一次演讲中，全身追踪产品经理 Vibhor Saxena 表示：“未来几年，身体追踪的新改进将通过相同的 API 提供，因此您可以确保将继续从 Meta 获得最佳的身体跟踪技术，而无需切换到其他界面。我们很高兴能将这些功能带给您，并努力在未来几年内使身体跟踪变得更好。”
　　在主要主题演讲中，马克·扎克伯格宣布 Meta Avatars 正在通过一个同样具有误导性的演示来获得支持。Legs 将在今年晚些时候到达 Horizon Worlds，然后在明年的其他应用程序的 SDK 中推出。Saxena 证实全身跟踪 API 利用了为 Meta Avatars 提供动力的相同底层技术，这似乎表明 API 也将获得腿部支持。
! ]* o' s( V# p- O6 y& ^# Z　　您可能想知道：如果全身跟踪 API 只是基于头部和手部位置的估计，它怎么可能包含腿部？上个月，Meta 利用机器学习的最新进展展示了这方面的研究。不过，显示的系统并不完全准确，并且具有 160ms 的延迟，在 72Hz 下超过 11 帧。这个计时速度太慢，输出也不完美，所以你不能指望低头看到自己的腿在期望的位置。Meta 首席技术官的评论表明，该公司可能会使用这样的技术来展示其他人虚拟化身的腿部。
7 c- Z9 }2 h! F! r+ a+ H8 m! _1 f  
/ @/ Y' [3 w/ e- J2 y                                      新浪声明：新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。