有了隔空手势识别，移动AR也能变得更好玩?

针对性e

4 h9 U" ^1 U) |

Esther｜ 编辑

《精灵宝可梦Go》、《我的世界：地球》等LBS AR游戏看起来很好玩，尤其是将游戏中的小精灵或者沙盒方块以AR的形式叠加在真实环境中的玩法足够有趣。不过并不是每一款LBS AR游戏都能持续抓住玩家的胃口，玩家们渴望更多创新，更多有趣的交互方式，这也是为什么Niantic新推出的《哈利波特：巫师联盟》反响远低于《精灵宝可梦Go》的原因之一。当然，就目前技术来讲，即使是在游戏中加入更多手势战斗玩法、加入建造功能，它们也只能局限于手机屏幕这个界面中，某种程度上反而会破坏AR的沉浸感。打个比方，目前3D渲染技术已经足够好，叠加在真实环境中的3D AR图形可以做到相当逼真的效果，这时候如果还能用手直接拿起它，是不是会比在屏幕上碰它感觉更像真的？布朗大学计算机科学的助理教授Jeff Huang表示：互动手势并不是一种令人满意的交互方式，因为在真实环境中，不管是扭门把手还是捡东西，用手去触碰是最直接和自然的交互方式，因此我们想到或许在移动AR应用中加入手势识别会比在手机屏幕上滑动效果更好。为了探索这个问题的答案，Huang领导布朗大学人机接口小组的12名科研人员研发了一种移动AR手势交互方案：Portal-ble，这是一个可以让手机用户用手去触碰AR物体的方案，将智能手机屏幕变得仿佛是AR世界的入口，让你可以用手进行堆积木、摆放和旋转家具，甚至在空中绘画等操作。其硬件方案包含一个Leap Motion手势识别模块、一个Intel计算模块（电脑棒）、一台智能手机、一个5V 4A移动电源以及便携包和安装架。而其原理并不难，其实就是用户一只手拿着手机来查看AR，而连接在手机上的Leap Motion红外光传感器会追踪另一只手，从而实现手势与AR交互。其优势在于不需要AR头显、追踪手套、摇杆、AR标记，用手和手机就能进行交互。不过，将物理原理应用在手势交互上并不容易，有时候用户容易将手放错位置，甚至直接将手指插入AR物体中。为了达到最自然、逼真的体验感，科研人员尝试从交互感知（手触碰AR物体的自然感）、手势操作（成功抓取和旋转AR物体）、行为理解（适应将智能手机作为“窗口”来看AR这件事）这三方面来优化Portal-ble的交互和界面。他们开发了一系列任务来测试和了解用户的感知和行为规律，接着在方案中加入感知反馈和调节适应机制。Huang表示：Portal-ble的交互体验感有点像是在Photoshop中画直线，尽管你很难画出完美的直线，但是程序会通过自动平滑让你画出完美的直线，这也是我们希望在Portal-ble中实现的效果。除了调节适应手势操作外，布朗大学的科研人员还加入了感知反馈机制，比如用点亮AR物体、手机振动等方式来提示手势的交互。关于优化实验接下来，就一起来看看布朗大学科研人员的整个实验过程吧。为了解Portal-ble方案的可行度，科研人员设计了一些体验原型，并记录了体验者对一些问题的反馈，比如：拾取远处物体的时候是否有困难，能否准确、舒适地与移动中的物体交互等，这些问题如果没有得到实际测试，是很难想象出答案。每位科研人员被要求设计内容操控和内容创作两种任务，前者指的是：选择、转化、直接控制，比如扔飞镖、玩保龄球、堆方块、搬东西等。而后者指的是一系列自由的手势，包括在空中画方块、画直线、写名字等。此外，每位科研人员需要分别招募两名参与者。在全部24名（12x2）参与者完成实验后，科研人员发现了三类问题：感知问题、操作问题和行为问题。比如，其中有一多半人无法理解自己的手与AR物体相对的空间位置。这主要体现在两个方面：1，难以估计自己与AR物体之间的距离，甚至够不到远处的物体；2，不确定手该伸到多远能碰到AR物体，因此在画画的时候笔触容易接不上。而操作上的问题则包括：捡不起东西、AR物体不小心掉下去，相当影响体验感。另外，手势跟踪的噪波会影响手势识别的准确性，而且自然的抓取手势效果并不太好。产生这些问题的原因可能有三个：手指不小心离开可识别区域、遮挡问题、周围环境光影响红外光识别。行为问题方面，指的是参与者缺少对徒手直接交互的操作方式的心智模型。为了熟悉AR物体的深度，一些参与者会通过移动智能手机，一只手固定手机，一只手移动，或者同时配合手机和手的方式来测量。但是这些动作通常会造成参与者的手移动到无法追踪的区域，让任务更加难以完成。此外，参与者们也难以区分交互过程中的状态，有时候已经抓到了AR物体，却会再一次做出抓取手势，有的人甚至不确定手中到底有没有抓到东西。为了优化这些问题，科研人员在Portal-ble中加入了三种适应机制：1，用线索去提示空间距离之间的关系；2，提示物体在附近；3，用体感反馈来表现默认、悬停和抓取状态。他们使用的线索包括视觉和声音两种，视觉指的是手在AR物体附近的时候，物体周围会显示绿色的轮廓线，抓取到物体之后，轮廓会变成蓝色，以此来显示交互的状态。而声音则指的是，你的手在与AR物体不同距离时，Portal-ble会发出不同音调的声音。科研人员还是用了一种光线投影的方法，避免了多个物体同时发出声音的状况。体感反馈方面，科研人员采用了一种延迟在25ms内的体感反馈方案，并将它用于两种不同的情况：展示交互状态的改变和虚拟物体之间的碰撞。这种体感反馈通过智能手机的震动来实现，它会提醒你的另一只手是否已经碰到AR物体，或者两个物体之间进入相撞范围（比如将AR杯子放到桌面上会产生震动）。为了降低用户完成任务的难度，科研人员还加入了适应机制，重新设计了碰撞识别结构，提高了系统的容错率，让你可以自然、快速完成任务。而为了让用户适应与AR的交互，Portal-ble会通过测试了解用户的臂长，并且在用户手掌到达追踪极限时用视觉反馈来提示。Portal-ble方案诞生完成优化后，受调查者在随后的研究中反馈，Portal-ble的交互体验感和感官反馈大幅降低了任务的难度，并且加快和提高了交互的准确性，用户体验感也比之前更好。研发人员希望Portal-ble能够成为艺术家、设计师、游戏开发者们用于测试AR的工具。Huang表示：AR将成为一种优秀的新交互模式，我们希望通过这种便携式手势交互方案，让用户不需要厚重的AR头显，就能随时随地体验优质的AR，同时也希望为他们提供一种与AR世界交互的自然方式。不过目前Portal-ble还是一个比较复杂的方案，对于普通手机用户来讲使用起来比较复杂。未来，科研人员计划增加Portal-ble系统中支持交互的AR物体，优化交互，并开发全新的任务和内容，甚至希望简化整个方案，将它集成在手机中。其实，谷歌Pixel 4、华为P30系列手机已经开始支持隔空手势功能，未来手势识别也有望成为智能手机的一种趋势。因此从Portal-ble实验中，我们也可以看到未来AR游戏、应用与手势识别结合的潜力，或许也能为《哈利波特：巫师联盟》中的Portal功能带来更有趣的玩法。参考：https://www.brown.edu/news/2019-10-16/augmented

（END）

    推荐阅读    
. L7 n, e& c3 l( X3 [) I( ]1 N
& a0 {6 u$ h" `5 M+ p$ Y4 M; p

, q/ q. y# s% B: ]

+ W( Z1 S+ ?3 x  K# G

0 @% m) U& p! ], z

* w& i* A8 S8 f# y+ | 每天五分钟，轻松了解前沿科技。    
         —— 青亭网  
来源：http://mp.weixin.qq.com/s?src=11&timestamp=1573651805&ver=1972&signature=DRUwDpijUi2F84yps0sg8hwsurHqZVFMT2BNxnILWYakPOGgJXKCswGY74hT9SQBx*8J5Q-370S1r3oaWMnmFV4xUuE0oP91DEzxb*7XQRFyNoXRTxVWThmd-JCnPj6y&new=1
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！