Facebook现实实验室内部:下一个计算平台的腕部交互

语境: 上个星期,我们开始了一个三部分的系列节目关于人机交互(HCI)的未来。在第一篇文章中,我们分享了我们的10年愿景,即为增强现实眼镜开发一个情境感知、人工智能驱动的界面,可以使用你选择分享的信息,推断你想做什么,什么时候想做。今天,我们将分享一些近期的研究:基于腕部的输入结合可用但有限的上下文化AI,它可以动态地适应您和您的环境。今年晚些时候,我们将在软机器人领域进行一些开创性的工作,以打造舒适、全天可穿戴的设备,并提供我们的触觉手套研究的最新进展。

在Facebook现实实验室(FRL)研究中心,我们正在为AR打造一个界面,它不会迫使我们在与设备互动和与周围世界互动之间做出选择。我们正在开发一种自然、直观的方式来与随时可用的增强现实眼镜互动,因为我们相信这将改变我们与远近的人联系的方式。

人机交互的未来需要一个特别易于使用,可靠和私有的界面,让我们在现实世界中始终完全存在。这种界面需要很多创新,才能成为我们与数字世界互动的主要方式。其中最关键的两个元素是情境感知可以了解您的命令和行动以及周围的上下文和环境以及技术,让您毫不费力地与系统沟通 - 这是一种我们称之为超低摩擦输入的方法。AI将根据对自己和周围环境的了解,深入推断出在各种情况下你可能需要什么信息,或者你可能想做什么事情,这样你就会得到一套量身定制的选择。输入将使选择一个选择毫不费力-使用它将很容易,通过轻轻移动你的手指点击一个虚拟的,总是可用的按钮。

这个系统已经过时很多年了。所以今天,我们正在仔细研究一个可能更快实现的版本:基于手腕的输入与可用但有限的情境人工智能相结合,它可以动态地适应你和你的环境。

为什么手腕

为什么手腕?还有许多其他输入来源可用,所有其他输入源都很有用。声音直观,但由于背景噪音,公共领域的空缺或足够可靠的私人。您可以像电话或游戏控制器一样存储在口袋中的单独设备会增加您和环境之间的摩擦层。我们探讨了可能性,将输入设备放在手腕上成为清晰的答案。手腕是一种传统的佩戴手表的地方,这意味着它可以合理地适应日常生活和社会环境。这是全天服装的舒适位置。它位于您用来与世界互动的主要仪器旁边 - 你的手。这一邻近允许我们将手中的丰富控制能力带入AR,从而实现直观,强大,令人满意的互动。

基于手腕的可穿戴物具有轻松作为计算,电池和天线的平台的额外益处,同时支持广泛的传感器。缺失的作品正在寻找丰富的投入路径,并且潜在的理想解决方案是EMG。

肌电图,肌电描记术利用传感器将通过手腕到手的电机神经信号转换成你可以用来控制设备功能的数字命令。这些信号可以让你向你的设备发出清晰的1位指令,这是一种高度个性化的控制,可以适应许多情况。

通过手腕的信号非常清晰,肌电图可以了解手指的运动,只有一毫米。这意味着输入可以毫不费力。最终,它甚至有可能感知移动手指的意图。

基于手腕的可穿戴研究原型照片

“我们尝试使用神经接口的内容是让您直接控制机器,使用输出外周神经系统神经运动界面FRL主任Thomas Reardon说,他在2019年Facebook收购CTRL-labs时加入了FRL团队。

这和读心术不同。可以这样想:you拍了很多照片,选择只分享其中一些。同样,你有很多想法,你选择只采取一些行动。当这种情况发生时,你的大脑会向你的手和手指发送信号,告诉它们以特定的方式移动,以便执行键入和滑动等动作。这是关于解码在手腕上的那些信号——你已经决定执行的动作——并将它们转换为你的设备的数字命令。当你在手机上点击选择一首歌曲、点击鼠标或敲击键盘时,它可以更快地执行已经发送到设备上的指令。

手腕的动态控制

最初,EMG将仅提供一两位控制,我们将呼叫“单击”,相当于在按钮上窃听。These are movement-based gestures like pinch and release of the thumb and forefinger that are easy to execute, regardless of where you are or what you’re doing, while walking, talking or sitting with your hands at your sides, in front of you or in your pockets. Clicking your fingers together will always just work, without the need for a wake word, making it the first ubiquitous, ultra-low-friction interaction for AR.

但这只是第一步。肌电图最终将发展为更丰富的控制。在AR中,你将能够触摸和移动虚拟ui和对象,就像你在演示视频中看到的那样。您还可以在距离控制虚拟对象。有点像力量一样。

而这仅仅是个开始。很有可能,最终你将能够在桌子上或大腿上通过肌电图高速打字——甚至可能比现在的键盘速度还要快。初步研究很有前景。事实上,自2019年加入FRL以来,ctrl实验室团队在个性化模型方面取得了重要进展,减少了训练适应个人打字速度和技术的自定义键盘模型所需的时间。

阅读完整的故事在这里



为了帮助个性化内容,量身定制和测量广告,并提供更安全的体验,我们使用cookie。通过单击或导航网站,您同意通过Cookie允许您和关闭Facebook的信息集合。了解更多信息,包括可用控件:饼干政策