加入手势识别,ARKit 还能这么玩!
ManoMotion 演示 Demo
随着 ARKit 和 ARCore 开发工具的发布,开发者们对 AR 内容开发的热情高涨。之前,国外开发者们有的把 ARKit 和苹果机器学习框架 Core ML 相结合,通过手机摄像头可自动识别物体,并用 AR 效果呈现;还有的把 iPhone 放在纸盒眼睛中,也完成了 Inside-Out 的效果……但,这些还不是 ARKit 的终极玩法。
最近,有家公司把手势识别加入了基于 ARKit 制作的 Demo 中,他们发明的新玩法又是什么样呢?
据雷锋网(公众号:雷锋网)了解,这是一家名为 ManoMotion 的计算机视觉和机器学习公司。日前,他们刚刚宣布将公司基于智能手机的手势操作 SDK 融入苹果 AR 开发工具 ARKit 中,用户只需借助手机上已有的处理器和摄像头便可在 AR 应用中追踪双手。
该公司的 CEO Daniel Carlman 此前曾向 Venturebeat 表示,ManoMotion 的 3D 手势识别技术可追踪手部 27 个自由度,可自动识别你是摊开五指,还是指向特定的物体,还可追踪深度和动态手势,如击打、点击、轻拍、抓取、释放等,所有这些对资源的耗费相当少。延迟少于 10 毫秒,并且只占用 iPhone 6s 30% 的处理能力。
现在,他们与 ARKit 结合后,用户的手部可被识别,还能做出相应的点击动作,如图中用户点击小球,击入桌子对面的杯子。
Carlman 谈到,手机上的单目二维摄像头可以检测到手部的移动,并将捕捉到的动作融入到用 Unity 开发的 AR 内容中。当然,其他方法也能实现这点,如多目摄像头、深度摄像头,以及动作捕捉。但是这些方法和技术十分昂贵,他们想解决如何更简单地实现“手的临在感”。
“目前,AR 技术还面临很多限制,例如无法自然与 3D 空间中的物体交互。”Carlman 称,“ ARKit 中加入手势识别也是市场上第一次出现,我们期待看到开发者们会如何重新定义 AR 交互。”
ManoMotion 成立于 2015 年,目前有 14 名员工,已经融资 200 万美元。未来几周,他们将发布可融入 ARKit 的 SDK,开发者可在公司官网下载,会最先支持 Unity iOS。
手势识别是我们熟悉的交互方式,像 Leap Motion 也是大家熟知的手势识别公司。手势识别在 AR 中的应用,最让人雷锋网编辑难忘的便是 HoloLens 了,把手指当做鼠标,可随意拖动视频,控制菜单,确实很酷。但,把手势识别用在手机的 AR 应用上还是第一次见,雷锋网编辑还是蛮期待的。
。
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/90911.html
aliyuniPhonePhone开发者手机苹果相关文章
- 通过 Jetson Nano + Azure 搭建一个简单的口罩识别解决方案
- 重磅研究!味觉可以被识别吗?脑机接口在味觉感知中的新应用
- M91A安全帽识别布控球 安全帽穿戴AI视频分析功能
- 基于Deep Learning 的视频识别技术「建议收藏」
- 如何使用DMAIC识别六西格玛失效的原因?
- PHP批量识别Nginx网站日志内的百度真假爬虫记录
- 按图寻踪,2020 TrafficHUT基于航拍视频的车辆轨迹识别竞赛来袭
- 禁止苹果浏览器Safari将数字识别成电话号码的方法详解编程语言
- 药片糖皮开裂是变质了吗?专家教你识别变质药品
- AI识别早期脑瘫,可将儿童运动视频转化为“火柴人”显示
- Linux识别新硬盘:踏上新知识之路(linux 识别新硬盘)
- 识别使用Oracle 11g实现卡识别系统(oracle 11g卡)
- 腾讯QQ与人教数字推出全国首个可AR识别课本