2019-12-13 10:48

微软研究院将2D相机变成深度传感器

导读本周,微软研究院(Microsoft Research)在SIGGRAPH 14大会上发布了如何将普通摄像机变成深度摄像机的演示,成为了新闻。“学习成为一个用于近距离人类捕获和交互的深度相机”是由研究团队提出的,他们代表了微软研究院和意大利理工学院的iCub设施。意大利技术研究所。简而言之,正如《麻省理工学院技术评论》所描述的那样,“微软的研究人员表示,简单的硬件变化和机器学习技术让普通的智能手机

本周,微软研究院(Microsoft Research)在SIGGRAPH 14大会上发布了如何将普通摄像机变成深度摄像机的演示,成为了新闻。“学习成为一个用于近距离人类捕获和交互的深度相机”是由研究团队提出的,他们代表了微软研究院和意大利理工学院的iCub设施。意大利技术研究所。简而言之,正如《麻省理工学院技术评论》所描述的那样,“微软的研究人员表示,简单的硬件变化和机器学习技术让普通的智能手机摄像头充当深度传感器。”研究团队关注手和脸;他们修改了智能手机上的摄像头,以捕捉手和脸的深度。

“我们提出了一种机器学习技术,可以使用任何传统的单眼2D相机估算绝对像素深度,只需要对硬件进行少量修改。我们的方法以近距离的人类捕获和交互为目标,需要对手和脸进行密集的三维估计。他们使用混合分类回归森林来学习如何实时地从近红外强度图像映射到绝对的度量深度。正如他们的视频所显示的,他们用不同的人机交互演示了结果。他们说,他们的论文的贡献之一是“我们演示了一种新技术,可以将廉价的彩色或单色相机变成深度传感器,用于近距离的人类捕捉和互动。”毕竟,他们说,“虽然深度相机越来越成为一种商品,但它们还没有(而且可以说永远也不会)超过普通2D相机的普及程度,后者目前用于我们的大多数移动设备和台式电脑。”

研究人员还表示,“我们希望能让从业者在各种新环境中更快速地原型化基于深度的应用程序。”提出了两种深度感知的硬件设计方案:一种用于桌面深度感知的改进型网络摄像头,以及一种用于移动应用的改进型手机摄像头。在这两种情况下,他们都展示了有效和准确的手部和面部跟踪。

在描述他们的方法是如何工作的时候,他们说他们设计了一种算法来学习像素强度和绝对深度测量之间的相关性。该算法是在传统彩色或单色相机上实现的。所需要的硬件修改是去掉任何近红外(NIR)切割滤波器(通常用于常规RGB传感器),并增加一个带通滤波器和低成本led,两者都在一个较窄的近红外范围内工作。

尽管如此,作者声明他们在技术论文中描述的方法并不适用于通用深度相机。“虽然这种方法不能代替普通的商用深度传感器,但我们希望它能在新的环境中实现3D人脸和手部传感以及交互系统。