2021-04-16 09:33

iPhoneSE是苹果产品阵容中首个使用单图像单眼深度估计的产品

导读Apple的新款iPhone SE是该公司的第一款(也是迄今为止唯一的)iPhone,它仅依靠机器学习来进行纵向模式深度估计。4月份发布的iPhone SE似乎

Apple的新款iPhone SE是该公司的第一款(也是迄今为止唯一的)iPhone,它仅依靠机器学习来进行纵向模式深度估计。4月份发布的iPhone SE似乎基本上是iPhone 8的副本,一直到单镜头单眼相机。但是,在幕后,进行深度估算的工作要比之前的任何其他iPhone多得多。

根据相机应用程序Halide的制造商的博客文章,iPhone SE是苹果产品阵容中首个使用“单图像单眼深度估计”的产品。这意味着它是第一款仅使用单个2D图像即可创建人像模糊效果的iPhone。

在过去的iPhone中,人像模式至少需要两个摄像头。这是因为深度信息的最佳来源长期以来一直在比较来自两个略有不同的位置的两个图像。一旦系统比较了这些图像,便可以将照片的主题与背景分开,从而实现模糊或“散景效果”。

iPhone XR改变了这一点,通过使用传感器“聚焦像素”引入了肖像模式支持,这可以生成粗糙的深度图。但是,尽管新的iPhone SE具有聚焦像素,但其较旧的硬件却缺少深度映射所需的覆盖范围。

Halide的Ben Sandofsky写道:“新的iPhone SE无法使用聚焦像素,因为其较旧的传感器没有足够的覆盖范围。” 周一的一次iFixit拆解显示,iPhone SE的摄像头传感器基本上可以与iPhone 8互换。

相反,入门级iPhone完全通过机器学习来生成深度图。这也意味着它可以从其前置和后置摄像头产生肖像模式的照片。毫无疑问,其顶盖下方的顶级A13 Bionic芯片组使这一切成为可能。

Halide指出,深度信息并不完美,但考虑到使用了三年的单传感器摄像头设置的相对硬件限制,这是一项令人印象深刻的壮举。同样,iPhone SE上的人像模式仅适用于人,但Halide表示,其新版本的应用程序允许对iPhone SE上的非人类主体散景效果