2022-01-23 23:45

NeuralCam让iphone慢慢模仿谷歌的夜视拍摄模式

导读对于经常使用iPhone相机的用户来说,全新的微光摄影工具“夜视”很可能是谷歌去年推出的最抢眼的像素系列。它使用机器学习来恢复颜色和细节

对于经常使用iPhone相机的用户来说,全新的微光摄影工具“夜视”很可能是谷歌去年推出的最抢眼的像素系列。它使用机器学习来恢复颜色和细节,否则这些颜色和细节会被微型手机摄像头传感器丢失。现在,第三方开发者Halcyon Products为iPhone带来了类似的工具,让用户可以享受计算摄影带来的好处,而苹果则完善了集成iOS的替代方案。

Neurocam夜间摄影使用了之前看到的解决方案——HDR风格的多帧集成,在不同曝光级别——下拍摄,但它唯一的焦点是固定在弱光下拍摄的图像。在聚焦并捕获初始图像后,应用程序要求您保留您的iPhone,因为它捕获了更多的颜色数据,然后需要一些时间来合成和输出最终图像。

理想情况下,结果会看起来像在更明亮的光线下拍摄的结果一样详细和丰富多彩,这在一些测试中是真实的。毫无疑问,用Neurocam拍摄的微光图像,如果不是完美的话,一般看起来比用iPhone的集成相机应用拍摄的要好得多。

上图:左边是从昏暗房间输出的iPhoneXS原相机,右边是神经摄像头拍摄的照片。

然而,昏暗的光线会带来聚焦锁定的挑战——神经凸轮让你用可选的手动聚焦滑块来解决这个问题——并且可能会也可能不会自动给你一个清晰的结果。在某些情况下,由于对焦和/或手抖,神经凸轮图像的颜色会更好,但清晰度会低于原始的iPhone相机输出。

应用程序也相当慢。在苹果目前的高端iPhone XS上,在昏暗的光线下拍摄图像需要3到5秒,然后处理图像需要10到15秒。iPhone和XS Max机型可提供4,032张图像,全分辨率为3,024张图像。但由于RAM有限,早期设备的分辨率大幅下降,仅支持iPhone6或更新的手机。

Halcyon首席执行官Levi Szabo告诉Venture Beat,其基于机器学习的亮度增强解决方案是基于数千张高质量智能手机图像的规划数据集,这些图像发展成约1000万张图像的合成数据集进行训练。该公司正在使用定制的、iOS高效的卷积神经网络进行初始照明,并在后处理中添加锐化和视觉效果以改善结果。所有图像处理都在设备上完成,而不是将任何内容发送到云服务器进行处理。

Nerve cam现已在IOS应用商店发售,售价3美元。这是当前iPhone独有的功能,但也可以在iOS12iPads上运行。