本周，得益于增强的神经引擎和“疯狂的科学”，iPhone 11 用户应该可以免费升级他们的相机。它被称为深度融合，旨在在特别具有挑战性的环境中提供令人难以置信的细节照片。我花了数周时间在 iPhone 11 Pro 上测试计算摄影软件的测试版，与单独的 iPhone 11 Pro 上的旧相机软件进行对比。事实是，深度融合有效——但仅限于最奇怪的场景。
关于 Deep Fusion，您首先需要了解的是，Apple 对此感到非常自豪。该公司在 9 月的活动中花了几分钟时间来预览该功能，并将 Deep Fusion 吹捧为“神经引擎第一次负责生成输出图像”。在实践中，这涉及 iPhone 总共拍摄 9 张照片，然后新的超强大 A13 仿生芯片中的神经引擎从本质上提取每张图像中的最佳像素，并重新组合出一张比你得到的细节更多、噪点更少的照片来自没有 Deep Fusion 的 iPhone。
请允许我进一步放大该过程，因为它并不像听起来那样令人困惑。具有这九次曝光中的八次的 iPhone 相机所做的类似于包围，这是一种老式的摄影技术，您可以在不同的设置下拍摄相同的照片。在这种情况下，iPhone 相机会在您按下快门按钮之前捕捉四个短曝光帧和四个标准曝光帧。(只要相机应用程序打开，iPhone 相机就会开始捕捉缓冲帧，以防它需要它们用于 Deep Fusion 或 Smart HDR 拍摄。)当您按下快门时，相机会捕捉一个长时间曝光，以绘制更多细节。
所有这些曝光很快成为 Deep Fusion 的两个输入。第一个输入是具有最多细节的短曝光帧。第二个是苹果所谓的“合成长镜头”，它是将标准曝光镜头与长时间曝光相结合的结果。短曝光镜头和合成长镜头都被输入神经网络，神经网络在四个不同的频带上分析它们，每个频带都比上一个更详细。降噪会添加到每张图像中，然后最后将两者逐个像素融合在一起。整个过程大约需要一秒钟，但相机应用程序会将代理图像排队，这样您就可以在神经引擎嗡嗡作响的同时继续拍摄，深度融合您的所有照片。
如果您密切关注 Apple 的计算摄影功能，这种 Deep Fusion 情况可能听起来很像去年随 iPhone XS 推出的智能 HDR 功能。理论上是类似的，因为 iPhone 会在拍照前不断地捕捉这些缓冲图像，以防止快门延迟。然而，在实践中，深度融合不仅仅是提取不同曝光的高光和阴影来捕捉更多细节。它在超细粒度级别上工作，以保留单个帧可能丢失的细节。
好的，所以也许这一切都很复杂。当谈到将新 iPhone 与 Depp Fusion 一起使用时，你真的不需要考虑魔法是如何发生的，因为设备会自动激活它。关于 Deep Fusion 何时起作用和何时不起作用，有一些关键的事情需要了解。Deep Fusion 不适用于超广角相机。Deep Fusion 仅适用于中低光场景中的广角相机。Deep Fusion 几乎一直在长焦相机上工作，除了在非常明亮的光线下它不会做太多。
还有另一种情况绝对可以确保 Deep Fusion 永远无法工作。如果您在相机应用程序设置中打开了 COMPOSITION 标题下的新选项，显示“在框架外拍摄照片”，那么 Deep Fusion 将永远无法工作。因此，如果您想尝试 Deep Fusion，请关闭该选项。
既然所有的技术细节都已经不碍事了，让我们深入了解一下 Deep Fusion 的计算摄影疯狂科学的真实感受。如果我说实话，感觉并不多。在 iOS 13.2 公开测试版中出现 Deep Fusion 功能后，我在 Gizmodo 的 iPhone 11 Pro 上安装了该软件，而我保留了之前的 iOS 版本，即我的 iPhone 11 Pro 上没有 Deep Fusion 的版本。然后我只是在各种不同的环境中拍了一堆照片。坦率地说，我经常分不清 Deep Fusion 镜头和非 Deep Fusion 镜头之间的区别。
看看这两张中央车站中央时钟的照片，每张照片都是用 iPhone 11 Pro 上的长焦相机拍摄的。你能分辨出哪一张是用 Deep Fusion 拍摄的，哪一张不是吗?如果你能理解我添加到每个镜头底角的非常基本的符号，你可能会猜到。否则，它将需要大量的眯眼。它们是有区别的。仔细看时钟上的数字。它们在 Deep Fusion 镜头中更加清晰。国旗上的涟漪和周围石柱的细微纹理也是如此。您可能没有注意到没有 Deep Fusion 的镜头在这些区域看起来有些模糊，但随后您看到 Deep Fusion 镜头并意识到细节确实更清晰。
微妙，对吧?但在这种情况下，无需放大，就可以清楚地看到 Deep Fusion 版本的照片如何弹出更多，看起来噪点更少。这两张照片还展示了 iPhone 11 Pro 在弱光场景下的出色表现。中央车站的主大厅是一个令人惊讶的黑暗地方，尤其是在拍摄这些照片时的黄昏。两者看起来都不错，但 Deep Fusion 看起来确实稍微好一些。
现在让我们看一个不同的例子。这是在黑暗和雨天拍摄的曼哈顿中城摩天大楼的一张无聊但细节丰富的照片。在这种情况下，您确实需要放大才能看到普通 iPhone 11 Pro 照片和使用 Deep Fusion 的照片之间的一些细微差别。他们超级相似。您会看到更少的噪点，并且右侧图像中窗口中的反射更清晰。我能发现的主要区别在于框架底部附近的白色栏杆。在非深度融合照片中，它看起来几乎被弄脏了。就像 Grand Central 照片中时钟上的数字一样，Deep Fusion 中的白色栏杆突然出现。
这种眯着眼睛寻找差异的练习是我在测试支持 Deep Fusion 的相机与没有它的相机的整个过程中发现自己的地方。两台相机都令人印象深刻，而带有 Deep Fusion 的相机在某些环境中偶尔会更令人印象深刻。同样，它仅适用于广角相机的弱光环境，并且通常适用于使用长焦相机拍摄的照片，除非它处于非常明亮的场景中。
然而，当我开始拍摄皮草照片时，情况发生了变化。从理论上讲，这正是 Deep Fusion 应该大放异彩的场景，因为细小的头发往往会模糊在一起，但神经引擎可以识别这些细节并将它们合并成一张 Deep Fusion 照片。这可能就是为什么 Apple 在最近的主题演讲中选择使用一个留着胡子的男人穿着一件质地细腻的毛衣来炫耀 Deep Fusion。我眼中的大胡子男人穿着质地细腻的毛衣，是一只名叫花生的小狗。
可爱，对吧?花生重 3 磅，覆盖着最柔软、最好的小鹿皮毛。每一根小头发的颜色都略有不同，这几乎让人觉得她在当地的狗沙龙得到了亮点。虽然她在这两张照片中看起来很天使，但很容易看出，在左边的照片中，她温柔的小亮点在她的头顶和耳朵周围变得模糊。在右侧的 Deep Fusion 照片中，它们非常清晰。仔细看看：
在这种情况下，没有深度融合功能的照片在某些地方几乎看起来失焦。而且你放大得越多，Deep Fusion 魔法的缺失就越明显。换句话说，我再也不想在没有 Deep Fusion 的情况下再拍一张 Peanut 的照片。
这让我想到了 Deep Fusion 谜题中的一个有趣的部分。我确实认为这有点令人困惑。Deep Fusion 是一个难题，因为工作流程令人困惑，而且在我的测试中，有时很难判断该技术何时工作。这也是一个难题，因为这些细微之处在该功能的第一次迭代中似乎无关紧要。就像，如果 Deep Fusion 只是偶尔工作，而且只以非常特定的方式工作，为什么 Apple 在 iPhone 活动上对它做这么大的事情，为什么在 Deep Fusion 向公众提供之前需要额外两个月的开发?
尽管我确实有一个理论，但我实际上并不知道这些问题的答案。我的理论是，Deep Fusion 确实是 Apple 有史以来最复杂的计算摄影技术之一，而目前，我们只是触及了其功能的皮毛。我可以看到 Apple 在 Deep Fusion 的基础上构建并创造更多令人印象深刻的功能的未来。Google Pixel 4 上的摄影功能——即 Super Res Zoom——甚至可以让我们一窥这个未来。Google 的 Super Res 变焦结合了 Pixel 4 的光学变焦和数码变焦，可提供超清晰的变焦镜头。如果 Apple 已经在探索将图像融合在一起以获得更好细节的方法，我可以想象该公司可能会寻找进一步改进其缩放功能的方法，
但这都是猜想。目前，Deep Fusion 是否让您大吃一惊并不重要。如果您拥有 iPhone 11 或 iPhone 11 Pro，升级到 iOS 13.2 后即可免费获得该功能。但是，如果您拥有一部较旧的 iPhone，则绝对不应该仅仅为了了解 Deep Fusion 的内容而进行升级。该功能肯定会发展，我们明年看到的任何东西很可能比现在可用的更令人印象深刻。也就是说，iPhone 11 和 iPhone 11 Pro 上的相机型号令人印象深刻。您可能会升级只是为了获得今年 iPhone 产品线中新增的超广角相机。我知道我玩得很开心。