MELON: Reconstructing 3D objects from images with unknown poses

我们利用两项关键技术来帮助这个不适定问题收敛。第一项是一个非常轻量、动态训练的卷积神经网络（CNN）编码器，它从训练图像中回归相机位姿。我们将降采样后的训练图像输入一个四层 CNN，由其推断相机位姿。该 CNN 从噪声初始化，无需预训练。它的容量非常小，以至于迫使外观相似的图像映射到相似的位姿，从而提供了一种隐式正则化，极大地帮助了收敛。

第二项技术是取模损失（modulo loss），它同时考虑物体的伪对称性。对于每张训练图像，我们从一组固定视角渲染物体，仅通过最拟合训练图像的视角反向传播损失。这有效地考虑了每张图像对应多个视角的合理性。在实践中，我们发现大多数情况下只需 N=2 个视角（从另一侧观察物体）即可，但对于方形物体，有时 N=4 能获得更好的结果。

这两项技术被集成到标准的 NeRF 训练中，不同之处在于相机位姿不是固定的，而是由 CNN 推断并通过取模损失进行复制。光度梯度通过最拟合的相机反向传播到 CNN 中。我们观察到相机通常能快速收敛到全局最优位姿（见下方动画）。在神经场训练完成后，MELON 可以使用标准的 NeRF 渲染方法合成新视角。

我们通过使用 NeRF-Synthetic 数据集来简化问题，该数据集是 NeRF 研究中流行的基准测试，在姿态推断文献中也很常见。这个合成数据集的相机距离精确固定，且具有一致的“向上”方向，因此我们只需推断相机的极坐标。这相当于物体位于球体中心，相机始终指向它并沿表面移动。这样我们只需要纬度和经度（2 个自由度）就能确定相机姿态。