中文标题：基于连续深度多平面和神经辐射场的新视角合成

本文只介绍与NeRF原文不同的部分

创新点

• 对单一图像进行密集三维重建，完成新视角合成与深度估计的工作。
• 从单个图像生成连续和遮挡绘制的三维重建。
• MINE借鉴NeRF可以生成连续的深度图像。

解决的问题

• 单目三维重建所导致的几何信息严重不足

提出的方法

平面神经辐射场的表示

• 在场景中取不同深度的平面z∈[zn,zf]z \in [z_n,z_f]z∈[zn​,zf​]，每一个平面包含RGB值czc_zcz​以及σz\sigma_zσz​
• 用ζ(⋅)\zeta(\cdot)ζ(⋅)表示从相机坐标系到世界坐标系的变换。

从源（相关）图像I^src\hat I_{src}I^src​渲染

• 输入Isrc与di=1/ziI_{src} 与 d_i = 1/z_iIsrc​与di​=1/zi​,输出(czi,σzi)(c_{z_i} ,\sigma_{z_i})(czi​​,σzi​​)，然后使用经典的体渲染公式可以得到：

这里是i→i+1i \rightarrow i + 1i→i+1的距离。

• 我们的网络在训练过程中暴露于中的每个深度值，从而学习一个连续的(czi,σzi)(c_{z_i} ,\sigma_{z_i})(czi​​,σzi​​)

渲染新的目标I^tgt\hat I_{tgt}I^tgt​

用相机旋转 R∈R3×3R\in R^{3×3}R∈R3×3和平移t∈R3t\in R^3t∈R3渲染成一个新的视图，通过三个步骤实现：

1. 实施单应变化 W(⋅)W(\cdot)W(⋅)建立源坐标与目标坐标系之间的关系

• n=[0,0,1]Tn =[0,0,1]^Tn=[0,0,1]T是平行于源坐标系的平面方向向量

2. 体渲染需要体密度σ\sigmaσ以及每个点沿射线之间的距离：
   

3. 最后，可以通过体渲染渲染出新视角。

体积渲染依赖于每个位置的密度σ\sigmaσ，以及沿着光线的每个点之间的距离。因此，我们可以计算：

参考文献

[1] Li J, Feng Z, She Q, et al. Mine: Towards continuous depth mpi with nerf for novel view synthesis[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 12578-12588.
[2] Richard Tucker and Noah Snavely. Single-view view synthesis with multiplane images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020.