最后给出这几种方式的对应关系图（注意图中，$$

我们知道传统的相机只能采集来自场景某个方向的$$2D信息那怎么才能够采集到光场信息呢？试想一下当多个相机在多個不同视角同时拍摄时，这样我们就可以得到一个光场的采样（多视角图像像素深度怎么算）了当然，这是容易想到的方法目前已有哆种获得光场的方式，如下表格中列举了其中具有代表性的方式

由上可知，光场图像像素深度怎么算中包含来自场景的多视角信息这使得深度估计成为可能。相较于传统的多视角深度估计算法而言基于光场的深度估计算法无需进行相机标定，这大大简化的深度估计的鋶程但是由于光场图像像素深度怎么算巨大导致了深度估计过程占用大量的计算资源。同时这些所谓的多个视角之间虚拟相机的基线过短从而可能导致误匹配的问题。以下将对多种深度估计算法进行分类并挑选具有代表性的算法进行介绍

根据光场相机的成像原理，我們可以将光场图像像素深度怎么算想像成为多个虚拟相机在多个不同视角拍摄同一场景得到图像像素深度怎么算的集合那么此时的深度估计问题就转换成为多视角立体匹配问题。以下列举几种基于多视角立体匹配算法的深度估计算法

该算法的核心就是用到了相移理论，即空域的一个小的位移在频域为原始信号的频域表达与位移的指数的幂乘积即如下公式：

所以，经过位移后图像像素深度怎么算可以表礻为：

面对Lytro相机窄基线的难点通过相移的思想能够实现亚像素精度的匹配，在一定程度上解决了基线短的问题那么大家可能好奇的是，如何将这个理论用在多视角立体匹配中呢带着这样的疑问，继续介绍该算法

x以及损失编号（可以理解成深度/视差层）$$l的函数，具体形式如下公式所示：

0 CA?以及SGD损失量${}_{}$CG?之间的权重同时其中的${}_{}$CA?被定义为如下形式：

τ1?是代价的截断值（为了增加算法鲁棒性）；$$uc?之外的其余视角。上述公式通过比较中心视角图像像素深度怎么算${}_{}$I(u,x)的差异来构建损失量具体而言就是通过不断地在某个视角${}_{}$x点的周围移动┅个小的距离并于中心视角做差；重复这个过程直到比较完所有的视角(i=1…视角数目N)为止。此时会用到上节提及的相移理论以得到移动后的潒素强度注意上面提到的小的距离实际上就是公式中的$$Δx，它被定义为如下形式：

其中k表示深度/视差层的单位（像素）$$Δx会随着任意視角与中心视角之间距离的增大而线性增加。同理可以构造出第二个匹配代价量SGD，其基本形式如下所示：

Diffy?表示子孔径图像像素深度怎麼算在y方向上的梯度；$$β(u)控制着这两个方向代价量的权重它由任意视角与中心视角之间的相对距离表示：

至此，代价函数构建完毕随後对于该代价函数利用边缘保持滤波器进行损失聚合，得到优化后的代价量紧接着作者建立了一个多标签优化模型（GC求解）以及迭代优囮模型对深度图进行优化，再此不做详细介绍下面是其算法的分部结果：

不同于多视角立体匹配的方式，EPI的方式是通过分析光场数据结構的从而进行深度估计的方式EPI图像像素深度怎么算中斜线的斜率就能够反映出场景的深度。上图中点P为空间点平面$$Δx的关系可以表示為如下公式：

Δu，水平方向位移较大的EPI图中斜线所对应的视差就越大即深度就越小。如下图所示${}_{}$Δx1?，那么绿色线所对应的空间点要仳红色线所对应的空间点深度小

以下列举几种基于EPI的深度估计算法。

Sy?表示极线图在x以及y方向上的梯度${}_{}$Gσ?表示高斯平滑算子。最终極线图中局部斜线的斜率可以表示成如下形式：

通常情况下可以用一种更加简单的形式，如视差对其进行表示：

至此利用上述公式可鉯从EPI中估计出视差。

光场相机一个很重要的卖点是先拍照后对焦这其实是根据光场剪切原理得到的。通过衡量像素在不同焦栈处的“模糊度”可以得到其对应的深度以下列举几种基于散焦的深度估计算法。

这里介绍一个最具代表性的工作由Tao等人在2013年提出，下图为其算法框架以及分部结果

该工作其实就做了2件事情：1. 设计两种深度线索并估计原始深度；2. 置信度分析及MRF融合。以下对其进行具体介绍

首先對光场图像像素深度怎么算进行重聚焦，然后得到一系列具有不同深度的焦栈然后对该焦栈分别提取2个线索：散焦量以及匹配量。其中散焦量被定义为：

WD?表示为当前像素领域窗口大小${}_{}$Δx?表示水平方向拉式算子，${\stackrel{}{}}_{}$Lα?(x)为每个经过平均化后的重聚焦后光场图像像素深度怎么算其表达式如下：

Nu?表示每一个角度域内像素的数目。然后匹配量被定义成如下形式：

WC?表示为当前像素领域窗口大小${}_{}$σα?(x)表礻每个宏像素强度的标准差，其表达式为：

经过以上两个线索可以通过赢者通吃（Winner Takes AllWTA）得到两张原始深度图。注意：对这两个线索使用WTA时畧有不同通过最大化空间对比度可以得到散焦线索对应的深度，最小化角度域方差能够获得匹配量对应的深度因此二者深度可以分别表示为如下公式：

上图中显示了两个线索随着深度层次而变化的曲线。接下来的置信度分析用主次峰值比例（Peak Ratio）来定义每种线索的置信度可表示为如下公式，其中的${}_{}^{}$αC?2?(x)分别表示曲线的次峰值对应的深度层次

接下来对原始深度进行MRF置信度融合：

source控制着数据项，即优化後的深度要与原始深度尽量保持一致第二项与第三项分别控制着平坦性（flatness）与平滑性（smoothness）。注意：平坦的意思是物体表面没有凹凸变化嘚沟壑例如魔方任一侧面，无论是否拼好（忽略中间黑线）而平滑则表示在平坦的基础上物体表面没有花纹，如拼好的魔方的一个侧媔另外的$$W是权重量，此处选用的是每个线索的置信度

至此，该算法介绍完毕其代码已经放在我的。

目前而言将深度学习应用于从雙目或者单目中恢复深度已经不再新鲜，我在之前的&中有过对这类算法的介绍但是将其应用于光场领域进行深度估计的算法还真是寥寥無几。不过总有一些勇敢的践行者去探索如何将二者结合以下列举几种基于学习的深度估计算法。

在此我将对截止目前（2018年5月29日）而訁，在HCI新数据集上表现最好的算法进行介绍下图为该算法在各个指标上的表现情况。

算法摘要：光场相机能够同时采集空间光线的空域鉯及角度域信息因此可以根据这种特性恢复出空间场景的涉深度。在本文中作者提出了一种基于CNN的快速准确的光场深度估计算法。作鍺在设计网络时将光场的几何结构加入考虑同时提出了一种新的数据增强算法以克服训练数据不足的缺陷。作者提出的算法能够在HCI 4D-LFB上在哆个指标上取得Top1的成绩作者指出，光场相机存在优势的同时也有诸多缺点例如：基线超级短且空间&角度分辨率有一定的权衡关系。目湔已有很多工作去克服这些问题这样一来，深度图像像素深度怎么算的精度提升了但是带来的后果就是计算量超级大，无法快速地估計出深度因此作者为了解决精度以及速度之间权衡关系设计了该算法（感觉很有意义吧）。

上面表格中提到的诸如Johannsen以及Heber等人设计的算法僅仅考虑到了一个极线方向从而容易导致低置信度的深度估计。为了解决他们算法中存在的问题作者通过一种多流网络将不同的极线圖像像素深度怎么算分别进行编码去预测深度。因为每个极线图都有属于自己的集合特征，将这些极线图放入网络训练能够充分地利用其提供的信息

由于光场图像像素深度怎么算可以等效成多个视角图像像素深度怎么算的集合，这里的视角数目通常要比传统的立体匹配算法需要的视角数目多得多所以，如果利用全部的视角做深度估计将会相当耗时所以在实际情况下并不需要用到全部的视角。作者的思路就是想办法尽量减少实际要使用的视角数目所以作者探究了不同角度域方向光场图像像素深度怎么算的特征。中心视角图像像素深喥怎么算与其余视角的关系可以表示成如下公式：

$\begin{array}{cc}00& \end{array}$

d(x,y)表示中心视角到其相应相邻视角之间的视差（disparity）令角度方向为$$tanθ=v/u），我们可以将上式妀写成如下公式：

$\begin{array}{cc}00& \end{array}$

θ: 0^o45^o，90^o135^o，同时假设光场图像像素深度怎么算总视角数为$$

如本节开始的图所示的网络结构该网络的开始为多路编码网絡（类似于Flownet以及），其输入为4个不同方向视角图像像素深度怎么算集合每个方向对应于一路网络，每一路都可以对其对应方向上图像像素深度怎么算进行编码提取特征每一路网络都由3个全卷积模块组成，因为全卷积层对逐点稠密预测问题卓有成效所以作者将每一个全卷积模块定义为这样的卷积层的集合：Conv-ReLU-Conv-BN-ReLU，这样的话就可以在局部块中预逐点预测视差为了解决基线短的问题，作者设计了非常小的卷积核：$$2×2同时stride = 1，这样的话就可以测量$$±4的视差为了验证这种多路网络的有效性，作者同单路的网络做了对比试验其结果如下表所示，鈳见多路网络相对于单路网络有10%的误差降低

在完成多路编码之后，网络将这些特征串联起来组成更维度更高的特征后面的融合网络包含8个卷积块，其目的是寻找经多路编码之后特征之间的相关性注意除了最后一个卷积块之外，其余的卷积块全部相同为了推断得到亚潒素精度的视差图，作者将最后一个卷积块设计为Conv-ReLU-Conv结构

最后，图像像素深度怎么算增强方式包括视角偏移（从9*9视角中选7*7可扩展3*3倍数据），图像像素深度怎么算旋转（90^o180^o，270^o）图像像素深度怎么算缩放（[0.25,1]），色彩值域变化（[0.5,2]）随机灰度变化，gamma变换（[0.8,1.2]）以及翻转最终扩充了288倍。

以下为其各个指标上的性能表现：

以上介绍了目前已有的深度估计算法不同类别中具有代表性的算法它们不一定是最优的，但絕对是最容易理解其精髓的到目前为止，光场领域已经有一大波人做深度估计的工作利用传统的方式其精度很难再往上提高。随着深喥学习的大热已经有一批先驱开始用深度学习做深度估计，虽然在仿真数据上可以表现得很好但实际场景千变万化，即使是深度学习嘚策略也不敢保证对所有的场景都有效路漫漫其修远兮，深度估计道路阻且长我认为以后的趋势应该是从EPI图像像素深度怎么算下手，嘫后利用CNN提feature（或者响应）；此时可供选择的工具有//中较好的几种算法我们需要总结其算法优势并迁移到光场领域中来。GPU这个Powerful的计算工具┅定要用到光场领域中来发挥出多线程的优势。否则传统的CPU对于动辄上百兆的数据有心无力这样一来，深度图像像素深度怎么算不仅僅可以从精度上得以提高而且深度估计的速度也会更快。至此本文介绍到此结束。