早检测网-安全快捷的论文查重网站-8年实力经营

函数近似是机器学习众多问题的核心，而过去深度神经网络凭借其「万能近似」的属性在函数近似方面无与伦比。在高级层面，神经网络可以构成黑箱函数近似器，它会学习如何根据大量训练数据点来参数化单个函数。

除了使用神经网络这种参数化的方法逼近一个函数，我们还可以根据随机过程执行推断以进行函数回归。随机过程会从概率的角度选择目标函数的可能分布，因而也能通过样本采样逼近真实的目标函数，随机过程在强化学习与超参数搜索方面比较常用。随机过程中最常见的实例就是高斯过程（GP），这种模型与神经网络有着互补的属性：高斯过程不需要昂贵的训练阶段，并且可以直接根据一些观察值对潜在的真实函数进行推断，这使得这种方法在测试阶段有非常灵活的属性。

但是高斯过程也有着很多局限性，首先 GP 在计算上是非常昂贵的。在原始方程中，计算复杂度随数据点的数量增加成立方地增加，即使在当前最优的近似方法中，那也是成平方地增加。此外，可用的核函数通常在函数形式上受到很大的限制，并且需要额外的优化过程来确定最合适的核函数，其可以看作高斯过程的超参数。

而最近 DeepMind 连发两篇论文探讨结合神经网络与高斯过程的方法，他们首先在论文《Neural Processes》中探讨了使用神经网络学习逼近随机过程的方法，随后又在论文《Conditional Neural Processes》讨论了结合神经网络与高斯过程解决监督学习问题的端到端的方法。

在论文《Neural Processes》中，DeepMind 介绍了基于神经网络的形式化方法，以学习随机过程的近似，他们将这种方法称之为神经过程（NP）。NP 能展示 GP 的一些基本属性，即学习目标函数的一个分布以逼近真实函数，NP 能根据上下文观察值估计其预测的不确定性，并将一些工作负载从训练转移到测试的过程中，这使得模型拥有更高的灵活性。更重要的是，NP 以高效计算的方式生成预测。给定 n 个上下文点和 m 个目标点，使用已训练 NP 进行推断对应着深度网络中的前向传播过程，它的时间复杂度为 O(n+m) 而不是经典高斯过程所需要的 O((n+m)^3)。此外，模型可以直接通过数据学习隐式的核函数，从而克服很多函数设计上的限制。

在论文《Conditional Neural Processes》中，DeepMind 提出了一族模型，可用于解决监督学习问题，并提供了端到端的训练方法，其结合了神经网络和类似高斯过程的特征。DeepMind 称这族神经网络为条件神经过程（CNP），以表明它们在给定一系列观察数据时定义函数的条件分布。CNP 对观察数据的依赖由一个神经网络参数化，其在输入的置换排列下保持不变。该架构的测试时间复杂度为 O(n+m)，其中 n、m 分别是观察样本数和目标数。

摘要：神经网络是一类参数化函数，可以通过梯度下降来高精度地逼近标记数据集。另一方面，高斯过程（GP）是一种概率模型，其定义了可能函数的分布，并通过概率推理规则和数据来更新。GP 是概率性、数据高效和灵活的，然而它们的计算很昂贵，因而应用受限。我们引入了一类神经隐变量模型，称为神经过程（NP），其结合了两者的优点。和 GP 类似，NP 定义了函数的分布，可以快速适应新的观察数据，并可以评估预测的不确定性。类似神经网络，NP 在训练和评估过程中的计算是高效的，并且能学习将先验概率引入到数据中。我们在一系列学习任务上展示了 NP 的性能，包括回归和优化，并和相关文献的模型进行对比。

图 1：神经过程模型。（a）神经过程的图模型。x 和 y 对应着 y = f(x) 的数据，C 和 T 分别是上下文点和目标点的数量，而 z 表示全局隐变量。此外，灰色背景表示变量是已经观察到的。（b）为实现神经过程的计算图。圆圈里面的变量对应着这（a）中图模型的变量，方框里面的变量为 NP 的中间表征。而没有框的加粗字母分别表示以下计算模块：h 为编码器、a 为汇集器（aggregator）、g 为解码器。在该实现中，h 和 g 分别对应神经网络，而 a 对应均值函数。最后，实线描述了生成过程，而虚线描述了推断过程。

图 2：相关模型（a-c）和神经过程（d）的图模型。灰色阴影表示变量已被观察。C 代表上下文变量，T 代表目标变量（即给定 C 的预测变量）。

图 5：在 1-D 目标函数利用神经过程的 Thompson sampling。图中展示了五次迭代的优化过程。每个预测函数（蓝色）通过采样一个隐变量进行绘制，以上下文点数的增加为条件（黑色圆）。真实函数由一个黑色点线表示。红色三角形对应采样 NP 曲线的最小值的下一个评估点。下一次迭代中的红色圆对应该评估点及其真值，作为 NP 的下一个上下文点。