爱游戏体育(AYX Sports)官方网站推理阶段同时从提示数据中学习算子并将其应用于新问题而无需任何权重更新

2025-02-28 12:21:05

　　爱游戏体育(AYX Sports)官方网站(访问: hash.cyou 领取999USDT）

　　一种典型方法旨在直接近似给定特定问题的解。使用深度学习解决偏微分方程（PDEs）首先在参考文献2中引入，用于高维抛物线中进一步发展。深度Galerkin方法（4）对神经网络施加约束以满足规定的微分方程和边界条件。深度Ritz方法（5）利用PDEs的变分形式，可用于解决可以转化为等效能量最小化问题的PDEs。物理信息神经网络（PINNs）（6）提出了一种深度神经网络方法，通过在损失函数中整合数据和微分方程来解决正向和逆向问题。弱对抗网络（7）通过将弱解和测试函数分别参数化为原始和对立网络来利用PDEs的弱形式。参考文献8通过在神经网络参数化中编码拉格朗日和欧拉视角来解决高维平均场博弈问题。APAC-net（9）提出了一种生成对抗网络风格的方法，利用原始-对偶公式来解决平均场博弈问题。

　　后来，人们努力用不同的参数或初始/边界条件来近似微分方程的解算子。早在参考文献20和21中，浅层神经网络就被用于近似非线中，作者提出使用深度神经网络解决参数化PDE问题。参考文献23引入了一种贝叶斯方法，使用深度卷积编码器-解码器网络进行由随机PDEs支配的问题中的不确定性量化和传播。PDE-Net（24）利用卷积核学习微分算子，使其能够从数据中揭示演化PDE模型，并利用学习到的解映射进行前向预测。深度算子网络（DeepONet）（25, 26）设计了一种神经网络架构来近似将参数或初始/边界条件映射到解的解算子。傅里叶神经算子（FNO）（27, 28）利用傅里叶空间中的积分核来学习解算子。在参考文献29中，作者提出了一种数据驱动的框架，用于近似参数化PDEs的无限维空间之间的输入-输出映射，灵感来自神经网络和模型简化。物理信息神经算子（30）在不同分辨率下结合数据和PDE约束来学习参数化PDEs的解算子。其他相关工作包括（31–35）。

　　在本文中，我们将上下文内学习的思想适应并扩展到学习微分方程问题的算子。我们将算子的输入称为“条件”，将算子输出称为“感兴趣的量（QoIs）”。一个“示例”由一对条件和QoI组成。在之前的算子学习范式中，神经网络在共享相同算子的示例上进行训练。在推理阶段，它将新条件作为输入并预测与所学算子对应的QoI。在本文中，在推理阶段，我们改为让训练好的神经网络将示例和新条件（即“问题条件”）作为输入，并同时完成以下两个工作：1）从示例中学习算子，2）将学到的算子应用于问题条件并预测相应的QoI。我们强调，在推理阶段没有权重更新。我们将提出的范式命名为“上下文内算子学习”，相应的模型简称为“上下文内算子网络”或“ICON”。

　　需要注意的是，将上下文内学习适应于算子学习需要额外努力。上下文内算子学习的一个显著特征是输入和输出是连续函数，而不是NLP中使用的离散标记。为了克服这一挑战，我们采用了一种灵活且通用的方法，将这些函数表示为键值对集合，其中键表示函数输入，值对应于各自的函数输出。这些键值对被打包成“数据提示”，作为ICON模型的输入，类似于语言模型中使用的自然语言提示。我们还采用了一种定制的transformer编码器-解码器架构（46），确保1）示例数量灵活，2）每个条件/QoI函数的键值对数量和选择灵活，3）学习过程对输入键值对的排列不变，4）问题QoI函数的预测不限于预设的输入集合，而是适用于任何输入，5）不同输入的问题QoI函数的预测可以并行执行。我们将在问题设置和方法论中详细讨论。

　　还有其他使用生成语言模型解决科学和数学相关任务的工作。例如，参考文献47和48集中在结合文本、图像和表格数据的提示中的数学推理和科学问答任务。MyCrunchGPT（49）作为科学机器学习各个阶段的集成工具，利用ChatGPT的能力根据用户提示协调工作流程。机器学习任务的执行仍然需要使用PINNs、DeepONets等不同的方法。在这些工作中，尽管任务与科学和数学相关，但上下文内学习的重点不是直接执行数值科学计算，而是主要应用于执行NLP任务的语言模型。元学习也在参考文献50–52中使用，其中任务相似性被利用来提高新PDE任务的性能。然而，在这些工作中，面对新任务时不可避免地需要神经网络进行微调。在本文中，我们尝试将上下文内学习的范式适应于数值微分方程问题。

　　对于科学机器学习，预训练后跟微调范式也在解近似或算子近似的框架中提出。在这些情况下，神经网络被训练来近似特定的解函数（10–19）或算子（30, 33–39），然后进行微调以近似类似的解函数或算子。然而，这种方法与BERT风格预训练加微调范式共享类似的限制，即神经网络必须为每个不同的函数或算子单独微调。当更仔细地比较科学机器学习和NLP时，情况进一步恶化。在NLP领域，创建高效的句子嵌入简化了大多数（如果不是全部）下游任务。相反，科学机器学习中的函数和算子非常多样化，定义一个可以作为起点用于近似广泛函数或算子的通用“基础函数”或“基础算子”极其困难。从这个角度来看，开发“基础模型”（60）的任务，即在大规模数据上训练并适应广泛下游任务的模型，在这种方法中变得艰巨，即使神经网络的规模扩大。

【返回列表】