来源论文: https://arxiv.org/abs/2606.29702v1 生成时间: Jul 04, 2026 18:13

执行摘要

在现代计算化学、材料分子动力学、流体力学以及基于人工智能的科学计算（AI for Science）中，**导数计算（Derivative Computation）**是无可争议的核心算法基石。无论是在物理信息神经网络（Physics-Informed Neural Networks, PINNs）中求解偏微分方程（PDE）的空间-时间高阶导数，还是在传统计算流体力学（CFD）或量子化学自洽场（SCF）方法中求解残差雅可比矩阵（Jacobian Actions）及离散伴随算子（Discrete-Adjoint Operators），导数计算的效率、稳定性和显存占用都直接决定了数值方法的边界。

尽管通用自动微分（Automatic Differentiation, AD）极大地降低了代码实现的门槛，但其在处理高阶残差或复杂的空间离散算子时，往往会带来令人难以承受的时间和显存开销。本文深入解析了一项最新的突破性工作：《Verified residual-specific explicit derivative kernels for physics-informed learning and discretized PDE adjoints》。该工作重新审视了显式微分（Explicit Differentiation, ED），并将其重塑为一种**残差特定（Residual-specific）且可严格验证（Verifiable）**的导数评估路径。在智能体辅助（Agent-assisted）实现与严格数值验证闭环的加持下，该方法在PINN训练中实现了2-4倍的端到端加速，并显著降低了显存占用；在CFD离散伴随计算中，生成的切向作用（Tangent-action）与转置作用（Transpose-action）内核完美通过了泰勒余项和内积一致性检验。这一范式为量子化学波函数优化、机器学习力场（MLFF）的高阶力常数计算以及高保真物理流体设计优化开辟了全新的加速通道。

1. 核心科学问题、理论基础、技术难点与方法细节

1.1 核心科学问题：通用自动微分的“繁重代价”

在传统的自动微分体系中，框架（如PyTorch、JAX、TensorFlow）主要通过构建动态或静态计算图（Computational Graph）来实现反向传播（Reverse-mode AD）或正向传播（Forward-mode AD）。当面对以下两个导数密集型场景时，通用自动微分会遭遇严重的性能瓶颈：

1. PINNs中的高阶嵌套微分（Nested AD）： 为了构建物理损失函数，需要计算网络输出对输入坐标（时空坐标）的高阶导数（例如一维Burgers方程的二阶导，Kuramoto-Sivashinsky方程的四阶导）。由于通用AD必须对已经生成的微分图进行再次微分，这会导致计算图急剧加深，中间状态数呈指数级上升。这不仅带来巨大的显存占用（Graph-storage overhead），还由于频繁的细粒度GPU内核调度导致硬件吞吐量极低。
2. 离散PDE求解器中的稀疏/局部雅可比作用： 传统CFD或量子化学中的残差算子通常具有极强的局部耦合性（例如基于网格邻域的有限体积模板，或分子轨道计算中基函数的局域性）。通用AD无法直接感知这些特定的数学结构，在计算雅可比-向量积（JVP）或转置雅可比-向量积（VJP）时，无法充分利用稀疏模式，常伴随着高昂的中间变量存储开销，且难以嵌入到已有的高性能Fortran/C++或GPU resident原生求解器中。

1.2 理论基础：残差特定局部偏射流传导（Residual-Specific Partial-Jet Propagation）

为了克服上述瓶颈，本研究提出了一种**偏射流导数传播（Partial-Jet Derivative Propagation）**策略。其核心思想是：不再依赖通用的、黑盒式的嵌套自动微分，而是将目标偏微分方程残差所必需的导数状态闭包（Derivative-state closure）显式化，并在神经网络的每一层实现层级传播内核。

1.2.1 层级链式法则显式化

考虑一个标准的 $L$ 层前馈神经网络（MLP），第 $\ell$ 层的计算公式为：

其中，$\phi$ 为逐元素激活函数（例如 tanh），$a^{\ell-1}$ 是前一层的输出。假定输入坐标向量为 $\mathbf{x} = (x_1, x_2, \dots, x_d)$。如果前一层的状态 $a^{\ell-1}$ 及其对输入坐标的导数已知，那么当前层的导数状态可以直接通过链式法则显式递推。

对于一阶偏导数（例如时间或空间一阶导），其满足：

其中 $\odot$ 表示逐元素哈达玛积（Hadamard product）。对于二阶偏导数，其层级传播公式为：

通过这种方式，高阶导数可以在单次前向传导（Single forward pass）中与函数值同步计算出来，完全避免了为计算坐标导数而构建深层AD计算图的过程。更重要的是，这是一种按需（On-demand）偏射流策略：我们不需要构造出完整的海森矩阵（Hessian）或无用的混合高阶偏导，而仅仅计算目标物理残差所需的特定导数组合（例如只需 $u_t, u_x, u_{xx}$）。

1.2.2 融合批量线性运算（Fused GEMM）

在传统的线性层中，权重矩阵 $W^\ell$ 会分别作用于函数值及所有的导数状态。为了最大化GPU的硬件计算效率，ED内核采用了一种巧妙的融合策略。将所需的一阶、二阶甚至更高阶导数状态在**批次维度（Batch Dimension）**上进行拼接：

然后，只需调用一次融合的大型通用矩阵乘法（Fused GEMM）算子：

最后，在应用激活函数的链式法则更新（如公式3）之前，将 $Z^\ell_{concat}$ 重新切分。这种方法将大量零散的、小规模矩阵乘法合并为统一的高吞吐量操作，极大地释放了现代显卡Tensor Core的并行算力。

物理坐标输入 X
      │
      ▼
┌─────────┐
│ 线性层  │  ──►  将 [a, ∂_i(a), ∂_ij(a)] 在批次维度拼接 ──► Fused GEMM
└─────────┘
      │
      ▼
┌─────────┐
│激活函数 │  ──►  切分并根据显式链式法则更新：
└─────────┘       ∂_ij(a) = φ'' * ∂_i(z) * ∂_j(z) + φ' * ∂_ij(z)
      │
      ▼
 输出物理状态及其高阶导数状态闭包 (On-demand Partial-Jet)

1.3 技术难点一：显式导数公式的推导与维护代价

虽然显式微分在数学上非常直观，但其代码维护和开发的痛苦是学术界和工业界众所周知的技术难点。对于复杂的网络结构（如Modified MLP、Attention 机制）或者高精度网格残差（如Roe Riemann 求解器、具有Sutherland粘性的三维 Navier-Stokes 粘性项），手动推导一阶、二阶乃至四阶偏导数公式，并用 Fortran/C++ 或 CUDA 编写高效无 bug 的内核代码，需要极其深厚的领域知识，且耗时动辄数周或数月。一旦网络结构或偏微分方程的物理项稍作修改，所有的微分代码都需要推倒重写。

突破方案：智能体辅助实现（Agent-Assisted Implementation）

作者引入了基于大语言模型（LLMs）的编程智能体，构建了一个生成-验证-修改（Generate-Verify-Revise）的闭环工作流。智能体被赋予原始的基础控制方程、网络前向传播逻辑以及严格的数值验证程序。智能体在不需要人工干预的情况下自主编写显式导数内核，捕获运行时错误、张量维度冲突，并根据验证反馈（如泰勒余项未成平方衰减，或转置内积不守恒）进行多轮迭代修改，直至生成的代码完全通过测试。

1.4 技术难点二：正确性保证与离散伴随一致性检验

在复杂的工程计算中，如何确保显式生成的导数内核与原非线性物理算子完全一致？对于离散偏微分方程的伴随求解（Adjoint Solver），其对梯度一致性的要求达到了浮点精度级别（Floating-point level）。任何微小的实现偏差都会导致伴随方程迭代发散，或者优化梯度方向错误。

突破方案：多级严格数值验证流程

1. PINN 坐标微分一致性校验： 直接在随机采样点对比 ED 内核与 PyTorch/JAX 黑盒自动微分（AD）算出的高阶空间-时间坐标导数，确保其相对误差逼近单精度/双精度浮点数极限（即单精度下 $< 10^{-7}$，双精度下 $< 10^{-15}$）。

2. 离散残差切向内核的泰勒余项测试（Taylor-remainder Test）： 给定状态扰动 $\mathbf{v}$，泰勒展开要求：

   $$ E_q(\epsilon) = \| \mathbf{R}(\mathbf{q} + \epsilon \mathbf{v}, \boldsymbol{\mu}) - \mathbf{R}(\mathbf{q}, \boldsymbol{\mu}) - \epsilon \mathbf{R}_q \mathbf{v} \| = \mathcal{O}(\epsilon^2) $$

   随着扰动步长 $\epsilon$ 的减小，残差误差 $E_q(\epsilon)$ 在双对数坐标下应当呈现斜率为 2 的完美线性下降，直到接近机器精度。若斜率不为 2，说明切向线性化内核（Tangent Kernel）推导错误。

3. 转置内核的伴随内积一致性检验（Adjoint Inner-product Consistency）： 对于任意扰动 $\mathbf{v}$ 和残差空间向量 $\mathbf{w}$，切向雅可比作用 $R_q$ 与转置雅可比作用 $R_q^T$ 必须满足：

   $$ \langle R_q \mathbf{v}, \mathbf{w} \rangle = \langle \mathbf{v}, R_q^T \mathbf{w} \rangle $$

   该测试能够以极高的灵敏度捕捉转置内核在反向累加（Reverse accumulation）或边界条件处理中的任何隐式错误。

2. 关键 Benchmark 体系、计算数据与性能表现

本工作在两个极具代表性的领域对显式微分内核进行了深度评估：其一是 物理信息神经网络（PINNs）训练加速，其二是 计算流体力学（CFD）中的自由流参数反演（离散伴随优化）。

2.1 体系一：PINNs 坐标微分计算基准

评估在三个具有不同空间导数特征的经典一维和二维 PDE 系统中进行：

1. 1D Viscous Burgers Equation（二阶残差）：

   $$ r = u_t + u u_x - 0.01 u_{xx} $$

   使用 101 个初始点，1000 个周期边界点，10000 个 PDE 共轭点。网络采用 6 层隐藏层、每层 64 个神经元的 tanh MLP。

2. 2D Incompressible Navier-Stokes Equation（二阶、多变量耦合）：

   $$ r_c = u_x + v_y $$$$ r_u = u u_x + v u_y + p_x - (u_{xx} + u_{yy})/Re $$$$ r_v = u v_x + v v_y + p_y - (v_{xx} + v_{yy})/Re $$

   其中 $Re = 100$。网络输出 $(u, v, p)$。使用 10000 个共轭网格点。

3. 1D Kuramoto-Sivashinsky (KS) Equation（四阶高度敏感残差）：

   $$ r = u_t + u u_x + 0.5 u_{xx} + 0.005 u_{xxxx} $$

   四阶空间导数 $u_{xxxx}$ 对通用嵌套 AD 是极大的挑战。使用 4096 个共轭点，通过输入傅里叶嵌入引入周期性约束。

2.1.1 精度验证结果

如 Table 1 所示，ED 计算的残差向量与通过反向微分得到的参数梯度，在与 AD 完全对照的情况下，达到了浮点精度的完美一致：

这组极其严苛的数据有力地证明了，显式导数内核并非某种近似方法，而是数学上完全等价、精度上丝毫不妥协的精确链式求导。

2.1.2 训练效率与显存下降数据 (PyTorch 平台)

实验在一张单个 NVIDIA GeForce RTX 5080 GPU 上进行（1000 步全批次 Adam 优化，含损失计算与反向传播参数更新的端到端总时间，见 Figure 2）：

• 一维 Burgers 方程： 耗时略有降低，端到端加速比为 $1.22\times$。由于二阶导数相对简单，AD 产生的图开销较小，因此 ED 加速有限。
• 二维 Navier-Stokes 方程： 实现了 $2.30\times$ 的端到端加速，同时显存从约 550MB 降至 250MB，下降幅度超过 $50\%$。
• Kuramoto-Sivashinsky 方程 (四阶)： 迎来了效率爆发，实现了 $3.58\times$ 的端到端训练加速。更令人惊叹的是其显存表现：AD 嵌套微分因存储了巨大的四阶计算图，显存占用直逼 2600MB；而 ED 内核得益于局部偏射流的前向单次传导，峰值显存降到了仅有约 250MB，实现了将近 10倍 的显存优化！

2.1.3 JAX/XLA 编译后端下的深入对比

为了排除“ED 的优势仅仅是因为 PyTorch 动态图开销大”这一质疑，作者在支持强力 XLA 编译优化的 JAX 后端上，进一步引入了**泰勒模式自动微分（Taylor-mode AD / Taylor Jets）**作为强基线进行对比。实验结果（见 Figure 4）显示：

• Taylor-mode AD 相比于普通嵌套 AD 确实有明显提升（在 Burgers, NS, KS 中分别获得 $1.31\times, 1.47\times, 1.76\times$ 的加速）。
• 然而，Proposed ED 内核在 XLA 融合下依然大幅胜出，在三个体系中分别拿下了 $2.28\times, 2.27\times, 3.01\times$ 的加速，并且在所有测试中均保持了最低的峰值显存占用。这说明残差感知的显式闭包（Residual-aware closure）与专用内核定制化，其性能上限远高于通用的泰勒前向变换。

2.2 体系二：CFD 离散偏微分方程伴随与参数反演

在第二套评估中，显式求导策略被部署于常规的有限体积法（Finite-Volume）CFD 离散伴随求解器中，用于求解稳态层流可压缩 Navier-Stokes 方程。通过 Roe Riemann 近似黎曼求解器计算无粘通量，Green-Gauss 梯度重构计算粘性通量。整个物理残差在 GPU 上通过伪时间步迭代（Pseudo-time marching）求解。

设计变量为远场来流参数：来流马赫数 $M_{\infty}$ 与迎角 $\alpha$，即 $\boldsymbol{\mu} = (M_{\infty}, \alpha)$。反演目标是使壁面压力系数 $C_{p}$ 匹配目标分布：

2.2.1 离散伴随内核验证数据

研究通过多级 staged 验证确保生成的 CFD 转置内核完全一致（如 Table 3 所示）：

所有的转置内积误差（Adjoint Consistency Error）都在 $10^{-14} \sim 10^{-15}$ 级别，这说明显式伴随累加（Transpose accumulation）在数学上达到了惊人的无损完备性。

2.2.2 伴随梯度与有限差分梯度对比

在初始设计点 $\boldsymbol{\mu}_0 = (0.3, 0.0^{\circ})$，对比使用显式离散伴随内核算出的参数梯度与两组不同扰动步长的有限差分（FD）梯度（见 Table 4）：

不到 $0.2\%$ 的微小偏差完全来自于有限差分的割线截断误差和稳态收敛精度极限。这直接铺平了高精度伴随优化的道路。

2.2.3 自由流参数反演优化轨迹

使用基于上述伴随梯度构建的 BFGS 优化器，目标是从 $\boldsymbol{\mu}_0 = (0.3, 0.0^{\circ})$ 寻优反演目标值 $\boldsymbol{\mu}_{tar} = (0.5, 3.0^{\circ})$。优化轨迹如 Figure 5 所示：

• 经过 16 步 迭代，目标函数损失（Objective Loss）从 $1.19 \times 10^{-2}$ 暴跌至 $4.60 \times 10^{-12}$（几乎完全收敛至绝对零点）。
• 最终反演出的来流参数为 $M_{\infty} = 0.499988$ 以及 $\alpha = 2.999942^{\circ}$，与真实靶标的相对偏差仅为 $10^{-5}$ 数量级。这进一步验证了该显式微分内核在支持完整的、生产级高精度数值优化循环中的卓越表现。

3. 代码实现细节、复现指南与开源链接

3.1 核心代码逻辑展示（智能体辅助生成的 PyTorch 算子骨架）

以下是复现层级偏射流传导核心步骤的 Python 伪代码展示。该部分正是大语言模型编程智能体根据 tanh 激活函数及其链式规则推导自动拼装生成的：

import torch
import torch.nn as nn

class ExplicitDerivativeLayer(nn.Module):
    def __init__(self, in_features, out_features, activation_fn=torch.tanh):
        super(ExplicitDerivativeLayer, self).__init__()
        self.weight = nn.Parameter(torch.randn(out_features, in_features) * 0.1)
        self.bias = nn.Parameter(torch.zeros(out_features, 1))
        self.activation_fn = activation_fn

    def forward_partial_jet_2nd(self, a, da_dx, d2a_dx2):
        """
        前向传播的同时，显式计算一阶导数 da_dx 和同方向的二阶导数 d2a_dx2
        """
        # 1. 拼接状态，利用大矩阵乘法 Fused GEMM 进行并行计算
        # a 的形状: (out_features, batch_size)
        batch_size = a.shape[1]
        inputs_concat = torch.cat([a, da_dx, d2a_dx2], dim=1) # 形状: (in_features, 3 * batch_size)
        
        # 线性映射
        z_concat = torch.matmul(self.weight, inputs_concat)  # 形状: (out_features, 3 * batch_size)
        z, dz_dx, d2z_dx2 = torch.split(z_concat, batch_size, dim=1)
        
        # 加上偏置 (仅偏置项作用于零阶函数值)
        z = z + self.bias

        # 2. 显式链式求导公式 (针对 tanh 激活函数)
        # tanh'(z) = 1 - tanh^2(z)
        # tanh''(z) = -2 * tanh(z) * (1 - tanh^2(z)) = -2 * a_next * da_next
        a_next = torch.tanh(z)
        
        phi_prime = 1.0 - a_next ** 2
        phi_double_prime = -2.0 * a_next * phi_prime
        
        # 一阶导更新：da/dx = phi'(z) * dz/dx
        da_next_dx = phi_prime * dz_dx
        
        # 二阶导更新：d2a/dx2 = phi''(z) * (dz/dx)^2 + phi'(z) * d2z/dx2
        d2a_next_dx2 = phi_double_prime * (dz_dx ** 2) + phi_prime * d2z_dx2
        
        return a_next, da_next_dx, d2a_next_dx2

3.2 运行复现指南

为了复现本论文中关于 PINN 和 CFD 伴随计算的实验结果，请按照以下步骤配置环境并执行脚本。

3.2.1 第一步：环境配置

推荐使用 Anaconda 构建独立沙盒，并配置 CUDA 12.x 环境支持。

# 创建并激活 conda 环境
conda create -n exp_diff python=3.10 -y
conda activate exp_diff

# 安装 PyTorch 和相关的计算库 (根据自己的 CUDA 版本进行微调)
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121

# 安装 JAX 及其 CUDA 加速支持 (用于复现与 Taylor-mode AD 对比的部分)
pip install --upgrade "jax[cuda12_local]" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html

# 安装常规辅助库
pip install numpy matplotlib scipy tqdm

3.2.2 第二步：克隆开源代码库

作者已将所有核心基准测试、验证脚本及显式微分内核算子开源至 GitHub。

git clone https://github.com/Cao-WenBo/ExplicitDifferentiation.git
cd ExplicitDifferentiation

3.2.3 第三步：执行 PINN 的 Burgers/KS 方程对比复现

运行一键测试脚本，该脚本将分别使用传统的嵌套 AD 和本研究提出的显式 ED 运行 Burgers 方程的完整训练，并对输出的残差向量、梯度值进行逐一比对，最后生成图 2、图 3 的耗时与显存对比图。

# 运行 PyTorch 下的 Burgers 方程基准测试并执行正确性验证
python run_pinn_burgers.py --backend pytorch --verify

# 运行 JAX 下的 Kuramoto-Sivashinsky (KS) 四阶方程对比（含 Taylor-mode 比较）
python run_pinn_ks.py --backend jax --compare-taylor

3.2.4 第四步：执行离散 CFD 伴随的数值验证与反演

cd cfd_adjoint_inversion
# 运行切向、转置内核的严格泰勒余项测试与伴随一致性检验
python verify_cfd_kernels.py

# 执行基于显式微分伴随梯度的来流马赫数、迎角寻优反演
python run_freestream_inversion.py

4. 关键引用文献与局限性评论

4.1 关键引用文献

本工作建立在以下前沿学术成果的基石之上，深入理解这些文献有助于把握该领域的完整技术脉络：

1. PINN 开山之作： Raissi, M., Perdikaris, P., & Karniadakis, G. E. (2019). Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 378, 686-707.
   奠定了通过自动微分计算偏微分方程空间-时间导数以构建损失函数的理论根基。
2. 泰勒模式自动微分优化： Hu, Z., Shi, Z., Karniadakis, G. E., & Kawaguchi, K. (2024). Hutchinson trace estimation for high-dimensional and high-order physics-informed neural networks. Computer Methods in Applied Mechanics and Engineering, 424, 116883.
   探讨了高阶泰勒截断模式在复杂网络微分中的应用，是本研究在 JAX 平台下的关键对比基线。
3. 离散伴随 CFD 优化： Kenway, G. K. W., Mader, C. A., He, P., & Martins, J. R. R. A. (2019). Effective adjoint approaches for computational fluid dynamics. Progress in Aerospace Sciences, 110, 100542.
   详述了现代离散伴随方法在复杂气动外形优化设计中的工程实践与求导链。
4. 智能体辅助代码生成： Shinn, N., Cassano, F., Gopinath, A., Narasimhan, S., & Yao, S. (2023). Reflexion: Language agents with verbal reinforcement learning. arXiv preprint arXiv:2308.08468.
   提出了“自我反思与修改”的闭环反馈机制，启发了本工作中“生成-验证-修改”的智能体导数内核生成工作流。

4.2 对本项工作的深度学术评论及局限性剖析

尽管本项工作在计算效率和显存优化上取得了令人瞩目的成就，并且引入智能体编程极大地缓解了人工推导与编码的压力，但站在严苛的科学计算与工程应用视角，该方法依然存在以下不容忽视的局限性：

1. 结构与算子的深度绑定（高度缺乏通用柔性）

显式微分内核最大的优势——“残差特定（Residual-specific）与结构感知（Structure-aware）”，恰恰也是它最大的软肋。每一个 ED 算子都是高度特异化的：它们与神经网络的具体架构（如 MLP 隐藏层数、特定激活函数如 tanh 或 GELU）以及特定的偏微分方程物理项高度绑定。
如果研究人员想要尝试将网络架构从 MLP 更改为 KAN（Kolmogorov-Arnold Networks），或者在损失函数中增加一个全新的非线性源项，之前生成的所有 ED 代码将立即报废，必须依赖智能体或人工重新运行完整的推导、生成和验证循环。这与通用 AD 框架中“只需更改前向传播代码，反向求导无缝自动适应”的黑盒便利性形成了鲜明对比。

2. 对复杂前向网络层（如 Attention, ResNet）的高阶推导爆炸

对于简单的 MLP，其层级链式法则递推公式（公式2、公式3）非常整洁。然而，如果我们要优化一些复杂的物理神经网络，例如包含自注意力机制（Self-Attention）的 Fourier Neural Operator (FNO) 或 Transformer 结构，其高阶显式链式求导公式的推导难度将呈级数攀升，会产生大量高度冗余的中间积项。即使是智能体，在面对如此繁复的非线性复合微分时，也极易发生数学逻辑幻觉（Hallucination）或陷入无限的代码修改死循环中。

3. 伴随算子对非平滑/间断限幅器（Limiters）的线性化困境

在现代高分辨率有限体积 CFD 求解器中，为了捕获激波等间断，通常会引入诸如 MinMod、UMIST 或 Superbee 等非平滑限幅器（Limiters）。这些限幅器在数学上往往包含不可导的 max、min 或绝对值算子。在直接编写显式微分的切向和伴随转置内核时，这类非平滑点会导致“在分界点导数不连续或不存在”的问题。传统的通用 AD（如通过源到源转换工具）可以通过一些平滑化近似（Smooth approximation）来勉强应对，而显式内核则需要开发者或智能体在数学层面引入极富经验的“正则化”修改，极易导致导数与真实原算子在局部区域产生不一致，从而破坏伴随优化的收敛性。

5. 技术延伸：在量子化学与分子动力学中的广阔应用前景

虽然本论文的主战场景是 PINNs 和 CFD，但对于**量子化学（Quantum Chemistry）和从头算分子动力学（AIMD）**研发人员而言，这项工作的底层逻辑具有极其震撼的潜在变革价值。在量子化学中，有几个由来已久的、极为消耗计算资源的“导数黑洞”，恰好是显式微分内核完美契合的靶向场景。

5.1 场景 A：变分量子蒙特卡洛（VMC）与神经网络波函数（Neural Wavefunctions）

近年来，利用深度神经网络来拟合多电子波函数（例如 DeepMind 推出的 FermiNet 以及后来的 PauliNet、PsiFormer）成为了量子化学计算的新范式。这些方法通过求解无自旋薛定谔方程来直接计算电子基态：

为了评估局部能量 $E_L(\mathbf{r})$，我们必须频繁计算波函数的动能项，这就要求计算电子坐标的拉普拉斯算子（Laplacian）：

在数万到数百万个蒙特卡洛采样点上计算网络输出对 $3N$ 个电子空间坐标的二阶偏导数，目前各大研究组几乎全部依赖 PyTorch 或 JAX 的嵌套反向/正向自动微分。由于嵌套 AD 存储了极其庞大的多流计算图，其速度慢到令人发指，这成为了阻碍神经网络波函数向大型分子（如含数十个原子的分子）推广的核心绊脚石。
技术延伸建议： 如果采用本项研究中的“偏射流层级传导（Partial-Jet）”策略，针对 FermiNet 这种高度定制的多层 MLP 和行列式混合架构，显式写出其针对电子坐标的二阶导数层级闭包。通过单次前向传导合并（Fused GEMM）直接算出 $\nabla^2 \Psi$，计算效率将有望迎来 5-10倍 的飞跃，同时显存开销将暴降一个数量级，这或将真正使得神经网络求解中等规模分子的薛定谔方程走向实用化。

5.2 场景 B：机器学习力场（MLFF）中的高阶力常数计算与红外/拉曼光谱预测

在基于机器学习电势（Machine Learning Potentials, 如 ANI, PhysNet, SchNet）的分子动力学中，能量 $E$ 是体系原子坐标 $\mathbf{R}$ 的函数。为了计算原子受力 $\mathbf{F}$，我们需要计算一阶导数：

这很容易通过反向传播（Backpropagation）实现。然而，为了预测分子的振动频率、红外光谱（IR）或拉曼光谱（Raman），我们必须进一步计算二阶导数（Force Constants Matrix / Hessian）甚至三阶、四阶非谐性项（Anharmonic force constants）：

目前，这通常需要对已经带有梯度计算逻辑的代码运行双重反向传播（Double-backpropagation），中间图开销和显存爆炸极其严重。
技术延伸建议： 通过编程智能体，自动针对当前主流的机器学习力场网络层（如 Message Passing 层、Radial Basis 层）生成显式的、特定于力常数矩阵计算的转置和切向导数内核。不仅能极大加速大分子过渡态（Transition State）的搜寻，还能为非谐性振动分析提供极高效的计算引擎。

 传统MLFF计算流:
 坐标 R ──► 前向MLFF ──► 能量 E ──► 反向AD-1 ──► 原子力 F ──► 二重反向AD-2 ──► 显存爆炸、高阶力常数 Hessian

 显式内核(ED)计算流:
 坐标 R ──► 显式层级偏射流传导 (Fused GEMM) ──► 一步直接输出 [E, F, Hessian] (无多重嵌套计算图)

5.3 场景 C：自洽场（SCF）优化中的可微量子化学与离散伴随

在可微量子化学（Differentiable Quantum Chemistry，如 JAX-Chemo，DiffiQult）中，研究人员试图通过调整核坐标或基函数参数 $\boldsymbol{\mu}$ 来优化分子性质。这涉及在满足哈特里-福克（HF）或密度泛函理论（DFT）自洽场约束下的全导数计算。自洽场收敛过程本身是一个庞大的迭代循环：

如果要对整个自洽场收敛轨道直接套用黑盒自动微分，AD 框架必须跟踪并保留数十次乃至上百次 SCF 迭代过程中产生的所有中间密度矩阵和波函数状态，这会导致内存瞬间撑爆。
技术延伸建议： 将本工作中的离散 PDE 伴随思想移植至此：将 SCF 迭代方程视为稳态离散系统（如同公式4），其雅可比作用可以采用显式的原子轨道局部积分导数内核进行评估。通过求解一个单次的伴随方程（Adjoint Equation, 公式10）即可获取任意分子性质对外部基函数参数或核位置的精准梯度。这将使得超大型分子的可微性质寻优和基函数自动化定制变成可能。

结论

Wenbo Cao 等人的这项工作向我们清晰地展示了：显式微分内核（ED）不应当仅仅被视为一种昂贵、脆弱、难以手写的“屠龙之技”。在大型语言模型编程智能体逐渐成熟的今天，通过“智能体自动生成-多级一致性数值严格验证-快速迭代修补”的现代化闭环，我们完全可以以极低的开发成本，提炼出兼具“极致运行效率”与“无可挑剔精度”的专属导数内核。 这一设计理念不仅将彻底激活高阶 PINNs 的生命力，更为计算化学、材料科学等导数密集型科学计算领域，提供了一条从通用黑盒自动微分走向定制化结构感知计算的全新技术跃迁之路。