来源论文: https://arxiv.org/abs/2605.25949v1 生成时间: Jun 14, 2026 12:51

小模型，强先验：深度解析 WaveLiT 架构对科学计算与量子化学 PDE 求解器的启示

0. 执行摘要

在人工智能“大一统”的浪潮下，偏微分方程（PDE）的神经求解器也步入了与自然语言处理（NLP）和计算机视觉（CV）类似的 Scaling 轨迹。近年涌现的物理基础模型如 PhysiX（4.5B）、Poseidon（629M）、DPOT（500M）和 Walrus（1.2B）动辄包含数亿至数十亿参数，其训练和推理需要极其庞大的计算资源。这种“以规模代先验”（Scale as a substitute for inductive bias）的范式是否是科学计算的唯一终局？

最新论文 “Small Models, Strong Priors: Architectural Inductive Bias for Parameter-Efficient Neural PDE Solvers” 提出了强有力的质疑。作者团队（来自宾夕法尼亚大学的 Shyam Sankaran、Hanwen Wang 和 Paris Perdikaris）推出了 WaveLiT 架构。该架构通过引入离散小波变换（DWT）无损多分辨率分词、脊回归校正的 $O(N)$ 空间线性注意力混频器、共享参数的多尺度特征金字塔（FPN）以及小波域辅助损失函数，在参数量仅为 1M 至 10M 的极小尺度下，在 PDEArena 和 TheWell 等 8 个极具挑战性的物理基准测试上，成功击败或等量齐观了比其大 100 到 1000 倍的巨型基础模型。整个 WaveLiT 训练流水线均可在单张 GPU 上完成，这一成果不仅重新定义了神经算子（Neural Operators）的效率边界，也为量子化学中多尺度电子结构计算、薛定谔方程求解等计算瓶颈提供了极富启发性的全新方法论。

1. 核心科学问题、理论基础、技术难点与方法细节

1.1 经典视角的困境：盲目 Scaling 真的适用于物理/化学系统吗？

在计算机视觉中，Vision Transformer (ViT) 习惯于将图像切分为 $16 \times 16$ 或 $8 \times 8$ 的粗粒度图像块（Patches），并通过线性投影转化为 Token。然而，这一在视觉任务中表现优异的默认设置，在处理物理和化学偏微分方程时却表现出本质性的缺陷：

1. 亚网格物理信息的丢失：物理系统（如流体湍流、量子波函数 cusps 尖峰）的细粒度特征往往决定了宏观动力学的演化。粗粒度的 Patch 划分在第一层网络之前就无情地抹杀了这些高频物理细节（Sub-patch physics）。
2. 二次方复杂度的恶性循环：为了弥补粗粒度 Token 带来的物理信息损失，研究者试图使用更小的 Patch（例如 $2 \times 2$ 甚至 $1 \times 1$）。但在标准自注意力机制中，计算和内存复杂度随 Token 数量 $N$ 呈 $\mathcal{O}(N^2)$ 急剧增长，迫使模型只能退回粗粒度表征，并不得不通过增加网络深度和参数规模（Scaling up）来硬性“记忆”丢失的细粒度动力学。

WaveLiT 的核心科学假设在于：精巧构建的架构归纳偏置（Architectural Inductive Bias）能够实现极高的参数效率，盲目追求大模型尺寸往往是在用无谓的参数量去对冲低效的架构设计。

1.2 理论支柱一：离散小波变换（DWT）作为无损多分辨率 Tokenizer

为了克服 ViT 拼图式分词（Patch Embedding）的弊端，WaveLiT 引入了二维离散小波变换（2D Discrete Wavelet Transform, DWT）作为其分词器（Tokenizer）。

数学表征：

DWT 将输入空间场 $X \in \mathbb{R}^{B \times T \times H \times W \times C}$ 分解为四个半分辨率的子带（Subbands）：一个低频近似子带（$LL$）和三个方向性高频细节子带（$LH$：水平细节，$HL$：垂直细节，$HH$：对角细节）。这相当于在空间上进行 $2 \times$ 下采样，同时在通道维度上进行 $4 \times$ 扩张：

接着，一个无偏置的线性投影层将小波子带拼接后的特征映射到模型的工作维度 $D$。这一设计带来了三大革命性的物理特性：

• 参数零消耗与无损性（Lossless & Parameter-free）：相比于带有可学习权重的卷积或 Patch 投影层，DWT 无需任何训练参数。最关键的是，它是数学上完全可逆的（通过逆离散小波变换 IDWT，可实现完美重构），保证了亚网格尺度的物理信息在输入端获得零损失的保留。
• 天然的物理可解释性：小波基函数在空间和频率上同时具有局部化特征，能够完美分离宏观背景流场（低频近似）与局部激波、边界层、电子尖峰等高阶奇异性特征（高频细节）。

1.3 理论支柱二：从 $\mathcal{O}(N^2)$ 自注意力到 $\mathcal{O}(N)$ 空间线性注意力混频器

在保证细粒度分词的前提下，为了消除二次方复杂度的限制，WaveLiT 重新审查了线性注意力（Linear Attention）机制，并从**测试时回归（Test-time Regression）**的独特视角对其进行了改进。

线性注意力的数学重构：

标准 Softmax 注意力计算公式为 $\text{Attn}(Q, K, V) = \text{softmax}(QK^\top / \sqrt{d})V$。若存在非负特征映射 $\phi(\cdot)$ 满足核函数等价性 $\kappa(q, k) = \langle \phi(q), \phi(k) \rangle$，我们可以利用乘法结合律将计算顺序重排：

忽略分母并定义全局状态矩阵（State Matrix） $S \in \mathbb{R}^{d_v \times d_k}$：

则第 $i$ 个 Token 的输出可高效简化为 $o_i = S \phi(q_i)$。此时，计算复杂度由 $\mathcal{O}(N^2 d)$ 彻底降为 $\mathcal{O}(N d_k d_v)$，实现相对于序列长度 $N$ 的完美线性 scaling。

脊回归校正（Ridge-corrected State Update）：

在测试时回归的框架下，状态矩阵 $S$ 实际上扮演着线性联想记忆器（Associative Memory）的角色。为了让该记忆器在重建关联时达到最优，我们可以将其建模为求解以下 Frobenius 范数正则化的重构损失最小化问题：

对其求导并令其为零，可以得到解析形式的闭式解（Closed-form Solution）：

其中 $C = \sum_j v_j \phi(k_j)^\top$ 对应常规注意力中的伴随矩阵，而 $G = \sum_j \phi(k_j) \phi(k_j)^\top$ 为特征协方差（Gram）矩阵。该公式在理论上建立了三种正则化机制的统一：

1. $\lambda \gg \|G\|$ (常规线性注意力)：此时 $(G + \lambda I)^{-1} \approx \lambda^{-1} I$，Gram 矩阵的修正消失，所有特征维度被无差别对待，等价于忽略了 Key 特征的协方差结构。
2. $\lambda \to 0$ (最小二乘注意力)：完全由 Gram 矩阵的逆进行校正，但在数值上极不稳定。
3. 有限 $\lambda$ (WaveLiT 脊校正机制)：通过合理的脊参数 $\lambda$（在实际中添加大小为 $d_k \times d_k$ 的矩阵求逆，由于 $d_k \ll N$，计算成本极低），精细刻画了特征在空间中的查询频次与分布结构，极大地增强了物理流场关联的学习稳定性。

空间归纳偏置增强（MILA-style Block）：

仅靠线性注意力往往无法直接捕捉高分辨率网格上的局部几何接近性（Locality）。为此，WaveLiT 整合了 MILA 式的混合设计：

• RoPE (旋转位置编码)：直接作用于 Query/Key 映射，维持全局的旋转不变几何关系。
• CPE (条件位置编码)：在注意力块与 MLP 块的残差分支中无缝嵌入深度可分离卷积（Depthwise Convolution），引入动态的位置敏感度。
• LePE (局部增强位置编码)：在注意力输出路径上叠加一个局部深度可分离卷积偏置，提供极强的空间局部先验。

1.4 共享参数的多尺度特征金字塔（Multiscale Feature Pyramid）

物理现象（特别是多相流或多体相互作用）天然具备跨尺度的级联特征（Energy cascade）。WaveLiT 设计了共享参数的特征金字塔架构。对于小波分词后的 Token 序列 $X$，系统在空间上通过多次 $2 \times$ 平均池化（Average Pooling）构建起分辨率金字塔 $\{X^{(\ell)}\}_{ell=0}^L$。随后，同一个线性注意力混频器块 $f_\theta$ 被并行应用于各个尺度：

其中 $g^{(\ell)}$ 编码当前尺度的网格特征以供 RoPE 进行自适应频率校准。最后，所有尺度的计算输出被插值上采样（Upsample）回基准尺度，并执行基于可学习标量权重 $w_\ell$ 的加权求和：

这一参数共享的多尺度方案带来了惊人的效率：它不增加任何额外的网络权重，却赋予了小模型直接感知大尺度宏观输运和小尺度微观耗散的能力。

1.5 双谱约束：小波域辅助损失函数

在模型优化端，常规神经求解器往往仅在实空间（Pixel space）使用均方误差（MSE, 即 $L_2$ 损失）。然而，均方误差对微小的高频分量极度不敏感，常常导致模型预测结果过于平滑，丢失高阶梯度特征。为此，WaveLiT 引入了小波域 $L_1$ 辅助损失。预测场和真实场均被施以 DWT，并计算高低频子带系数的绝对误差和：

这一设计在时空双谱上对模型施加了强力的双向约束，强制其在训练过程中均衡分配对低频大尺度背景与高频尖峰细节的关注度。

1.6 统一表征与泛化：WaveLiT-FM 的跨家族迁移设计

为了验证 WaveLiT 作为物理基础模型（Foundation Model）跨物理系统联合训练的可行性，论文进一步提出了 WaveLiT-FM（如图 3 所示）：

• 通道统一化空间（Canonical Channel Mapping）：汇总所有物理场变量（如 $u$ 速度、压力、浮力等），缺失通道的物理系统对对应通道进行无偏差的零填充。由于采用无偏置（No-bias）的线性提升矩阵 $W_{\text{lift}}$，零填充通道在乘法中贡献恰好为零，从而优雅地实现隐式门控（Implicit Gating）。
• 任务专属调理（Task-specific Conditioning）：在 Token 生成后，注入一个可学习的、代表特定偏微分方程物理系统身份的专属嵌入向量，指导共享的主干网络（Shared Trunk）进行物理自适应调整。

2. 关键 Benchmark 体系、计算所得数据与性能数据

WaveLiT 在当前最具公信力的两个神经 PDE 求解基准上进行了最严苛的黑盒评估：PDEArena 和由法国多个研究机构联合推出的 TheWell 多物理数据集。

2.1 PDEArena Navier-Stokes (纳维-斯托克斯) 评测

图 1 清晰描绘了不同模型在二维 Navier-Stokes 方程上的参数效率曲线。这里将相对 $L_2$ 误差（%）与模型尺寸（Model Size）进行了联合可视化：

• FNO (Fourier Neural Operator) 在参数量约 5M 时，相对误差维持在 10% 左右。
• DP-L (DPOT-L Fine-tuned) 和 CV-L (CViT-L) 虽将误差压低至约 3% - 5%，但其参数规模直逼 100M 至 1B。
• WaveLiT-L (W-L, 约 9.5M 参数) 相对 $L_2$ 误差直接降至约 1.0% 左右，实现了完美的左下角“低参数-高精度”神迹。相比于性能相近的模型，WaveLiT 实现了 100倍 以上的参数压缩！

2.2 TheWell 基准测试集的全面决战

TheWell 涵盖了 8 种性质截然不同的前沿物理系统：声音散射（Acoustic Scattering, ASM）、亥姆霍兹阶梯（Helmholtz Staircase, HS）、瑞利-贝纳德对流（Rayleigh-Bénard, RB）、剪切流（Shear Flow, SF）、湍流辐射（Turbulent Radiative, TRL2D）、活性物质（Active Matter, AM）、格雷-斯科特反应扩散（Gray-Scott, GS）以及粘弹性不稳定性（Viscoelastics, VI）。

单步预测精度分析（Table 15 提取）：

• 惊人的发现：在单步预测（One-step）中，仅有 9.5M 参数的 WaveLiT-9.5M 单体专家模型在 ASM 体系上取得了 0.0016 的最低中位数 VRMSE，精度超过了参数量高达 1.2B 的 Walrus（0.0099）近 6 倍。而更小的 WaveLiT-1.2M 在 HS 体系上跑出了 0.0003 的极致精度，碾压所有大模型基线！
• 整体排名 (Table 18)：在单步预测的综合表现中，WaveLiT-9.5M 的平均跨数据集排名为 1.94，仅次于 Walrus（1.44），但将 Poseidon-L（4.12）、MPP-AViT-L（4.86）和 DPOT-H（5.38）等庞然大物甩在身后。

2.3 误差累积与长程 Rollout 动力学演化分析

随着自回归 rollout 的延伸，偏微分方程的混沌特性（Lyapunov 不稳定性）会导致微小的单步预测误差呈几何级数放大。物理系统的时空发散速度受控于局部 Lipschitz 常数 $L_F$。其递推关系如下：

通过对模型进行自回归微调（FT, 采用 Scheduled Sampling 策略），WaveLiT 在中长程预测（Table 16: $T \in [1,20]$, Table 17: $T \in [21,60]$）中表现出极佳的稳定性（图 4）：

• 在波主导的非混沌系统如 ASM 和 HS 中，WaveLiT 几乎毫无悬念地维持了统治级别的优势。例如在 ASM 的 $T \in [21,60]$ 极长区间内，WaveLiT-9.5M 的 VRMSE 为 0.0268，显著优于 Walrus 的 0.0560。
• 然而在高度混沌、富含亚网格微小涡流的瑞利-贝纳德对流（RB）中，由于 $L_F > 1$，WaveLiT 的无损细粒度表征虽然提升了单步精度，但也导致在 rollout 过程中更容易捕捉并放大了混沌不稳定性，从而在长程演化中落后于 Walrus。这一现象构成了极其重要的“双刃剑”效应物理反思（见后文）。

2.4 跨体系迁移模式：WaveLiT-FM 的“物理可解释性失败”

通过在 10M 参数的极简骨架下训练多任务模型 WaveLiT-FM，研究人员获得了一个极其清晰且符合物理直觉的迁移失败模式（Pattern of Failure）（图 5）：

• HS 系统的坍塌：在单任务训练下，HS 专家模型（1.2M）取得了 0.0003 的神级精度；但在多任务 WaveLiT-FM 训练中，HS 的相对误差狂飙了 19倍。这说明，联合训练迫使 10M 的极小主干网络去融合多方流场，从而抹杀了在 HS 特定不连续阶梯网格上学到的、高度专一化的边界层物理特征。
• ASM 与 TRL2D 的坚韧表现：相反，在声音散射（ASM）和湍流辐射（TRL2D）中，多任务模型 WaveLiT-FM 反而展现出了甚至优于十亿级大模型 Walrus 的迁移能力（图 5 中以星号 $\star$ 标出的点，Fnd-PT 在 ASM 单步中跑出了 0.0087，直接击败了 Walrus 的 0.0099）。这证明，小波多尺度架构所内嵌的强物理归纳偏置，在跨流场联合训练时，依然能提供极强的物理骨架支撑。

3. 代码实现、复现指南及核心算法细节

WaveLiT 完全依托于现代科学计算生态，由 JAX 语言编写，使用 Flax 作为神经网络高级 API。这极大地便利了其在单张 GPU（如 NVIDIA H200/B200）上的闪电般重构。下面解析复现该算法的关键步骤。

3.1 离散小波变换（DWT）的零参数分词实现

在 JAX 生态中，离散小波变换可依托 jax-wavelets 库或手动构建 2D 卷积卷积核。以下展示基于 JAX 伪代码实现的 Bior2.2 双正交小波无损分词过程：

import jax
import jax.numpy as jnp
from typing import Tuple

def bior2_2_filters() -> Tuple[jnp.ndarray, jnp.ndarray, jnp.ndarray, jnp.ndarray]:
    # Biorthogonal 2.2 滤波系数 (重构与分解滤镜对)
    dec_lo = jnp.array([-0.11074, 0.44295, 0.88589, 0.44295, -0.11074, 0.0]) # 简化示意
    dec_hi = jnp.array([0.0, -0.05537, 0.22148, -0.66444, 0.22148, -0.05537])
    # 转换成 JAX 二维卷积核
    # 通过外积生成 LL, LH, HL, HH 卷积核，用于 lossless 降采样分词
    # ... (生成 conv2d 滤波器组)
    return lo_lo, lo_hi, hi_lo, hi_hi

def wavelet_tokenizer(x: jnp.ndarray) -> jnp.ndarray:
    """
    输入形状: (B, H, W, C)
    输出形状: (B, H/2, W/2, 4*C)
    """
    # 应用反射边界填充（Reflect Padding）以避免边缘伪影
    # 运行 jax.lax.conv_general_dilated 并拼接通道
    # ...
    return token_grid

3.2 脊回归注意力（Ridge Attention）JAX 核心计算内核

脊回归线性注意力的核心在于利用特征维度的 Gram 矩阵进行校正。JAX 强大的即时编译（JIT）能够让该运算瞬间并行化：

def ridge_attention(q: jnp.ndarray, k: jnp.ndarray, v: jnp.ndarray, lmbda: float = 1e-3) -> jnp.ndarray:
    """
    q: (N, d_k)
    k: (N, d_k)
    v: (N, d_v)
    """
    d_k = q.shape[-1]
    
    # 计算特征协方差矩阵 (Gram Matrix) G: (d_k, d_k)
    G = jnp.matmul(k.T, k)
    
    # 伴随矩阵 C: (d_v, d_k)
    C = jnp.matmul(v.T, k)
    
    # 执行脊回归逆运算 (G + lambda * I)^(-1)
    regularizer = lmbda * jnp.eye(d_k)
    G_inv = jnp.linalg.inv(G + regularizer)
    
    # 求解最优联想记忆状态矩阵 S^* : (d_v, d_k)
    S_star = jnp.matmul(C, G_inv)
    
    # 查询输出: (N, d_v)
    output = jnp.matmul(q, S_star.T)
    return output

3.3 训练细节与计算资源

根据论文 Appendix E 与 Table 4 的详实披露：

• 优化器配置：使用 AdamW，设置固定的权重衰减（Weight Decay）为 $1 \times 10^{-4}$。
• 学习率调度：采用带有 5000 步线性预热（Warm-up，自 $1 \times 10^{-7}$ 攀升至 $1 \times 10^{-3}$）的指数衰减策略，随后每 2000 个 Transition 步以 0.99 的比例进行指数衰减。梯度裁剪（Gradient Clipping）阈值设为 1.0。
• 单机极低成本复现时间 (Table 4 & 5)：
  • 单个 1.2M Bespoke 专家模型在单张 GPU 上预训练 500k 步，仅需 2.2 至 27 小时（取决于数据集的分辨率）。
  • 联合基础模型 WaveLiT-FM (10M) 跨 8 大数据集预训练 1M 步，在单张 B200 GPU 上仅耗时 41.0 小时（实际 wall-clock 计时 51.1 小时，折合仅 2.1 GPU-Days）。这意味着普通学术实验室以不到 100 美元的云算力成本，便能完全复现该物理基础模型！

4. 关键引用文献与 WaveLiT 的局限性评述

4.1 关键参考文献

1. FNO 的奠基性工作：Zongyi Li et al. Fourier neural operator for parametric partial differential equations. (arXiv:2010.08895) —— 构建了谱空间积分核神经算子的先河，是 WaveLiT 的重要对比基线。
2. 物理基础大模型：Michael McCabe et al. Walrus: A cross-domain foundation model for continuum dynamics. (arXiv:2511.15684) —— 1.2B 参数的多物理大模型，展示了极佳的跨领域泛化，作为 WaveLiT-FM 挑战的最强对手。
3. MILA 注意力源起：Dongchen Han et al. Demystify mamba in vision: A linear attention perspective. (arXiv:2405.16605) —— 启发了 WaveLiT 混频器块中局部与全局位置编码（CPE, LePE）的完美融合。
4. 测试时回归视角：Ke Alexander Wang et al. Test-time regression: a unifying framework for designing sequence models with associative memory. (arXiv:2501.12352) —— 提供了线性注意力脊回归校正的理论源泉。

4.2 局限性深思一：高频“双刃剑”效应与 Lipschitz 爆破

WaveLiT 极具科学诚实性地在第 5 节讨论中剖析了自身的核心局限。这一局限对所有从事非线性流体或量子混沌演化的人员都具有警示意义：

• 不稳定性来源：WaveLiT 的 DWT Tokenizer 是数学无损的，这使得它会毫无保留地将极高频的微小涨落传入注意力层。但在高度非线性的湍流系统（如瑞利-贝纳德对流中高 Rayleigh 数导致的剪切失稳）中，高频涨落对应着非常巨大的局部 Lipschitz 常数 $L_F > 1$。这直接导致误差在自回归 rollout 中以 $L_F^n$ 呈指数级增长。
• 相反的证据：相比之下，那些采用粗粒度 Patch 划分的常规大模型（如 Walrus），由于在输入端就通过下采样将这些微小的高频物理细节“截断”抛弃，虽然导致其单步预测精度平庸，但反而极大地降低了系统动力学的 Lipschitz 常数，使得模型在长程 rollout 中展现出极佳的“钝感稳定性”。这一“单步高精度”与“长程不发散”之间的物理权衡（Trade-off），需要未来通过引入动态物理耗散机制（如噪声注入 Jitter 或显式滤波项）予以克服。

4.3 局限性深思二：多维高阶偏微分方程的维度灾难（Curse of Dimensionality）

虽然 2D-DWT 在平面物理流场中极为高效，但一旦进入高维体系（如电子多体薛定谔方程涉及 $3N$ 维空间），传统的张量积小波（Tensor-product Wavelets）将遭遇严重的指数爆炸问题。这限制了 WaveLiT 在高分子、复杂多体反应网络等超高维物理场景中的直接应用，亟需开发与之配套的稀疏网格小波（Sparse Grid Wavelets）或无网格等价架构。

5. 量子化学视角的延伸与前沿思考

作为量子化学与第一性原理材料计算的研究人员，在目睹了 WaveLiT 在经典宏观连续介质物理中的卓越表现后，很自然会产生一个根本性的问题：这一“小模型、强先验”的波色小波与线性注意力框架，能否移植到微观量子力学计算中，用来解决高难度的薛定谔方程求解和 Kohn-Sham 密度泛函理论（DFT）瓶颈？

答案不仅是肯定的，而且具有极其深邃的理论契合度。

5.1 电子多尺度特性与库仑尖峰条件（Coulomb Cusp Condition）

在第一性原理电子结构计算中，全电子波函数 $\psi(\mathbf{r})$ 在原子核附近（$r \to 0$）由于库仑引力发散，展现出极陡峭的奇异性突变，满足著名的库仑尖峰条件（Kato’s Cusp Condition）：

而在远离核的价电子层与外部空间，波函数又呈平缓的指数级衰减（Exponential decay）。

• 传统基组的尴尬：高斯基组（Gaussians）擅长描述化学键但难以精准描述核尖峰，平面波基组（Plane waves）处理核附近需要极高的截断能（能量截断爆炸）。
• WaveLiT 的解法：这与 WaveLiT 的小波多分辨率分词（DWT）天生契合。在量子化学中，曾有基于自适应小波的多尺度环境库（如经典的 MADNESS 和 BigDFT 软件）。WaveLiT 给我们的启示是，我们可以构建一个 WaveLiT-QC 网络，通过 3D 双正交小波无损提取出电子密度的核尖峰（高频 details）与价电子轨道（低频 approximations），并在潜空间中将它们解耦表征，彻底免去了昂贵的自适应伪势（Pseudopotential）构造，实现全电子精度的神经网络 Schrodinger 算子求解。

5.2 求解 Poisson 方程：电荷密度拟合与 Hartree 电势

在自洽场循环（SCF）中，最耗时的步骤之一是求解电子电荷密度 $\rho(\mathbf{r})$ 对应的 Poisson 方程以获得 Hartree 电势 $V_H(\mathbf{r})$：

传统的快速多极子方法（FMM）或三维 FFT 复杂度较高，且受限于网格剖分。如果我们训练一个极小的 WaveLiT-Poisson 神经网络算子，利用共享参数的多尺度特征金字塔（FPN）：

1. 微观尺度的核电荷密度信息在金字塔底层处理；
2. 宏观尺度的长程库仑势在金字塔顶层（低分辨率 Token 序列）进行大范围线性注意力交互；
3. 结合脊回归对高频静电能梯度的修正。这能在保持 $O(N)$ 线性缩放复杂度的同时，以极高精度、亚毫秒级的时间逼近自洽循环中的 Hartree 势计算，将 SCF 的时间常数压低数个数量级。

5.3 迈向 $O(N)$ 线性注意力量子化学

现代线性缩放 DFT（如 ONETEP, Conquest）的核心研究目标是在大体系分子（如生物大分子、蛋白质）计算中，将传统的 $O(N^3)$ 密度矩阵对角化过程压缩至 $O(N)$。然而，由于局域化条件（Nearsightedness of electronic matter）在非绝缘体或过渡金属体系中失效，传统局域化阻断方法往往难以推广。

WaveLiT 的空间线性注意力混频器提供了一种极富前景的非局域 $O(N)$ 关联方案：它通过将二次方注意力的求和顺序进行“测试时回归”式的重排，不仅保持了全局的长程信息关联（保证电荷转移、范德华力等长程相互作用不会像在常规剪切局域化方法中那样丢失），又在数学上将计算开销牢牢限死在相对于体系尺寸 $N$ 的线性 scaling 上。通过在分子轨道 Token 序列上应用 WaveLiT 的 Ridge-corrected 注意力，一个参数量仅在数十万级的超轻量级模型，便极有可能实时外推大分子体系的电子相关能（Correlation Energy）与激发态动力学，这必将引发第一性原理材料模拟的一场效率革命。

6. 总结

WaveLiT 的横空出世，不仅给在神经 PDE 领域疯狂堆砌参数、制造高耗能物理大模型的 Scaling 盲目狂热浇了一盆冷水，也用坚实的数学与数据证明了：精细调校的物理先验（小波无损分析 + 脊回归线性关联 + 多尺度参数共享）是科学计算向高参数效率、高可解释性演进的终极答案。

对于量子化学与凝聚态物理工作者而言，WaveLiT 揭示的多尺度注意力协同框架，是自适应网格化学计算与深度学习算子的完美交汇点。在材料基因组与微观量子模拟的未来赛道上，基于强物理先验的“小巧精悍型”神经网络，其释放出的科学创造力，注定将比盲目的千亿级参数“黑盒”更加闪耀夺目。