来源论文: https://arxiv.org/abs/2605.14523v1 生成时间: May 15, 2026 13:01

HQTN-SER：语音情感识别与混合量子张量网络的深度融合

0. 执行摘要

语音情感识别（Speech Emotion Recognition, SER）是人机交互和情感计算领域的核心挑战。传统深度学习模型虽然在性能上取得了突破，但往往依赖数百万级别的参数量和大规模标注数据，且在面对跨说话人、跨语言的分布偏移时表现脆弱。随着量子计算（QC）和量子机器学习（QML）的兴起，如何在近现阶段量子（NISQ）设备受限的资源下，利用量子纠缠和相干性构建紧凑且高效的非线性变换，成为了科研前沿的热点。

近日发表的《HQTN-SER: Speech Emotion Recognition with Hybrid Quantum Tensor Networks》提出了一种基于**矩阵乘积态（Matrix Product State, MPS）**启发式的量子张量网络模块。该模型在 RAVDESS、SAVEE 和 MDER 三个公开基准数据集上表现出了极高的参数效率和泛化稳定性。HQTN-SER 不仅证明了量子结构偏置（Inductive Bias）在处理复杂声学信号中的有效性，还通过硬件感知分析（FakeMarrakesh 模拟器）验证了其在噪声环境下的鲁棒性。本文将从核心理论、算法细节、实验数据到实现路径，对这一工作进行万字级深度拆解。

1. 核心科学问题，理论基础，技术难点，方法细节

1.1 核心科学问题：量子关联如何优化 SER？

语音情感信息并非孤立地存在于某个时间点或某个频率分量中，而是通过韵律（Prosody）、音高动态（Pitch Dynamics）和频谱包络（Spectral Envelope）之间的复杂关联表现出来的。传统 SER 模型面临的困境是：如何在减少参数冗余的同时，保留对这些细微声学关联建模的能力？

量子计算天然具有模拟关联（Correlation）的能力。通过变分量子电路（VQC），我们可以将经典声学特征映射到高维希尔伯特空间。HQTN-SER 的核心科学假设在于：利用张量网络（特别是 MPS）的拓扑结构，可以有效地约束量子比特间的纠缠范围，从而在小规模量子设备上实现高效且稳定的特征增强。

1.2 理论基础：矩阵乘积态（MPS）与量子张量网络

张量网络（Tensor Networks）是多体物理中描述高维状态的降维工具。**矩阵乘积态（MPS）**是其中最成功的一类，它将一个大的张量分解为一系列局部张量的乘积。在 QML 语境下，MPS 结构的量子电路具有以下特性：

  • 局部性（Locality）：纠缠仅在相邻量子比特间发生，这减少了梯度消失（Barren Plateaus）的风险。
  • 参数效率：相比于全连接的纠缠层，MPS 结构的参数量随量子比特数线性增长，而非指数增长。
  • 层次化建模：通过级联的 MPS 层，可以捕捉特征之间的层次化关联，这与语音信号的短时平稳性及长时情感演变特性高度契合。

1.3 技术难点与挑战

  1. 特征维度的鸿沟：原始语音信号或梅尔频谱通常具有极高的维度（如 128xT），而当前的量子模拟器或物理 QPU 仅能支持 10 个以内的量子比特。如何进行有效的降维而不丢失情感关键信息？
  2. 混合优化稳定性：量子电路的梯度计算（如 Parameter-shift rule）与经典神经网络的误差反向传播需要协同工作。如何确保两者的收敛速度匹配？
  3. Inductive Bias 的引入：随机选择量子 ansatz（电路模板）往往导致性能不稳定。如何设计一种具有物理意义的电路拓扑？

1.4 方法细节：HQTN-SER 架构全扫描

1.4.1 数据预处理管道

模型首先将原始音频（22,050 Hz）转化为梅尔频谱（Mel-spectrogram）。设置 n_mels = 128，并将时间轴对齐到 5 秒（不足则填充，超出则截断）。通过对功率值取对数得到分贝刻度的 $M_{dB}$。为了降维，作者引入了主成分分析（PCA）。将高维频谱向量投影到 $k=32$ 维空间，这一步骤至关重要，它在保留 95% 以上方差的同时，滤除了声学噪声。

1.4.2 量子输入映射（Affine Projection）

由于量子比特数 $n$（3 或 4）远小于 PCA 特征维数 $k$（32），作者设计了一个可学习的线性投影层：

$$u = Px + b \in \mathbb{R}^n$$

其中 $P \in \mathbb{R}^{n \times k}$。这个层的作用是让模型自动学习哪些经典声学特征分量更适合进行量子非线性变换。

1.4.3 MPS 结构的变分电路（VQC）

这是 HQTN-SER 的核心。电路分为三部分：

  1. 角度编码（Angle Encoding）：使用 $R_y(u_i)$ 旋转门将缩放后的特征载入量子态。
  2. MPS 纠缠层：采用由左至右的扫掠策略（Sweep）。每个局部块由 $R_y$ 和 $R_z$ 参数化旋转门组成，并在相邻比特间施加 CNOT 门。这种严格的最近邻约束强制模型学习“局部声学相关性”。
  3. 测量统计量（Measurement Statistics）：在所有比特上测量 Pauli-Z 算子的期望值，得到向量 $z_q$。

1.4.4 混合融合策略（Fusion Strategy）

HQTN-SER 并不仅仅依赖量子路径。它并行保留了一个轻量级的经典编码器（Classical Encoder），输出潜在嵌入 $z_c$。最终分类向量为二者的拼接：

$$z_f = [z_c \parallel z_q]$$

随后输入到一个带 Softmax 的全连接分类头中。这种设计确保了量子模块即使在 NISQ 环境下性能受限，模型仍能保持基础的分类能力。

2. 关键 benchmark 体系，计算所得数据，性能数据分析

2.1 评估基准数据集

作者选择了三个具有代表性的公开数据集，涵盖了控制变量、多语言和自然语境：

  • RAVDESS (Ryerson Audio-Visual Database of Emotional Speech and Song)：24 名专业演员，涵盖 8 种情感（中性、冷静、快乐、悲伤、愤怒、恐惧、惊讶、厌恶）。
  • SAVEE (Surrey Audio-Visual Expressed Emotion)：4 名男性说话人，7 种情感。虽然规模小，但常用于评估模型的精细分类能力。
  • MDER (Moroccan Dialect Emotion Recognition Dataset)：摩洛哥阿拉伯语方言，包含自然发生的语音，反映了方言特有的韵律，是极具挑战性的真实场景测试。

2.2 核心性能表现

HQTN-SER 在所有数据集上均取得了优异的准确率（Accuracy）：

  • RAVDESS: 80.12%
  • SAVEE: 78.26%
  • MDER: 73.51%

在与现有文献中的量子 SER 模型（如 Qubit SW Deep-ESN, CDQKL, QMGU）对比时，HQTN-SER 在保持更低量子比特数（仅 3-4 个）的同时，准确率往往持平或更高（见下表）：

模型数据集准确率量子比特数总参数量
CDQKL [43]SAVEE78.75%5-6~10k
HQTN-SERSAVEE78.12%33528
HQNN [32]MDER94.50%6-8200k+
HQTN-SERMDER73.50%33782

注：虽然 HQNN 在 MDER 上准确率更高，但其参数量是 HQTN-SER 的 50 倍以上，且使用的量子比特数翻倍。

2.3 消融实验分析（Ablation Study）

为了验证量子张量网络的真实价值，作者对比了三种配置：

  1. Classical only：移除量子路径。在 SAVEE 上表现极差（45.83%），说明对于小样本量，经典路径容易过拟合且特征提取能力不足。
  2. Quantum only：仅使用 MPS 电路。表现一般（SAVEE 为 29.17%），因为 3 个比特的 Hilbert 空间容量有限，无法支撑完整的决策边界。
  3. HQTN-SER (Full)：两者结合。性能大幅跃升，证明了量子测量特征 zq 为经典特征 zc 提供了关键的互补非线性映射。

2.4 收敛性与硬件稳定性数据

  • 收敛性：实验展示了训练与验证损耗曲线的高度重合，且无后期发散现象，这得益于 MPS 结构对梯度的良性约束。
  • 硬件鲁棒性：在 IBM 的 FakeMarrakesh 噪声模拟器上进行 1024 次 Shot 实验。MDER 的准确率从 73.51% 仅微降至 73.45%（±0.45 pp），展示了极佳的容错性。这归功于期望值测量（Expectation Value）对 Shot 噪声的平均化效应。

3.1 核心软件包架构

HQTN-SER 的实现基于 Python 生态系统，核心框架如下：

  • 量子计算模拟器: PennyLane。作者特别选用了 lightning.qubit 进行高性能模拟，并在噪声分析阶段调用了 qiskit.aer。
  • 音频特征处理: Librosa。用于提取 128 维的梅尔频谱并进行 DB 转换。
  • 降维工具: Scikit-learn (PCA)。
  • 深度学习后端: PyTorch。用于构建经典编码器、分类头以及处理整体优化循环。

3.2 关键代码逻辑实现（伪代码示意）

import pennylane as qml
from pennylane import numpy as np

dev = qml.device("lightning.qubit", wires=n_qubits)

@qml.qnode(dev, interface="torch")
def mps_quantum_circuit(inputs, weights):
    # 1. Angle Encoding
    for i in range(len(inputs)):
        qml.RY(inputs[i], wires=i)
    
    # 2. MPS Structured Layers (L layers)
    for layer in range(L):
        # Single qubit rotations
        for i in range(n_qubits):
            qml.RY(weights[layer, i, 0], wires=i)
            qml.RZ(weights[layer, i, 1], wires=i)
        # Nearest-neighbor entanglement (Sweep)
        for i in range(n_qubits - 1):
            qml.CNOT(wires=[i, i+1])
            
    # 3. Measurement
    return [qml.expval(qml.PauliZ(i)) for i in range(n_qubits)]

3.3 复现参数指南（Hyperparameters）

  • 量子学习率: $0.1$（使用 AdamW），量子参数对损失函数极其敏感，通常需要比经典参数更高的学习率。
  • 经典学习率: $10^{-3}$。
  • Batch Size: 16 (RAVDESS), 8 (SAVEE/MDER)。
  • 早停策略 (Early Stopping): 基于验证集准确率，耐心值通常设为 10-15 epoch。
  • PCA 维数: 32。
  • Seed: 42（确保结果可重复）。

3.4 开源资源链接

虽然论文 arXiv 页面未直接列出 GitHub，但根据其采用的 PennyLane 与 NUST/NYUAD 的合作背景，读者可参考类似结构的项目：

4. 关键引用文献，以及对这项工作局限性的评论

4.1 关键引用文献

  • [21] Kardashin et al. (2021): 奠定了张量网络量子态在 QML 中的理论基础，阐述了 MPS 减少参数增长的机制。
  • [31] Soltani et al. (2025): 早期探索量子回声状态网络（Quantum ESN）在语音任务中的应用。
  • [32] Mittal et al. (2025): 提出了混合量子 SER 的初步框架，但主要基于通用电路拓扑，而非结构化张量网络。
  • [18] Larocca et al. (2025): 深入讨论了变分量子电路中的贫瘠高原问题，为 HQTN-SER 选择 MPS 结构提供了避坑指南。

4.2 本工作局限性分析

  1. 量子优势的模糊性：虽然模型参数极其精简（约 3k-28k），但其绝对准确率（如 MDER 73%）尚未超越顶级的经典 Transformer（如 Wav2Vec 2.0 基础上的微调模型）。目前的优势主要体现在“资源受限”场景，而非“性能统治”。
  2. Qubit 扩展性瓶颈：实验仅测试了 3-4 个比特。当比特数增加到 20+ 时，MPS 扫掠产生的深度增加可能会引入显著的相干性损失（Decoherence）。
  3. 特征映射的简单性：PCA 是一种线性降维，可能丢弃了一些非线性的高阶语音特征。未来的研究应探讨如何将 VAE（变分自编码器）与量子张量网络结合。

5. 补充内容：从量子化学视角看 HQTN-SER 的启示

对于量子化学科研工作者来说，这项工作具有特殊的跨学科价值：

5.1 从多体波函数到声学表示

在量子化学中，MPS 是处理一维分子链或某些晶体结构的有力工具。HQTN-SER 将语音信号的时间序列视为一种“伪一维格点系统”。这种类比暗示，如果我们能将分子轨道的能级分布映射为频谱特征，那么用于分子模拟的 MPS 电路同样可以用于分子性质预测的 QML 任务。这为 “分子情感识别”（即通过光谱识别分子响应）提供了方法论迁移的可能性。

5.2 纠缠熵作为特征重要性的度量

MPS 结构的一个副产品是我们可以监控电路运行时的纠缠熵（Entanglement Entropy）。在 HQTN-SER 中，如果某些情感类别对应的电路产生了极高的纠缠，这可能意味着该情感的声学特征之间存在极强的跨频带耦合。通过量子信息论指标来分析音频情感，是一个尚未被充分挖掘的蓝海方向。

5.3 硬件感知的价值

论文中对 FakeMarrakesh 的测试表明，受限的纠缠拓扑（Local connectivity）对噪声有天然的免疫力，因为错误不会像全连接电路那样迅速在整个系统中扩散。这对于在实验室自建的小规模超导量子计算平台上部署实时 SER 系统具有极高的指导意义。

结论

HQTN-SER 不仅仅是一个语音识别模型，它是一次关于“如何在有限资源下最大化非线性建模能力”的量子工程实践。它告诉我们，比起盲目追求量子比特的数量，精心设计的电路拓扑（Inductive Bias）才是通往实用量子优势的关键钥匙。