Paper Notes
首页 标签 列表

长上下文

  • L²M:长上下文语言模型的互信息缩放法则——从信息论到大模型架构的深度解析

    2026-03-17

    本文深度解析 L²M 论文,揭示了自然语言中二分互信息的幂律缩放规律,并推导出模型状态容量与上下文长度的理论约束条件。

    • #大语言模型
    • #信息论
    • #长上下文
    • #缩放法则
    • #机器学习理论
    • #状态空间模型

© 2026 Paper Notes.