LEMMO：借力预训练LLM，实现百万级电磁信号理解

电磁信号理解的新挑战

大语言模型已经成功扩展到视觉、音频等模态，但对原始电磁（EM）信号的深度理解仍是一个难题。宽带记录往往包含数百万个采样点，而现有的基于波形的电磁模型主要在短时IQ（同相/正交）片段上评估，对长录音的理解和详细描述能力严重不足。

针对这一空白，研究者提出了 LEMMO——一个面向指令驱动识别与描述的大型电磁模型，专门处理长原始IQ录音。

IQ 信号是电磁信号处理中最基础的表示形式：同相分量（I）与正交分量（Q）构成一对复数采样，可同时刻画信号的幅度与相位信息。相比只保留幅度的包络检波，IQ 表示完整保留了射频前端的原始信息，因此成为软件无线电和频谱监测的标准数据格式。一段宽带 IQ 录音的采样率可达数十兆样点每秒，几秒钟的记录就会产生上百万个复数采样点，这正是文中强调“长录音理解”困难的根源——序列长度远超常规 Transformer 的处理能力。

LEMMO 的核心架构设计

LEMMO 的关键创新在于将预训练语言模型与电磁信号处理深度结合。其架构包含两个核心组件：

• 线性注意力电磁编码器 + 抗混叠时间重采样：使模型能够处理多达八百万个复数采样点，突破了传统模型在序列长度上的限制。
• 电磁-文本交互模块：在检索信号证据之前，用指令对可学习查询进行条件化。紧凑查询用于识别任务，而带辅助事实监督的结构化查询则用于组织场景级属性、信号属性和跨信号关系，从而支持详细描述。

这种设计让模型既能做快速识别，也能生成结构化的长描述，而不是简单地输出标签。

线性注意力是一种将标准自注意力的计算复杂度从随序列长度平方增长（O(n²)）降为线性增长（O(n)）的机制，常见做法是用核函数近似 softmax 注意力，或通过状态递推改写注意力计算，使其可像 RNN 一样逐点累积。这使得模型能够处理百万级长度的序列而不至于显存爆炸。抗混叠时间重采样则针对长序列下采样：直接抽取样点会产生频谱混叠、丢失高频信息，而先用低通滤波再重采样可保留信号结构，从而在压缩序列长度的同时维持电磁特征的可辨识度。两者结合是 LEMMO 能够吞下八百万样点的关键。

数据基础：1.38TB 统一语料库

为了让模型具备泛化能力，研究团队构建并开源了一个统一的电磁信号语料库，规模达 1.38TB，涵盖真实世界与合成信号。该语料库包含两个子集：LEMMO-ShortQA（短问答）和 LEMMO-LongDesc（长描述）。

数据集已在 HuggingFace 上发布（DaftJun/RFLAS），代码则托管在 GitHub（N1rv4n4/LEMMO），为后续研究提供了可复现的基础。

MERLIN-LoRA 是文中反复作为对照的基线模型，代表了此前基于波形或短时 IQ 片段训练、并通过 LoRA 微调适配下游任务的一类电磁模型。LoRA（低秩适配）通过在预训练权重旁注入低秩分解矩阵实现参数高效微调，是当前将通用大模型迁移到专用领域的常用手段。理解这一基线有助于判断 LEMMO 的提升幅度：其对比并非与零起点模型相比，而是与已经过领域适配的模型相比，因此 15% 量级的准确率提升在领域内属于比较显著的增益。

性能表现：全面超越基线

与 MERLIN-LoRA 相比，LEMMO 在多个维度上取得显著提升：

• EM-Bench 平均感知准确率提升 15.77%
• 策略生成 ROUGE-L F1 平均提升 4.38 点
• LEMMO-ShortQA 平均准确率提升 14.31%
• 在 LEMMO-LongDesc 的两项任务上，分类和数值事实 F1 均有改善

更关键的是，LEMMO 在提升电磁信号理解能力的同时，保留了语言骨干的 MMLU 性能，说明模型没有为了新模态而牺牲原有的语言能力。

MMLU（Massive Multitask Language Understanding）是评估大语言模型通用知识与推理能力的标准基准，覆盖 STEM、人文、法律等数十个学科的选择题。在多模态或领域扩展训练中，模型常出现“灾难性遗忘”——新模态能力提升的同时语言能力退化。文中特别报告 MMLU 性能得以保留，说明 LEMMO 的训练策略在注入电磁理解能力时没有破坏语言骨干的通用表征，这对维持指令跟随与描述生成的质量至关重要。

为什么值得关注

电磁信号广泛存在于无线通信、雷达、频谱监测等领域。传统方法依赖专家特征工程，而 LEMMO 展示了用预训练 LLM 处理百万级采样信号的可行性。它把“长录音理解”和“详细描述”从边缘问题推向了可评估、可复现的研究议程。

开源代码与 TB 级语料的组合，也降低了社区进入电磁信号多模态研究的门槛。

局限与展望

论文摘要未披露模型参数量、训练成本以及在不同信噪比条件下的鲁棒性细节。长录音理解的实际部署效率、对未知信号类型的泛化能力，仍是需要进一步验证的方向。