RTL-Interact：让大模型学会与EDA工具交互设计芯片

大语言模型正在渗透芯片设计领域，但要让模型真正产出可用的RTL代码，仅靠一次生成远远不够——设计者需要借助EDA工具反复检查、定位问题并修改。现有RTL专用模型大多缺乏与EDA工具交互的学习能力，或者把生成与修复拆成两个独立模块，导致流程割裂、效率低下。RTL-Interact的提出，正是为了训练一个能自主完成"生成—检查—修订"闭环的单一模型。

从生成到闭环：RTL-Interact的核心思路

RTL-Interact是一个多任务后训练框架，目标是让单个RTL专用模型同时掌握三项能力：生成RTL实现、构造与任务匹配的EDA检查、依据工具反馈修订代码。

这一设计的关键在于把"交互"本身当作可学习的技能，而不是在推理阶段临时拼接外部脚本。框架通过自动构建的多任务演示数据，配合从思维链到工具集成推理的分阶段监督，让模型逐步学会何时调用检查、如何解读反馈、以及怎样针对性修改。

相比依赖独立生成器和修复器的方案，单一模型完成全流程可以减少模块间信息传递的损耗，也让模型在训练中直接感知EDA反馈对最终正确性的影响。

RTL（Register Transfer Level） 是数字芯片设计中的抽象层级，描述寄存器之间的数据传输与组合逻辑，通常用Verilog、SystemVerilog或VHDL等硬件描述语言书写。与软件代码不同，RTL代码的语法正确并不代表功能正确：同一个模块可能编译通过却在时序、复位或边界条件上出错。因此RTL设计必须借助EDA（电子设计自动化）工具进行验证，典型环节包括仿真（如VCS、ModelSim检查功能行为）、综合（如Design Compiler判断可综合性）以及形式验证等。这些工具会返回错误信息、警告和日志，设计者据此定位并修改代码。理解RTL与EDA工具之间的这种"编写—验证—修正"循环，是把握RTL-Interact为何强调闭环交互的前提。

PAPO：为多任务强化学习设计的奖励机制

在监督学习之后，研究团队引入了Pattern-Aware Policy Optimization（PAPO）进行多任务强化学习。PAPO在Group Relative Policy Optimization的基础上做了两点改造。

一是加入正确性门控奖励：只有检查成功且过程简洁才获得奖励，同时有效修订也会被正向激励。这意味着模型不能靠堆砌大量工具调用"碰运气"，而要在保证正确性的前提下控制检查成本。

二是采用任务分组来保持各目标的覆盖度，避免模型在强化学习中偏向某一类任务而荒废其他能力。多任务场景下，这种分组机制对维持综合表现尤为重要。

GRPO（Group Relative Policy Optimization） 是一种无需独立价值网络的强化学习算法：对同一提示采样一组（group）回答，以组内奖励的相对高低作为优势估计，从而省去critic模型、降低训练开销。PAPO沿用了这一组内比较的框架，但针对RTL多任务场景改造了奖励设计——用"正确性门控"过滤掉检查未通过或过程冗余的样本，并用任务分组保证生成、检查构造、修订等不同任务在采样批次中都有覆盖，避免策略退化到单一任务上。

基准测试表现：超越教师模型

据论文数据，在CVDP基准上，RTL-Interact-32B取得48.7%的加权Pass@1和68.9%的Pass@5，超过了其教师模型DeepSeek^广告-V3.2；RTL-Interact-8B也达到44.9%的加权Pass@1。

更值得关注的是效率层面的结果：PAPO能够在提升Pass@1的同时，将平均工具调用次数减少63.8%。这直接回应了RTL交互中的一个现实痛点——EDA工具调用往往耗时且昂贵，减少无效检查对实际设计流程意义明显。

两个模型在VerilogEval v2和RTLLM v2上也优于所有RTL专用基线，说明该方法的收益不局限于单一基准。

Pass@k 是代码生成领域的常用评测指标，指对同一问题采样k个候选解、只要其中至少一个通过全部测试即算成功，通常报告无偏估计值。加权Pass@1 则在Pass@1基础上按题目难度或类别加权，避免简单题主导整体分数。CVDP（Comprehensive Verilog Design Problems）是面向RTL生成的基准，题目覆盖从模块实现到调试修复等多种任务；VerilogEval v2与RTLLM v2同样是RTL代码生成的主流评测集，侧重不同难度与题型。把这些基准结合起来看，才能判断方法收益是否具有普遍性而非仅适配单一数据集。

为什么这一方向值得关注

芯片设计对正确性的要求极高，RTL代码的语法通过并不等于功能正确，真正的验证依赖仿真、综合等EDA环节。让模型学会"用工具验证自己"，比单纯扩大代码生成规模更接近工程现实。

RTL-Interact的价值在于把工具反馈纳入训练目标，并用强化学习显式优化"检查成本"与"修订效果"的平衡。这种思路对其他需要外部工具验证的代码生成场景也有参考意义——模型不只是写代码，还要学会验证和纠错。

当然，多任务强化学习的稳定性、跨工具链的泛化能力，仍是这类方法走向实用需要持续观察的问题。