#前沿研究
共 6824 篇相关文章
高效边感知注意力网络：图生成模型的显存优化新方案
图生成模型常受限于图专用Transformer的显存和效率瓶颈。本文介绍一种高效边感知注意力网络，通过头级分数调制和轻量残差机制，借助PyTorch FlexAttention实现，在保持生成质量的同时将峰值GPU显存降低约65%，并显著提升训练与采样吞吐量。
TS2Vec变身基础模型：1.6M参数冻结编码器接近SOTA
TS2Vec经过三项改造变身基础模型TS2Vec-FM：1.6M参数卷积网络冻结后线性探测，UCR-128达83.3%、UEA-27达75.3%，距SOTA仅0.3个百分点，无需注意力机制。
语义可观测性：多智能体框架如何革新根因分析
语义可观测性框架通过属性图数据库统一日志流，结合多智能体与LLM推理引擎，自动隔离故障爆炸半径并生成代码级根因分析，旨在降低MTTR并抑制模型幻觉。
AI辩论价值丰富但组织不同：新框架量化价值观表达与组织
新研究提出诊断性框架，基于Schwartz价值观理论量化AI生成辩论的价值表达与组织。发现AI辩论价值丰富但组织分散，呼吁评估兼顾价值组织维度。
自适应多Token预测：推理加速的投机视野如何动态调整？
本文解读自适应多Token预测（AMTP）如何将投机视野选择建模为在线控制问题，利用验证反馈动态调整草拟长度，在Llama、Qwen等模型上实现最高4.1倍解码加速，并给出理论保证与实验分析。
Industrial ReMEmbR：让机器人舰队共享时空记忆
NVIDIA Industrial ReMEmbR 将 ReMEmbR 扩展为机器人舰队共享时空记忆系统：Jetson 端用 Cosmos-Embed1、Cosmos3-Edge 与 Wan2.2 VAE 编码视频，不上传原始画面；按需生成场景描述，拆分视觉-语言模型降低服务器负载，并支持 PII 抽象。
MindView：多视图空间智能生成基准，11个模型均不及格
MindView基准包含1500个样本和七项任务，评测11个生成模型后发现多视图空间智能仍有较大提升空间，微调BAGEL可提升24.3分，MindCue方法能有效利用扩展上下文证据。
UniWALM：统一世界-动作-语言模型如何突破机器人控制瓶颈
UniWALM 提出统一世界-动作-语言模型，在单一 Transformer 骨干内同步生成视频、动作和语言，无需外部规划器。在 RMBench 记忆任务上达 34.5%，真实物品查找任务成功率从 11.1% 提升至 61.1%。
GBClaw：用AI智能体解锁晶界研究的深度机理发现
GBClaw是一个智能体AI框架，利用大语言模型和专用工具自动化一般晶界的原子尺度模拟与机理分析。在镍的14个晶界上，它揭示了缺陷结构对剪切强度的关键影响，展示了AI与领域知识结合的研究潜力。
英伟达新研究：视频与3D动作联合生成，任意骨架都能动
英伟达PAR实验室提出JCA模型，联合生成视频与3D运动，支持任意骨架并输出相机参数完成场景配准，用近20万训练对实现视频与骨架动作双向转换。
非对称循环Transformer：固定全局表示，迭代解码新范式
非对称循环Transformer（AsymLoop）将单遍上下文编码与循环状态细化分离，固定全局KV缓存，在1B规模下常识推理平均准确率从49.58%提升至50.85%，为循环语言模型提供新设计范式。
潜推理探针为何失效？最小对揭示「存在却难读」的真相
一项针对Ouro-1.4B与Qwen2.5-1.5B的探针研究发现：问题中的数字在模型内部确实存在（读出率约0.9），但常规探针仅能读出0.19-0.36。最小对实验揭示「存在却难读」与「可读却未用」的双重困境，并提出合成零假设协议区分计算值与输入痕迹。
BitMTP：多Token预测与低比特LLM的协同加速
BitMTP提出算法-系统协同设计框架，将多Token预测与超低比特LLM骨干结合，解决掩码起草缺上下文与KV更新开销问题，在H20、RTX 3090、Jetson Orin上实现最高3.3倍加速。
OptionWorld：诊断LLM长期助手失败的新基准
OptionWorld基准通过模拟日常任务诊断LLM作为长期个人助手的失败模式，揭示信息整合、行动跟进和假设限制三大短板，并提供干预实验证据。
Binary Discrete Diffusion：用候选集扩散破解逻辑与规划任务
Binary Discrete Diffusion 提出用二进制候选集表示离散扩散的噪声状态，通过渐进添加与移除候选 token 表达部分不确定性，在数独、推箱子、图着色等逻辑与规划任务上显著优于掩码扩散和均匀扩散基线，语言建模保持竞争力。
Lafa：8B参数连续流语言模型，吞吐量超AR模型2.54倍
Lafa是一个扩展至8B参数的连续流语言模型，采用块式流架构与异步生成，训练数据效率高，可通过自推测解码实现2.54倍于自回归模型的吞吐量，在指令遵循、推理和编码任务上质量匹配甚至超越AR模型。
缓存工程：突破LLM智能体长任务瓶颈
LLM智能体长轨迹导致KV缓存成本飙升，缓存工程提出drop和repos操作直接控制活跃缓存，避免重新预填充。AKV引擎实现吞吐量提升1.2倍、延迟降低1.5倍，成本降低27.7%。
R2S：修复评分器近视，智能体蒸馏性能提升12.8%
本文解读R2S方法：针对智能体在线策略蒸馏中教师逐词评分的近视问题，通过无奖励修复评分器，在12个测试单元中平均提升12.8%成功率，为智能体训练提供新思路。
