[控场AI]

#开源工具

共 12986 篇相关文章

ReWY重构DeltaNet反向传播:WY矩阵乘法减至3次,GPU/NPU加速1.8倍
·4 分钟

ReWY重构DeltaNet反向传播:WY矩阵乘法减至3次,GPU/NPU加速1.8倍

ReWY通过代数重构消除Delta-rule线性注意力反向传播中的冗余计算,将WY矩阵乘法从7次减至3次,在NVIDIA GPU与昇腾NPU上实现最高1.81倍反向传播加速,适用于DeltaNet、GDN、KDA和GDN2。

阅读全文 →
OC-OPD:用四观测矩阵协调前向与反向KL蒸馏
·4 分钟

OC-OPD:用四观测矩阵协调前向与反向KL蒸馏

OC-OPD提出四观测矩阵协调on-policy蒸馏中的前向与反向KL散度,通过精确恒等式统一两种监督信号的梯度方向,在数学推理、科学问答和代码生成任务上验证有效性。

阅读全文 →
恶搞脚本Ram Altman:每天给Sam Altman发邮件报告闲置内存
科技前沿
·4 分钟

恶搞脚本Ram Altman:每天给Sam Altman发邮件报告闲置内存

Reddit 热传的 Linux 脚本 "Ram Altman" 每天自动给 OpenAI CEO Sam Altman 发邮件,报告电脑闲置内存。本文解析其技术实现、社区恶搞文化及背后的 AI 算力焦虑。

阅读全文 →
Claude Code v2.1.317 更新解读:权限安全与企业级成本管控升级
·7 分钟

Claude Code v2.1.317 更新解读:权限安全与企业级成本管控升级

Claude Code v2.1.317 更新解读:新增邮箱外发确认、Agent SDK onFailure block 钩子、网关成本报表 API 与 OTel 新维度,并修复 MCP 掉线、claude -p 退出码等关键问题。

阅读全文 →
LLM驱动日志语义调优:MIP求解器配置新范式
·5 分钟

LLM驱动日志语义调优:MIP求解器配置新范式

LDST利用LLM分析求解器日志,语义化调优MIP求解器配置,在215个实例上损失降低43.9%,10次提议超越基线50次效果。

阅读全文 →
Adam优化器状态压缩新法:共享梯度界守护更新精度
·5 分钟

Adam优化器状态压缩新法:共享梯度界守护更新精度

本文介绍一种新的Adam优化器状态压缩方法:通过共享梯度界守护矩压缩,确保解码后的矩能复现FP32更新。实验显示在OPT-125M和ResNet-18上矩负载减少约70%,且首次更新保持在容差内。

阅读全文 →
TVP损失函数:投机解码中TV距离的潜力与改进
·3 分钟

TVP损失函数:投机解码中TV距离的潜力与改进

TVP损失函数基于全变差距离改进投机解码草稿训练,通过幂参数退火在多种架构上提升接受长度,微调时相比CE提升9.8%。

阅读全文 →
数据集不匹配?L2RR如何优化GRPO的rollout效率
·4 分钟

数据集不匹配?L2RR如何优化GRPO的rollout效率

GRPO面临rollout效率与性能的权衡,现有选择性rollout方法忽略源与目标数据集不匹配问题。L2RR通过目标侧聚合反馈学习重加权采样分布,在六个数学推理基准和三种模型规模上提升目标域性能与rollout效率,为隐私约束下的RLVR提供可行方案。

阅读全文 →
560M塔吉克语嵌入模型微调:Saidzoda-Tajik-E5-Large检索效果显著
·3 分钟

560M塔吉克语嵌入模型微调:Saidzoda-Tajik-E5-Large检索效果显著

Saidzoda-Tajik-E5-Large 是一个基于 multilingual-e5-large-instruct 微调的 560M 塔吉克语嵌入模型,在法律和税务检索任务上 top-10 准确率大幅提升,并与五倍大小的 Giga-Embeddings-3B 表现相当。

阅读全文 →
Skill++:路由感知技能精炼,破解终身智能体路由干扰
·5 分钟

Skill++:路由感知技能精炼,破解终身智能体路由干扰

Skill++ 提出路由感知技能精炼方法,通过重写新技能的名称与描述,解决终身智能体中的路由干扰问题。在731个技能库上,路由成功率从36.4%提升至76.3%,且无需训练路由器或标注数据,可迁移至Codex CLI。

阅读全文 →
Zyphra推出ZHA:让冻结LLM实现亚二次注意力的新路径
·4 分钟

Zyphra推出ZHA:让冻结LLM实现亚二次注意力的新路径

Zyphra AI 提出 Zyphra Hierarchical Attention(ZHA),一种树索引稀疏注意力方法,通过 4B tokens 蒸馏改造冻结 LLM,在推理和 256K 检索基准上匹配稠密注意力,探索亚二次注意力的实用路径。

阅读全文 →
GSLM2:多流语音表征学习缩小语音与文本模型差距
·4 分钟

GSLM2:多流语音表征学习缩小语音与文本模型差距

GSLM2 通过多流语音表征学习和 SpidR 2.0 编码器,在高达 600 万小时数据和 65 亿参数规模下,将语音与文本模型在 sWuggy、sBLIMP、tSC 任务上的差距缩小约两个数量级,并开源代码与模型。

阅读全文 →
ArSciKids:面向阿拉伯语小学科学教育的课程对齐数据集
·5 分钟

ArSciKids:面向阿拉伯语小学科学教育的课程对齐数据集

ArSciKids是面向阿拉伯语小学科学教育的课程对齐数据集,包含999条科学实验记录和2167道多项选择题,覆盖1-6年级,支持教育内容生成研究。

阅读全文 →
INP-Former复现:原型机制在工业异常检测中的真实效力
·5 分钟

INP-Former复现:原型机制在工业异常检测中的真实效力

复现INP-Former工业异常检测方法:验证INP机制为主要性能来源,但默认六原型设置在MVTec AD 2上失效,单原型反而更优。分析跨数据集泛化差距与实践权衡。

阅读全文 →
LLM小说人名扎堆“Elara”“Elias”:投机命名法降重复95%
·4 分钟

LLM小说人名扎堆“Elara”“Elias”:投机命名法降重复95%

论文实测八种提示策略对LLM小说人名集中的影响,提出免微调的投机命名法,将Slop Ratio降低95%、碰撞概率从7.3%降至0.4%,且自然度接近基线。

阅读全文 →
LoRAForge:压缩与执行协同,让多LoRA服务更高效
·5 分钟

LoRAForge:压缩与执行协同,让多LoRA服务更高效

LoRAForge通过协同设计后置压缩与执行,解决多LoRA服务中压缩后速度不升反降的难题。FlashTSQR加速因子构造,谱能量策略仅保留7.7%参数,吞吐提升1.17-1.22倍。

阅读全文 →
贝叶斯智能体蒸馏进8B模型:主动提问能力大幅提升
·4 分钟

贝叶斯智能体蒸馏进8B模型:主动提问能力大幅提升

研究将变分贝叶斯智能体的信息搜寻能力蒸馏进8B语言模型,在多轮谜题任务上显著提升主动提问与决策性能,Circuit Decoding成功率从0.00升至0.93,并揭示EIG监督优于随机查询、70B教师不及贝叶斯教师等关键发现。

阅读全文 →
无需广义动量数据:Hamiltonian网络的新突破
·4 分钟

无需广义动量数据:Hamiltonian网络的新突破

HNN依赖广义动量数据限制了实际应用。一项新研究提出扩展架构,在动量解析形式未知时,仅用状态及其导数数据联合学习广义动量、Hamiltonian结构和动力学,并在耗散质量-弹簧、双摆、滚动圆盘三个系统上验证。

阅读全文 →