#样本效率
共 43 篇相关文章
·15 分钟
预训练第三维度：6.2倍样本效率与250倍推理加速新范式解读
哈佛与UIUC团队提出预训练第三条轴线，声称实现6.2倍样本效率提升与250倍生成式AI推理加速。本文深度解析这一新范式的技术内涵、潜在意义及需要审慎对待的关键问题。
阅读全文 →
·15 分钟
从零实现GRPO：PyTorch手写强化学习算法详解
详解如何用纯PyTorch从零实现GRPO（群组相对策略优化）算法，涵盖群组采样、优势归一化、概率比裁剪、KL约束等核心步骤，可在消费级GPU上运行，适合深入理解大模型后训练强化学习机制。
阅读全文 →
·15 分钟
梯度下降训练的普适性：神经网络架构选择真的重要吗
探讨梯度下降训练的普适逼近能力，分析神经网络架构选择与可学习性的关系。从普适逼近定理到神经正切核理论，解读为什么梯度下降能在不同架构下稳定收敛，以及这对深度学习架构设计的启示。
阅读全文 →
·12 分钟
强化学习如何制造AI的"分裂人格"？RLHF对齐的深层缺陷
研究者指出强化学习(RLHF)会让AI产生"分裂人格"：模型在常见场景中表现完美，却在边缘场景中严重失控。本文深入分析这一对齐缺陷的成因、风险及应对路径。
阅读全文 →
·18 分钟
ROS成立Physical AI特别兴趣小组，开源机器人生态拥抱具身智能
开源机器人联盟OSRA正式成立Physical AI SIG，推动ROS生态系统整合物理AI能力。本文解析Physical AI特别兴趣小组的目标、路线图及其对机器人开发者的深远影响。
阅读全文 →
·15 分钟
CARLA强化学习避障：DQN、PPO与SAC算法选择指南
深入分析CARLA仿真器中强化学习避障的算法选择问题，对比DQN、PPO与SAC在动态避障任务中的适用场景，涵盖奖励设计策略、仿真环境优化及实践建议，为自动驾驶RL研究者提供系统参考。
阅读全文 →
·14 分钟
球面傅里叶变换：如何构建3D旋转等变AI模型
深入解析球面傅里叶变换与球谐函数如何构建3D旋转等变AI。从Spherical CNN架构原理到全景影像、气象预测、蛋白质结构预测等应用场景，探索几何深度学习的前沿方向。
阅读全文 →
·11 分钟
Isaac Lab实战：6/7自由度机械臂强化学习完整工作流
基于NVIDIA Isaac Lab仿真平台，使用PPO算法对6自由度PiPER和7自由度NERO机械臂进行强化学习训练。涵盖64并行环境配置、末端到达与方块操作任务设计，以及Sim-to-Real部署规划的完整实践指南。
阅读全文 →
·16 分钟
机械手抓取任务失败？强化学习新手常见陷阱与解决方案
深入剖析强化学习机械手抓取任务失败的常见原因，包括行为克隆数据质量问题、奖励函数冲突、算法选择不当等典型陷阱，提供系统性排查思路和改进建议。
阅读全文 →
·10 分钟
ManipulaPy v1.4：支持NumPy/CuPy/PyTorch/JAX四后端的可微机器人库
ManipulaPy v1.4是一款开源可微机器人运动学与动力学库，支持NumPy、CuPy、PyTorch、JAX四种后端无缝切换，内置25+主流机械臂模型，提供自动微分安全的梯度计算能力，适用于机器人学习、轨迹优化与可微控制研究。
阅读全文 →
·17 分钟
从Q-learning到PPO：用超级马里奥实战强化学习
系统梳理强化学习从Q-learning到PPO算法的完整演进路径，以超级马里奥为实战案例，涵盖价值方法、策略梯度与近端策略优化原理，附开源代码与人机对战交互体验。
阅读全文 →
·13 分钟
虚拟篮球场AI训练指南：3D生成、物理仿真与生成式AI路径详解
详解虚拟篮球场AI模型训练的三大技术路径：3D场景生成（NeRF/高斯泼溅）、Unity/Unreal交互仿真环境搭建、数据驱动的生成式AI微调方法，附初学者实操建议。
阅读全文 →
·9 分钟
蒙特祖玛复仇强化学习现状：从探索难题到通用智能
深入分析蒙特祖玛复仇在强化学习领域的研究现状，回顾Go-Explore、RND等关键突破，解读当前研究重心从攻克难题转向样本效率与通用智能体的趋势。
阅读全文 →
·9 分钟
预训练与RL的Scaling Law：国际象棋实验揭示后训练算力分配规律
通过国际象棋实验系统研究预训练、SFT与强化学习三阶段的算力分配规律，揭示预训练算力决定下游天花板、RL主要提升pass@1可靠性而非探索广度等核心发现，为大模型后训练策略提供量化参考。
阅读全文 →
·14 分钟
强化学习应届生就业指南：RL是死胡同还是窄门机遇？
深度分析强化学习(RL)应届生就业现状，解读企业真实需求，对比研究岗与工程岗路径，提供RLHF、LLM对齐等方向的实用求职建议，帮助应届生找到RL领域的突破口。
阅读全文 →
·14 分钟
强化学习能打通无伤Boss战吗？PPO算法实战分析
深入分析用强化学习训练AI完成空洞骑士、洛克人等高难度游戏无伤Boss战的可行性，涵盖PPO算法选择、训练成本预估及实践路线图，帮助开发者快速上手RL游戏AI项目。
阅读全文 →
·13 分钟
Transformer如何思考与存储事实：机制可解释性详解
深入解析Transformer内部工作原理：MLP层如何作为键值查找系统存储事实记忆，高维空间近似正交特性为何能容纳百万概念，以及注意力层与MLP层的协作机制。基于机制可解释性研究的直观解读。
阅读全文 →
·18 分钟
斯坦福CS224r vs 伯克利CS285：深度强化学习课程怎么选
详细对比斯坦福CS224r与伯克利CS285两门深度强化学习课程的定位、难度与内容差异，分析各自优劣势，并提供混合学习的最佳路径建议，帮你高效规划深度RL自学路线。
阅读全文 →
