元学习
训练模型具备快速适应新任务或新分布的能力,而非直接存储所有知识,代表性方法包括MAML等,是持续学习的重要研究方向
核心事实
时间轴 (近 90 天)
Level 2的递归本质是元学习,即学习如何构建合适外骨骼的元知识,相当于外循环。
未来的工作可能需要探索更抽象的靶标表示,或者结合元学习策略,让智能体学会如何从经验中提取可迁移的知识。
Reactive Optimizers 的独特之处在于将优化器算法本身作为搜索空间,这更接近程序合成与机器学习交叉的领域
在元损失中加入锚点任务项,锚点权重λ取0.1到0.3的小值就能获得大部分稳定性收益,同时不牺牲适应速度。
部署的浮标架构中,元学习核心是参数量低于5万的小型时序CNN,带元训练初始化和学习到的逐层学习率向量。
Physical RSI要求机器人不仅提升任务能力,还要改进'改进能力的元过程',且该元学习策略能跨任务迁移。
将记忆写入权重的技术路径主要探索方向包括持续微调、元学习以及参数高效微调方法如LoRA
元学习路线的零样本能力本质上受限于训练时系统分布的覆盖范围,而结构先验路线在先验假设成立的系统类别上具有更强的外推性
零样本学习的实现通常依赖元学习和基于结构先验的泛化两种路径
算法自发现是元学习的一个分支,让优化算法本身成为被学习的对象,通过与环境交互自动搜索生成更新规则
还有 1 条时间轴事件
全部知识事实 (14)
MAML(Model-Agnostic Meta-Learning)试图学习一个能被少量样本快速微调的初始化参数空间
80%已验证MAML的核心创新在于寻找一个对梯度更新高度敏感的初始化参数点,使模型只需少量梯度步骤就能适应新任务
70%已验证面对高速迭代的模型能力,建立持续学习机制比一次性部署更具战略价值
65%待验证Level 2的递归本质是元学习,即学习如何构建合适外骨骼的元知识,相当于外循环。
50%待验证Reactive Optimizers 的独特之处在于将优化器算法本身作为搜索空间,这更接近程序合成与机器学习交叉的领域
50%待验证部署的浮标架构中,元学习核心是参数量低于5万的小型时序CNN,带元训练初始化和学习到的逐层学习率向量。
50%待验证在元损失中加入锚点任务项,锚点权重λ取0.1到0.3的小值就能获得大部分稳定性收益,同时不牺牲适应速度。
50%待验证Physical RSI要求机器人不仅提升任务能力,还要改进'改进能力的元过程',且该元学习策略能跨任务迁移。
50%待验证将记忆写入权重的技术路径主要探索方向包括持续微调、元学习以及参数高效微调方法如LoRA
50%待验证元学习路线的零样本能力本质上受限于训练时系统分布的覆盖范围,而结构先验路线在先验假设成立的系统类别上具有更强的外推性
50%待验证零样本学习的实现通常依赖元学习和基于结构先验的泛化两种路径
50%待验证算法自发现是元学习的一个分支,让优化算法本身成为被学习的对象,通过与环境交互自动搜索生成更新规则
50%待验证域泛化要求模型在完全未见过目标域数据的情况下实现泛化,常用方法包括元学习、基于因果推理的不变特征学习、多源域数据增强
50%待验证未来的工作可能需要探索更抽象的靶标表示,或者结合元学习策略,让智能体学会如何从经验中提取可迁移的知识。
50%