域随机化
强化学习和机器人领域的训练技术，通过在仿真环境中随机化物理参数、视觉外观等变量，增强策略的鲁棒性，从而改善仿真到真实环境的迁移效果
核心事实
时间轴 (近 90 天)
缓解仿真到现实迁移的常见手段包括域随机化、系统辨识与真实数据微调。
合成数据生成通过域随机化或域适应缩小仿真与现实的差距，从而缓解真机采集成本高、危险动作难采集的问题。
实现零样本迁移的关键在于缩小仿真到现实的差距，通常依赖域随机化和系统辨识。
常见的改进手段包括课程学习（逐步增加任务难度）和域随机化（随机化物理参数以提升策略鲁棒性）。
域随机化只能覆盖设计者预想到的扰动类型，真实环境中的扶手松动、地面湿滑、光照突变等长尾情况仍可能超出训练分布。
sim-to-real的常见应对手段包括：在训练中随机化物理参数（质量、摩擦系数、电机强度）、加入观测噪声与动作延迟、使用域随机化（domain randomization）扩大策略见到的环境分布，以及在部署时进行状态估计与动作平滑。
与域随机化互补的手段还包括系统辨识（先测量真实系统关键参数再校准仿真）以及教师—学生蒸馏（让在特权信息下训练的教师策略把知识迁移给仅依赖真实可观测输入的学生策略）。
作者采用了课程学习调度：初期仅使用关节位置初始化的惩罚项，随着训练迭代逐步扩大域随机化范围，并收紧奖励/惩罚阈值。
Cubic Doggo项目在训练中引入了水平方向随机推力，对3公斤的机器人施加高达5N的随机力，以模拟真实环境中的侧向冲击。
常见缓解Sim-to-Real鸿沟的手段有域随机化（Domain Randomization）、系统辨识和在线自适应。
还有 40 条时间轴事件
全部知识事实 (20)
域随机化最早由OpenAI在2017年的机械手研究中系统应用
75%已验证过度域随机化会引入与真实分布相差过大的不可能样本，稀释有效训练信号，随机化范围的设定需要大量领域专家经验
75%已验证域随机化技术在训练时随机扰动物理参数（如质量、摩擦系数、电机延迟等），迫使策略学会在各种条件下鲁棒运行
70%已验证sim-to-real gap 指仿真训练策略迁移到真实世界后性能往往大幅下降，领域随机化和系统辨识是常用缓解技术
70%已验证缩小Sim-to-Real Gap的四种主流方法为域随机化、系统辨识、在真实数据上微调和精细化执行器建模
70%已验证Sim-to-Real的关键挑战在于现实差距（Reality Gap），通常需要通过域随机化来增强策略的鲁棒性
70%已验证现有缓解sim-to-real gap的方法包括域随机化和系统辨识，但均未能从根本上消除这一鸿沟
70%已验证域随机化（Domain Randomization）通过训练时随机化仿真参数迫使策略学习对环境变化具有鲁棒性
65%已验证OpenAI在训练Dota 2智能体时使用了自动域随机化技术
65%已验证域随机化（Domain Randomization）技术通过在仿真中随机扰动物理参数（如地面摩擦系数、机器人质量分布、传感器延迟等）来迫使策略网络学习对变量鲁棒的通用控制策略，以弥合sim-to-real gap
65%已验证仿真世界与真实世界之间存在难以弥合的差距，即Reality Gap，源于电机响应延迟、关节摩擦力、传感器噪声、地面材质差异等细节偏差
65%已验证仿真到现实差距（Sim-to-Real Gap）的主流解决方案包括域随机化和系统识别
65%已验证域随机化是指在仿真训练中刻意随机扰动物理参数，迫使策略学习到对参数变化具有泛化能力的行为
65%已验证增强学习领域用'sim-to-real gap'描述在模拟环境训练的机器人策略因现实物理差异而在真实世界失效的现象
65%待验证sim-to-real的常见应对手段包括：在训练中随机化物理参数（质量、摩擦系数、电机强度）、加入观测噪声与动作延迟、使用域随机化（domain randomization）扩大策略见到的环境分布，以及在部署时进行状态估计与动作平滑。
60%待验证2023年伯克利团队研究展示了通过大规模领域随机化训练的双足机器人策略可以实现零样本迁移到真实硬件
60%待验证应对Reality Gap的两种主流方法是域随机化（Domain Randomization）和系统辨识（System Identification），实践中最有效的方案往往是两者结合
60%待验证域随机化技术最早由OpenAI在2017年的机器人抓取研究中系统提出，后在Rubik's Cube项目中得到验证
60%待验证缓解仿真到现实迁移的常见手段包括域随机化、系统辨识与真实数据微调。
50%待验证合成数据生成通过域随机化或域适应缩小仿真与现实的差距，从而缓解真机采集成本高、危险动作难采集的问题。
50%