RL

总览回放 / Overview replay 📖 本文为精简版（~3 分钟）。想深入完整工程细节（设计决策、算法 / reward、诊断、复现命令），请移步 技术详解版 → UniLab 与联合发布 UniLab 是面向机器人强化学习的异构训练基础设施： CPU 侧并行物理仿真（MuJoCo / Motrix）与 GPU 侧策略学习通过统一 runtime 与共享内存 衔接，而不是把物理、rollout 采集与学习全部绑死在 GPU 仿真路径上。任务、奖励与后端切换由 Hydra owner YAML 表达；训练入口统一为 uv run train / uv run eval，覆盖 PPO、SAC、TD3、 APPO 等算法。 我们同期联合发布了系统论文 UniLab: A Heterogeneous Architecture for Robot RL Beyond GPU-Dominant Paradigms （arXiv:2605.30313）。论文的核心观点是：高效训练的关键 不在于「物理必须在 GPU 上跑」，而在于仿真吞吐、策略更新与运行时同步能否形成高效的端到端 闭环——GPU 仿真是有效路径，但不是唯一路径。在代表性机器人控制任务上，UniLab 在相同硬件 配置下将端到端训练效率提升 3–10×，同时减少对 NVIDIA CUDA 软件栈的依赖，并原生支持 AMD ROCm、Intel XPU 与 Apple macOS。 ...