闭环打通：SO-101 SimStudio Lab 01 抓取放置（ROCm）

Sat, 15 Aug 2026 00:00:00 +0000

📖 本文为精简版（~3 分钟）。想深入完整工程细节（设计决策、算法 / reward、诊断、复现命令），请移步 技术详解版 →

从「能录」到「能训、能评」

第一篇把 SO-101、MuJoCo 与 LeRobot 接到 AMD ROCm 上，解决的是：在仿真里遥操作并采专家轨迹。

v0.1.3（tag release-v0.1.3）把链路再往前推一步——Lab 01 抓取放置：仿真示范 → ACT / SmolVLA 训练 → MuJoCo 闭环评估，并给出可下载的 Hub 参考资产。

示范可以用 键盘 / Joy-Con / Leader 任一遥操作（同一套 LeRobot v3.0 录制管线）。Lab 01 公开参考数据用 Leader 采集；你本地完全可以用键盘或 Joy-Con 走同一套 lab 脚本。

模仿学习在做什么

模仿学习（Imitation Learning / 行为克隆）的目标不是手写抓取规则，而是让策略从专家示范里学会「看见什么 → 做什么」。人（或遥操作者）完成若干次成功抓取放置；策略在观测（关节角、相机画面等）上拟合专家动作，再在仿真里闭环 rollout，用成功率检验是否真的学会了任务。

和强化学习不同：这里不依赖奖励函数，数据质量与覆盖面直接决定上限。Lab 01 把这条工业界常用的入门路径拆成三步：

阶段	作用
1. 数据抓取	遥操作采专家轨迹 → LeRobot v3.0 数据集（状态 + 图像 + 动作）
2. Policy 训练	行为克隆：最小化预测动作与示范动作的差距（ACT / SmolVLA）
3. Eval	策略接管机械臂，在 MuJoCo 里闭环跑任务，统计成功/失败

teleop demos → dataset → train (BC) → closed-loop eval

Lab 01 一条线

阶段	做什么
录制	`labs/lab01_pnp/record.cmd`（或换你的 teleop 配置）
训练	`train.cmd`（SmolVLA）/ `train_act.cmd`（ACT）
评估	统一 `eval.cmd` + lab 内 YAML（全范围 / demo / 固定位姿）
Hub	数据集 + ACT / SmolVLA 参考权重（可改成自己的 HF 账号）

旋钮集中在 _env.sh，用 LAB01_* 覆盖；详细约定见仓库 labs/README.md。

SO-101 SimStudio：在 AMD ROCm 上打开机器人物理 AI 之门

Thu, 16 Jul 2026 00:00:00 +0000

SO-101 SimStudio 项目介绍 / Project intro

📖 本文为精简版（~3 分钟）。想深入完整工程细节（设计决策、算法 / reward、诊断、复现命令），请移步 技术详解版 →

为什么做这个项目

我和很多朋友一样，是从 SO-101 和 LeRobot 开始物理 AI 和机器人之旅的——这是一套非常好的入门路径：开源硬件、社区活跃、数据集格式清晰，让你很快能「动起来」。

同时我也是 AMD ROCm 开发者。仿真对机器人物理 AI 开发同样关键：在真机昂贵、试错成本高的阶段，MuJoCo 这样的物理引擎让你能在 sim 里练遥操作、录示范、验证 pipeline。但 LeRobot 生态里，面向 ROCm 平台、开箱即用的 SO-101 仿真采集工具还不多。

SO-101 SimStudio 把这几块技术整合在一起：SO-101 机械臂、MuJoCo 物理仿真、LeRobot v3.0 数据集格式，以及 ROCm-first 的环境与文档。目标是让物理 AI 开发者能在 AMD ROCm 环境下，从仿真开始学习机器人物理 AI——只需要一台 AMD Ryzen AI 笔记本或 mini PC，就能打开这扇门。

项目会持续迭代（真机 follower、行为克隆训练等已在 ROADMAP）。本文介绍 首个稳定 release（v0.1.2） 的定位与能力。

v0.1.2 能做什么

能力	说明
三种遥操作	键盘（速度控制）、Joy-Con（柱坐标 reach/swing）、Leader 臂（Feetech STS3215 位置映射）
双录制 GUI	`--view_mode mujoco`（GLFW 3D，低延迟）或 `rerun`（多相机流，Wayland 友好）
LeRobot v3.0	录制、回放、校验、Rerun 可视化；不改 LeRobot 上游，通过插件注册接入
MuJoCo 仿真	SO-101 6-DOF 臂 + `simple_pick` 桌面抓取场景 + 三路相机
ROCm 环境	`make rocm-sync` 一键装依赖；Ubuntu 24.04 + ROCm 7.2.x 为当前支持矩阵

三种遥操作（Demo 实拍）

v0.1.2 支持三种 teleop，同一套 LeRobot v3.0 录制 pipeline。以下片段来自项目 demo 视频（SO101-SimStudio-Demo01.mp4）：

SO-101 on rocPAI-Forge