https://rocpai-forge.github.io/zh/tags/physical-ai/Recent content in Physical AI on rocPAI-ForgeHugozhThu, 10 Sep 2026 00:00:00 +0000https://rocpai-forge.github.io/zh/posts/amd-4dgs-series-01/Thu, 10 Sep 2026 00:00:00 +0000https://rocpai-forge.github.io/zh/posts/amd-4dgs-series-01/<h2 id="physical-ai-的动态世界表示">Physical AI 的动态世界表示</h2> <p>Physical AI 的核心问题，不只是生成像素，而是让系统感知、重建并持续查询一个正在变化的真实世界。传统 4DGS 通常从同步、标定的多视角视频开始；本文探索一条更低采集门槛的路径：从单目视频出发，通过 4D 视频生成模型补充同步多视角观测，构建可查询的 4DGS 动态世界表示。</p> <p>这条管线在 rocPAI-Forge 的 Physical AI 方向中承担的是“动态视觉层”：</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">单目视频 → 生成式多视角 → 4DGS 动态世界表示 </span></span><span class="line"><span class="cl"> → 机器人观测 / 仿真 / 策略训练 → 真机验证 </span></span></code></pre></div><p>4DGS 不是最终控制器，也不是完整物理仿真器。它表达的是世界在空间和时间上如何呈现；碰撞、摩擦、接触动力学和关节控制仍需要 MuJoCo、Isaac Sim 或其他物理与机器人系统。</p> <h2 id="我们跑通了什么">我们跑通了什么</h2> <p>把一段人物视频变成可以自由改变视角的动态场景，需要的不只是一个生成模型。传统 4DGS 通常依赖同步、标定的多视角视频；Phi Media Lab 与 rocPAI-Lab 探索了一条更低采集门槛的路径：从<strong>单目视频</strong>出发，在 <strong>AMD Instinct MI300X + ROCm</strong> 上用 4D 视频生成模型补充同步多视角观测，再完成 4D Gaussian 重建，最后由 <strong>AMD Radeon</strong> 节点完成 Vulkan 渲染、VA-API H.264 编码与 WebRTC 交付。</p> <p>这不是把生成视角当成真实摄像头阵列，而是用模型预测的多视角观测替代一部分采集硬件：以更低的采集、同步和标定门槛，换取额外的生成计算与几何一致性验证成本。</p> <p>一次端到端实验完成了：</p> <ul> <li>一段单目人物视频的 121 帧区间 → 24 路、2,904 张 <code>704×1280</code> 多视角观测</li> <li>初始化 499,972 个动态 Gaussian，完成 30,000 次参数更新</li> <li>导出可独立部署的 AssetBundle</li> <li>在 Radeon 上输出 <code>1280×720</code> 动态画面，并由 Chrome 通过 WebRTC 接收</li> </ul> <p>这不是跨平台 benchmark，而是我们验证过的具体软硬件组合和执行路径。</p>