星海圖構(gòu)建具身智能VLA模型，為機器人智能進化指引全新方向

在過去兩年，機器人智能領(lǐng)域成績斐然。斯坦福大學成功讓桌面級機器人完成雙臂系鞋帶、操作透明物體等精細動作。憑借模仿學習技術(shù)，機器人已能處理家庭日常事務(wù)，甚至在醫(yī)療領(lǐng)域執(zhí)行精細的縫線操作。

2025 年 3 月 13 日，在第三屆具身智能機器人產(chǎn)業(yè)發(fā)展論壇上，星海圖首席科學家趙行指出，將高質(zhì)量真實數(shù)據(jù)與模仿學習相結(jié)合，是推動通用機器人智能發(fā)展的關(guān)鍵路徑。在數(shù)據(jù)金字塔結(jié)構(gòu)里，高質(zhì)量真實數(shù)據(jù)處于頂端，數(shù)量雖少但質(zhì)量極高;中間層是仿真數(shù)據(jù)，雖能借助計算機高效生成，卻與真實世界有差距;底層的互聯(lián)網(wǎng)數(shù)據(jù)容易獲取，然而質(zhì)量參差不齊且常缺乏動作相關(guān)信息。所以，合理獲取和運用不同層級的數(shù)據(jù)，對機器人智能發(fā)展至關(guān)重要。

星海圖借助模仿學習，運用高質(zhì)量數(shù)據(jù)，讓自家機器人完成了諸多復雜又有趣的任務(wù)，比如自動清理桌面垃圾、精準調(diào)配果汁等。全球不少機構(gòu)，像斯坦福大學的一個課題組，都采購了星海圖的機器人，用于衣物整理、貨架擺放、家庭清潔等家務(wù)工作。

星海圖是一家提供本體制造、智能研發(fā)及解決方案的全棧具身智能公司。發(fā)展過程中，常被問到三個問題：數(shù)據(jù)方面，該用真實數(shù)據(jù)、仿真數(shù)據(jù)還是互聯(lián)網(wǎng)數(shù)據(jù)?算法上，開發(fā)模塊化、端到端還是大模型算法?作為創(chuàng)業(yè)公司，如何獲取數(shù)據(jù)并提升算法效率以控制成本?

這些問題的答案，藏在星海圖的兩項主要工作里。先看數(shù)據(jù)選擇，過去兩年，機器人具身智能領(lǐng)域技術(shù)突破不斷，如斯坦福大學的 Aloha 系統(tǒng)讓桌面級機器人雙臂實現(xiàn)精細動作，還有機器人能完成家庭任務(wù)、醫(yī)療縫線等操作。從中可以看出，模仿學習和高質(zhì)量真實數(shù)據(jù)結(jié)合，是通向通用具身智能的重要路徑，也是目前業(yè)內(nèi)認可度和技術(shù)收斂度較高的技術(shù)路線。

在具身智能的數(shù)據(jù)體系中，高質(zhì)量真機采集數(shù)據(jù)質(zhì)量最佳但數(shù)量稀少，處于數(shù)據(jù)金字塔頂端;中部的仿真數(shù)據(jù)生成效率高，可與真實世界有明顯差距;底層的互聯(lián)網(wǎng)數(shù)據(jù)獲取容易，卻質(zhì)量不一且缺少動作信息。理想情況是獲取頂端的高質(zhì)量數(shù)據(jù)，星海圖就通過模仿學習，利用高質(zhì)量數(shù)據(jù)，讓機器人完成桌面清掃、沖泡果汁等任務(wù)。

很多研究團隊采購了星海圖的機器人，斯坦福大學李飛飛課題組就用其完成一系列家務(wù)，這都借助端到端模型和高質(zhì)量數(shù)據(jù)采集實現(xiàn)。

構(gòu)建具身智能基礎(chǔ)模型十分必要。一方面，具身智能機器人任務(wù)多樣，需要一個統(tǒng)一架構(gòu)的模型來集成各種任務(wù)，就像語言模型領(lǐng)域的 GPT、視頻生成領(lǐng)域的相關(guān)模型一樣;另一方面，模型能力應隨數(shù)據(jù)質(zhì)量和數(shù)量提升，在人工智能尤其是大語言模型范疇，模型規(guī)模、計算量和數(shù)據(jù)量能推動性能提升，不再依賴工程師手動調(diào)參或修改架構(gòu);再者，具身基礎(chǔ)模型要具備廣泛泛化能力，與傳統(tǒng)機器人不同，能在全新環(huán)境和面對新物體時展現(xiàn)泛化效果，涵蓋物體類內(nèi)、類間、組合及跨任務(wù)泛化等。

星海圖的具身基礎(chǔ)模型分兩個階段。當前開發(fā)的第一階段是基于模仿學習的 VOA 全身智能模型，類似大語言模型的預訓練和后訓練。預訓練時，采用統(tǒng)一的 EOA 模型架構(gòu)，用海量真機數(shù)據(jù)和自有 RSR 數(shù)據(jù)輔助;后訓練針對特定垂直領(lǐng)域任務(wù)，只需少量真機數(shù)據(jù)，大幅降低單任務(wù)編輯數(shù)據(jù)成本。第二階段，通過模仿學習和強化學習聯(lián)合優(yōu)化，實現(xiàn)全身智能和全自由度聯(lián)合控制，完成更復雜任務(wù)并實現(xiàn)近乎零樣本泛化。

除模型研發(fā)，星海圖還關(guān)注空間智能。具身智能與傳統(tǒng)視覺 AI 不同，機器人在物理世界作業(yè)，要理解三維空間和時間規(guī)律，為此推出業(yè)界首個具身智能的 Real to Seem to Real 引擎，即 RSR 引擎。RSR 引擎采用純視覺方案進行數(shù)字孿生重建，數(shù)據(jù)采集僅用消費級設(shè)備，成本僅為專業(yè)設(shè)備的 1%。例如用手機在清華大學校園拍攝后進行三維重建，在 Real to Seem 環(huán)節(jié)，以純視覺輸入，運用基于 Gaussian Splatting 的算法進行三維重建，完成后能實現(xiàn)新視角渲染、幾何結(jié)構(gòu)重構(gòu)以及語義和實例分割;seem to real 階段則重構(gòu)場景，生成新數(shù)據(jù)訓練機器人操作和導航模型，提升其性能。

星海圖的空間智能引擎 RSR 也分兩個階段。第一階段利用 Gaussian Splatting 技術(shù)進行視覺孿生，重建機器人作業(yè)場景，還原精度達厘米級，構(gòu)建大規(guī)模物體庫和場景庫，提升具身感知與導航操作能力;第二階段采用泛化的三維視覺世界模型，重建開放場景，對動態(tài)、柔性物體建模，通過眾包構(gòu)建物體庫和場景庫，實現(xiàn)泛化的場景和空間理解，提高 EFM 數(shù)據(jù)利用效率。

空間智能與具身基礎(chǔ)模型是星海圖具身智能研發(fā)的關(guān)鍵工作。具身智能基礎(chǔ)模型用于在線推理，構(gòu)建數(shù)據(jù)閉環(huán)提升能力;具身智能引擎 RSR 是云端離線數(shù)據(jù)引擎，基于海量作業(yè)場景數(shù)據(jù)，進行高質(zhì)量三維重建等工作，助力機器人實現(xiàn)高效泛化。通過空間智能引擎重構(gòu)數(shù)字孿生場景或數(shù)據(jù)增廣，還能解決真實世界高質(zhì)量數(shù)據(jù)獲取成本高的問題 。