從實驗室到車間：小米機器人在汽車工廠“實習”

此前已向大家介紹過基于觸覺的抓取微調模型 TacRefineNet 和機器人 VLA（Vision-Language-Action）大模型 Xiaomi-Robotics-0，它們讓機器人不僅擁有“博學的大腦”與“敏捷的身手”，更補上了機器人智能的“最后一塊拼圖”——觸覺感知。

 

當我們真正從實驗室走向汽車工廠，一道巨大的現實鴻溝赫然出現：生產節拍和合格率。在實驗室中，可以進行成千上萬次的失敗迭代，而工廠要求動作精準可靠，生產節拍分秒不差。如何從“學徒工”成長為“正式工”，是機器人面臨的硬核考驗。

 

在真實汽車工廠里，小米機器人在自攻螺母上件工站中連續自主運行 3 小時的成果：雙側同時安裝成功率為 90.2%，同時滿足了最快76 秒的產線生產節拍要求。

 

三小時連續自主作業（成功率 = 成功次數 / 總操作次數）

 

在該任務中，機器人連續從自動送釘設備中精準抓取自攻螺母，并放置在自攻擰緊的定位工裝上，配合滑臺輸送和自攻工位的自動定位鎖定，實現汽車一體化壓鑄后地板零件自攻螺母的自動化自攻擰緊作業。

 

其中，難度最高的環節集中在自攻螺母的安裝過程，需要確保其與定位銷軸的精確對準和可靠貼合。而自攻螺母內側的花鍵結構，每次抓取不固定的手內姿態，以及定位銷軸上磁吸力帶來的拉扯影響，都大幅增加了裝配難度。以下是在完成任務時遇到“精準對位”的不同情況：

 

自攻螺母和定位銷軸的結構細節

不同狀態下自攻螺母成功安裝示例

 

01 

技術實現細節

▍端到端訓練

為應對實際作業中的復雜情況，避免繁瑣的規則編程，我們采用了端到端數據驅動的控制方法。在VLA大模型Xiaomi-Robotics-0的基礎上，結合強化學習技術，使機器人能夠快速適配不同下游工況，并持續從真實物理環境的交互經驗中學習，保障其在復雜工況下實現長時間、穩定、高可靠的作業表現。其主要技術特點如下：

 

• 通用 VLA 基座模型：通過統一的動作空間設計與跨本體數據預訓練，顯著增強模型在操作任務理解、空間感知以及動作執行等方面的泛化能力；

• VLA + RL 聯合訓練框架：通過引入強化學習有效地降低了對真實機器人遙操作數據的依賴，增強了模型在不同本體和環境下的泛化能力；

• 觸覺信息融合：在涉及大量密集接觸的工廠作業場景中引入觸覺反饋，有效提升任務執行過程中的穩定性與魯棒性。

 

模型框架與訓練流程

 

▍多模態感知

為支持任務規劃決策和提供在線強化學習的獎勵信號，我們融合了視覺、觸覺以及關節本體感知等多模態信息，對作業過程進行協同感知與綜合判斷，顯著降低復雜工況下的狀態誤判概率。

 

以抓取任務為例，僅依賴視覺感知在光照變化或局部遮擋情況下容易產生不確定性，無法準確判斷自攻螺母與手指之間的真實接觸狀態；而僅依賴觸覺信息，則可能受到手指與環境或者手指之間非預期接觸的干擾。

 

頭部相機、腕部相機和指尖觸覺信息展示

 

▍全身運動控制

全身運動控制是機器人穩定作業的基礎，我們采用了融合優化控制與強化學習的混合架構，并依據系統穩定性指標對兩類控制策略進行選擇性執行。在該架構中，優化控制器基于二次規劃方法，通過零空間投影機制實現四級嚴格優先級控制，依次滿足平衡約束、安全約束、任務約束以及其他優化指標，單次求解耗時小于1 ms。

 

強化學習控制器則依托大規模并行仿真平臺進行訓練。我們對虛擬環境中的數千個機器人進行了上億次隨機擾動與失穩場景的模擬，從而使機器人學會在極端干擾條件下保持平衡的控制策略。該策略可實現零樣本遷移部署至真實機器人，保障系統的穩定性與魯棒性。

 

全身運動控制框圖

 

02 

典型失效案例

前面提到，自攻螺母內側存在花鍵結構，且每次抓取在手內的姿態并不固定。若對齊精度不足，極易在旋擰過程中產生卡滯，從而導致裝配失敗；此外，在實際工況下，機器人受環境干擾或者作業視角受限，也可能影響其對貼合狀態的準確判斷，進而出現花鍵與鍵槽貼合不緊密、安裝不到位等問題。

花鍵貼合不緊密

姿態調整卡滯

 

03 

其他試點工站

自攻螺母上件工站，是小米人形機器人邁出在汽車制造場景規模化應用的第一步。然而，面向更大范圍的產業化部署，仍需系統性突破“生產節拍和合格率”這一核心瓶頸，包括移動操作任務中的全身高效協同，以及借助靈巧手提升作業效率等關鍵技術挑戰。為此，小米還在其他很多典型工站開展了實際部署與驗證工作，目前正穩步推進中，相關進展將在后續向大家匯報。

料箱搬運工站

前徽標安裝工站

 

04
開源與資源

About Xiaomi Robotics

前期技術方案的細節、實驗視頻已開放，更多后續工作將很快推出。

• Project Page:

  https://sites.google.com/view/hil-daft/

• Arxiv:

  https://arxiv.org/abs/2509.13774

   

TacRefineNet 和 Xiaomi-Robotics-0 相關的工作可參考，

• TacRefineNet:

  https://sites.google.com/view/tacrefinenet

• Xiaomi-Robotics-0:

  https://github.com/XiaomiRobotics/Xiaomi-Robotics-0

 

探索物理智能的邊界，我們從不止步。歡迎加入，一起在具身智能領域，擁抱未來。