大模型與機器人本體結合提供感知交互新能力,助力形成決策

機器人的技術創新任務主要在于人形機器人關鍵技術的突破，其中在人形機機器人本體上的重要技術任務在于開發基于人工智能大模型的人形機器人“大腦”與 開發控制人形機器人運動的“小腦”。大模型作為爆火的人工智能概念，推動了人形機器人大腦的形成，助力人形機器人具有人的感知、交互與決策能力；對 于控制系統仍在切入中。

感知、交互與決策

多模態大模型增強人機交互，實現 對人類意圖的理解，對復雜外部環 境的理解與認知，助力形成決策：

大模型可直接用于對環境的理解, 并通過提示詞使之輸出結構化內 容如控制代碼、任務分解等指令

利用多模態大模型對環境進行建 模, 實現具身智能對空間信息的 多模態理解

機器人能夠從數據中學習決策與 規劃策略，基礎模型為機器人決 策與規劃引入了豐富的先驗知識。

控制

大模型在控制上的助力主要集中于大模型處理環境觀察與提示，輸出動作序 列，動作序列可以是一系列關節角度或末端執行器的位姿與夾爪開合數據， 這些序列將直接用于控制機器人的運動。