河源PVC管件膠廠家 李飛飛、Jim Fan、徐丹飛聯手,給具身智能指了條新路
2026-07-07 15:58:13

2026 年夏天,機器人圈被個近乎"黑幽默"的實驗結果炸開了鍋。
支由斯坦福教授李飛飛、英偉達具身智能負責人 Jim Fan、佐亞理工學院助理教授徐丹飛銜,聯 Pieter Abbeel、Jitendra Malik、Ken Goldberg、Trevor Darrell 等多位頂學者的"團隊",在項消融對照實驗中遇到了個百思不得其解的現象。
他們在個名為 π 0.5 的行業經典模型上做了件看似理所當然的事——把觸覺信號作為額外信息輸入給模型。按常理,多種感知應該多分。結果卻令人瞠目:據論文中的消融實驗顯示,任務成功率從 17 驟降至 6。
加了觸覺,機器人反而"不會干活"了。
這個反常結果,像記耳光在了整個具身智能行業的臉上。過去幾年,業界的主流做法是把切感知信息——視覺、語言、觸覺——統統轉成同種格式塞進同個大模型里,相信"數據多了自然智能涌現"。T-Rex 論文用組冰冷的數據證明:這條路,可能從開始就走偏了。
觸覺為什么成了"豬隊友"?
問題出在哪里?論文作者們給出了個簡潔而有力的診斷:頻率錯配。
據論文及相關技術解讀,視覺是種"慢感知"。攝像頭以大約每秒 5 幀的頻率掃描世界,提供的是穩定的場景語義——知道物體在哪里、長什么樣。但觸覺是種"快感知"。當指接觸到物體的瞬間,壓力、滑動、形變等信息以毫秒為單位變化,觸覺反饋需要在每秒 20 次甚至的頻率下才能發揮作用。
個比:這就像讓個長跑運動員(視覺)和個短跑運動員(觸覺)在同條跑道上以同樣的速度跑步。長跑運動員覺得節奏太快跟不上,短跑運動員覺得節奏太慢憋得慌。把這兩種時間尺度不同的信號強行塞進同個以低頻運行的 Transformer 里,結果不是" 1+1=2 ",而是" 1+1
換句話說河源PVC管件膠廠家,不是觸覺沒用,是用錯了地。
面對這個結構矛盾,研究團隊沒有在原有框架上修修補補,而是選擇倒重來。
他們提出了套名為T-Rex的全新框架。T-Rex 既是"觸覺反應式靈巧操作"(Tactile-Reactive Dexterous Manipulation)的縮寫,也暗"霸龍"之意——雖然霸龍的前肢短小,但這篇論文要解決的,正是雙靈巧手如何真正"感知"世界。
T-Rex 的核心思路可以概括為句話:別再讓觸覺和視覺同條力通道了,給它單開辟條立的速公路。
具體怎么實現?論文提出了套混 Transformer 架構(Mixture-of-Transformers,MoT)?。所謂"混",是把機器人的控制權拆解給三位各司其職的;所謂"變速率",是讓三位各跑各的時鐘頻率,互不干擾。MoT 中的" M "恰好同時代表了這兩層含義。
位負責"看路"和"預判"——它叫潛在。? 它的任務是處理視覺和語言信息,預測"接下來場景會變成什么樣",為后續動作提供時間上的上下文。說白了,它在提前想好下步會發生什么。
二位負責"畫草圖"——它叫動作。? 它從片"噪聲"開始,通過步步去噪,生成個大致的動作走向——"手往這個向移動"。這個模塊的運行頻率大約是每秒 5 次,對應視覺感知的節奏。
三位負責"微調"——它叫觸覺。? 它不參與前期的全局規劃,只在接觸發生的瞬間啟動,以每秒 20 次以上的頻實時讀取指傳來的力和形變信號,在動作畫好的"草圖"上做毫秒的精細修正——"力道輕點""往左偏毫米"。
三個的協同流程是這樣的:動作先跑完前幾步,畫出張動作草圖;觸覺從某個中間節點接手,利用新的觸覺數據完成剩余步驟的精化。動作負責"低頻去噪",觸覺負責"頻精化"?。潛在全程"看路",為兩者提供視覺上下文。三位各跑各的時鐘,各司其職,后協同輸出完整的動作。
T-Rex 的 Mixture-of-Transformer-Experts(MoT)架構河源PVC管件膠廠家。(圖片來源:T-Rex)
為了讓觸覺真正"讀懂"觸覺信號,論文還門設計了套時空觸覺編碼器。核心是個VQ-VAE模塊——你可以把它理解為個"翻譯官",把過去十幾幀的時序力數據壓縮成離散的"觸覺詞匯",既能捕捉力的變化趨勢,又能抵抗傳感器的信號漂移。這樣來,萬能膠廠家觸覺接收到的就是套標準化的"觸覺語言",而非雜亂章的原始信號。
這套設計的本質,就是給頻觸覺信號辟出條立的通道,不讓它被低頻的視覺節奏拖累。? 三個各跑各的頻率,各管各的事,互不干擾,后再協同輸出個完整的動作——既保留了視覺對全局的把控,又釋放了觸覺在接觸瞬間的敏捷反應能力。
數據層面同樣下足了功夫。團隊構建了個100 小時的觸覺同步數據集,涵蓋 200 多種日常物品、22 種動作基元(抓取、擠壓、插入、擦拭、折疊等)、7700 多條運動軌跡。與傳統做法不同,這個數據集不是針對某個特定任務錄制的,而是圍繞"動作 × 物體"的組來組織—— 22 個動作搭配 200 多種物品,通過排列組覆蓋盡可能多樣的接觸場景。這讓模型學到的是通用的觸覺 - 動作對應關系,而非死記硬背特定任務的模板。
訓練策略同樣具層次感。團隊先用22,889 小時的人類視角進行大規模預訓練,讓模型理解人類的手部交互模式;再用上述 100 小時的機器人觸覺數據進行跨模態對齊;后僅需少量特定任務示范即可完成項能力的激活。這種漸進式訓練的好處是,觸覺能力不需要從頭學起,而是在視覺運動先驗已經建立之后,以相對少的數據"嫁接"進來。
12 項"刁難"任務,30 個百分點的跨越
這套架構到底有沒有用?論文在 12 項門為"刁難"機器人而設計的精細操作任務上進行了嚴苛測試——翻書頁、轉移生雞蛋、擦盤子、擠牙膏、分紙杯、分揀麻將、開鎖、填藥盒、模擬化學滴定、抽卡片、發撲克、擰燈泡。每項都要求機器人對接觸力進行動態的、即時的調節。
T-Rex 完成翻書等接觸密集型任務(圖片來源:T-Rex)
終結果令人振奮:T-Rex 相較此前強的基線模型,在這 12 項任務上取得了過 30 的平均成功率提升。在翻書頁、分紙杯等對力度為敏感的任務中,T-Rex 的表現從"幾乎不可用"躍升到了"初步具備實用價值"。
進步的消融實驗反向印證了設計的精妙:旦切除所有觸覺輸入通道,系統成功率出現斷崖式下跌;而如果強行取消異步運行機制,讓觸覺被迫降頻與視覺同步,能同樣會顯著劣化。這恰恰說明,T-Rex 的成功并非單純來自"加了觸覺",而是來自"用對了觸覺"——給它立的節奏、立的通道、立的處理邏輯。
T-Rex 這篇論文的價值,遠不止于組漂亮的實驗數據。它用個具說服力的反例,向整個具身智能行業發出了個明確的警示信號:
"萬物皆 token、切進大模型"的通用范式,并不適用于所有感知模態。
視覺和語言是"慢變量",適放在同個巨大的 Transformer 里做全局關聯理;但觸覺是"快變量",它關乎物理接觸和即時反饋,需要單的頻閉環控制回路。強行把兩者塞進同個模子,結果不是融,而是污染。
這讓人聯想到經科學中經典的雙流假說——視覺腹側通路負責"識別是什么",背側通路負責"指怎么做"。T-Rex 的混架構,某種程度上是在機器人身上復刻了這種生物演化的智慧。
當然,論文也坦誠了當前的局限:對于需要數秒連貫協調的復雜操作,純粹的行為克隆仍受限于示范數據的覆蓋度;當前觸覺感知僅限于指而非全手掌,且傳感器標定與漂移問題仍是工程痛點。但這些屬于"成長中的煩惱",并不妨礙 T-Rex 所確立的范式意義。
這篇論文傳遞的核心信息已經比清晰:別再讓機器人光靠"瞪大眼睛看"來干活了,是時候讓它們學會"伸出手去摸"。? 觸覺不應是視覺的附庸,而應是條立的、與視覺平起平坐的物理感知通道。
那個" 17 跌到 6 "的反常實驗,或許正是機器人從"看見世界"走向"感知世界"的關鍵轉折點。(本文發鈦媒體 APP,作者 | 硅谷 Tech-news,編輯 | 趙虹宇)相關詞條:不銹鋼保溫施工 塑料管材生產線 鋼絞線廠家 玻璃棉板 泡沫板橡塑板專用膠
奧力斯 泡沫板橡塑板專用膠報價 聯系人:王經理 手機:18232851235(微信同號) 地址:河北省任丘市北辛莊鄉南代河工業區
1.本網站以及本平臺支持關于《新廣告法》實施的“極限詞“用語屬“違詞”的規定,并在網站的各個欄目、產品主圖、詳情頁等描述中規避“違禁詞”。
2.本店歡迎所有用戶指出有“違禁詞”“廣告法”出現的地方,并積極配合修改。
3.凡用戶訪問本網頁,均表示默認詳情頁的描述,不支持任何以極限化“違禁詞”“廣告法”為借口理由投訴違反《新廣告法》,以此來變相勒索商家索要賠償的違法惡意行為。
