以 GPT-4 為代表的大模型已經(jīng)建造了大腦，下一步則是需要能承載這一大腦的機(jī)器人軀體。

昨天深夜，人形機(jī)器人明星公司 Figure AI 震撼發(fā)布了一段視頻，展示了他們的機(jī)器人 Figure 01 在 OpenAI 強(qiáng)大模型的支持下，進(jìn)行的一系列對(duì)話交互。

視頻中的機(jī)器人展現(xiàn)出了靈活的操作反應(yīng)，其與人類溝通的流暢度幾乎可以與真人相媲美。

這距離 Figure AI 獲得 OpenAI 、微軟、英偉達(dá)等公司投資，僅僅過去了不到半個(gè)月。也讓我看到，OpenA 最強(qiáng)的多模態(tài)大模型有了身體后會(huì)是什么樣子。

Figure 01，最懂你的人形機(jī)器人？

得益于 OpenAI 多模態(tài)大模型的強(qiáng)大支持，F(xiàn)igure 01 現(xiàn)在可是個(gè)桌上物品識(shí)別的小能手。蘋果、瀝水架、水杯和盤子，對(duì)它來說都是小菜一碟！

餓了，想讓它整口吃的，它能秒懂你的心思，麻溜地遞上一個(gè)蘋果。

而且，它甚至能在撿起你丟棄的垃圾，邊還能跟你解釋為啥剛才給了你蘋果。在大模型的輔助下，F(xiàn)igure 01 可以理解桌面上唯一的食物——蘋果。

在人類的一聲令下，F(xiàn)igure 01 還能做家務(wù)，收拾餐具，這機(jī)器人，簡直是家庭生活的最佳伙伴。

OpenAI 機(jī)器人炸裂登場！ChatGPT 終于有身體了，能說會(huì)看還能做家務(wù)

廣大網(wǎng)友在看到這段令人驚艷的視頻后，反應(yīng)可謂是五花八門。

網(wǎng)友已經(jīng)迫不及待地給 Figure 01 安排任務(wù)了，任務(wù)清單里怎么還混進(jìn)了機(jī)器人前輩的電影。

競爭對(duì)手怕是要看在眼里，急在心里，準(zhǔn)備暗地里摩拳擦掌，來一場技術(shù)大比拼？

更興奮的網(wǎng)友表示，AGI 的曙光似乎就在眼前。

當(dāng)然，總有些挑剔的聲音，有的網(wǎng)友就吐槽說，這機(jī)器人說法怎么結(jié)結(jié)巴巴呢？

網(wǎng)友也沒放過玩梗的機(jī)會(huì)。

Figure AI 掌門人 Brett Adock 也不甘寂寞，在 X 上跳出來做了一番精彩解讀。

視頻展示了端到端神經(jīng)網(wǎng)絡(luò)的應(yīng)用（end-to-end neural networks）。在此過程中沒有使用遙控器（teleop）。視頻是以實(shí)際速度（1.0倍速）拍攝的，并且是連續(xù)不斷的。

如您在視頻中看到的，機(jī)器人的速度有了顯著的提升，我們正在逐步達(dá)到與人類相似的速度。

無需遙控，自學(xué)成才

那么 Figure 01 是怎么做到的呢？

Figure AI 團(tuán)隊(duì)負(fù)責(zé)人 Corey Lynch 在 X 上解釋了一番。

具體來說，視頻中展示的所有行為都是通過學(xué)習(xí)獲得的（非遙控操作），并且以實(shí)際速度（1.0 倍速）執(zhí)行。

Figure AI 將機(jī)器人攝像頭拍攝的圖像和通過板載麥克風(fēng)記錄的語音轉(zhuǎn)錄文本輸入到一個(gè)由 OpenAI 訓(xùn)練的多模態(tài)模型中，這個(gè)模型能夠同時(shí)理解圖像和文本信息。

該模型會(huì)處理整個(gè)對(duì)話的歷史記錄，包括以往的圖像，以生成語言響應(yīng)，并通過文本到語音的方式向人類回話。同一個(gè)模型還負(fù)責(zé)決定執(zhí)行哪種已學(xué)習(xí)的閉環(huán)行為來響應(yīng)給定的命令，它將特定的神經(jīng)網(wǎng)絡(luò)權(quán)重加載到 GPU 上，并執(zhí)行相應(yīng)的策略。

而將 Figure 01 連接到一個(gè)大型預(yù)訓(xùn)練的多模態(tài)模型，為其帶來了許多有趣的新功能。

現(xiàn)在，F(xiàn)igure 01 + OpenAI 能夠：詳述其周圍環(huán)境。

在決策時(shí)運(yùn)用常識(shí)推理。例如，「桌子上的餐具，像那個(gè)盤子和杯子，很可能接下來會(huì)被放到烘干架上」。

將含糊的高級(jí)指令，如「我餓了」，轉(zhuǎn)化為符合情境的適當(dāng)行為，比如「遞給那個(gè)人一個(gè)蘋果」。

用簡單的英語解釋為什么它執(zhí)行了某個(gè)特定的動(dòng)作。例如，「這是我能夠從桌子上提供的唯一可食用物品」。

當(dāng)談到 Figure 01 通過學(xué)習(xí)掌握的精細(xì)雙手操作技能時(shí)，其實(shí)這背后也蘊(yùn)含著一系列復(fù)雜而精妙的原理。

所有行為都由神經(jīng)網(wǎng)絡(luò)的視覺-運(yùn)動(dòng)轉(zhuǎn)換器策略驅(qū)動(dòng)，這種策略能直接將圖像像素映射到動(dòng)作。這些網(wǎng)絡(luò)以每秒 10 幀的速率接收機(jī)器人內(nèi)置圖像，并生成每秒 200 次的 24 自由度動(dòng)作（包括腕部姿勢和手指關(guān)節(jié)角度）。

這些動(dòng)作作為高速「設(shè)定點(diǎn)」，供更高速率的全身控制器跟蹤，確保動(dòng)作的精確執(zhí)行。

這種設(shè)計(jì)實(shí)現(xiàn)了關(guān)注點(diǎn)的有效分離：

互聯(lián)網(wǎng)預(yù)訓(xùn)練模型對(duì)圖像和文本進(jìn)行常識(shí)推理，以生成一個(gè)高級(jí)計(jì)劃。

學(xué)習(xí)到的視覺-運(yùn)動(dòng)策略執(zhí)行這個(gè)計(jì)劃，完成那些難以手動(dòng)指定的快速、反應(yīng)性行為，例如在任何位置操縱一個(gè)可變形的袋子。

同時(shí)，全身控制器負(fù)責(zé)確保動(dòng)作的安全性和穩(wěn)定性，例如，保持機(jī)器人的平衡。

對(duì)于 Figure 01 取得的巨大進(jìn)步，Corey Lynch 感慨道：

就在幾年前，我還認(rèn)為與一個(gè)能自主規(guī)劃和執(zhí)行學(xué)習(xí)行為的人形機(jī)器人進(jìn)行完整對(duì)話，將是未來數(shù)十年后的事情。顯然，許多事情已經(jīng)發(fā)生了巨大變化。

這會(huì)是人形機(jī)器人的 GPT 時(shí)刻嗎

不得不說，F(xiàn)igure 01 的發(fā)展速度簡直像是踩了油門，一路狂飆。

今年 1 月，F(xiàn)igure 01 就掌握了制作咖啡的技能，這一成就得益于端到端神經(jīng)網(wǎng)絡(luò)的引入，使得機(jī)器人能夠自主學(xué)習(xí)和糾正錯(cuò)誤，僅需 10 小時(shí)的訓(xùn)練。

一個(gè)月后，F(xiàn)igure 01 已經(jīng)學(xué)會(huì)了搬運(yùn)箱子并運(yùn)送至傳送帶的新技能，盡管其速度僅為人類的 16.7%。

在這個(gè)過程，F(xiàn)igure AI 商業(yè)化的步伐也未曾停歇，與寶馬制造公司簽訂了商業(yè)協(xié)議，將 AI 和機(jī)器人技術(shù)融入汽車生產(chǎn)線，并落戶于寶馬的工廠。

緊接著，就在兩周前，F(xiàn)igure 宣布完成了 6.75 億美元的 B 輪融資，公司估值飆升至 26 億美元。

投資方幾乎涵蓋了硅谷的半壁江山——Microsoft、OpenAI 創(chuàng)業(yè)基金、英偉達(dá)、Jeff Bezos、Parkway Venture Capital、Intel Capital 和 Align Ventures 等。

當(dāng)時(shí)，OpenAI 與 Figure 還宣布將共同開發(fā)下一代人形機(jī)器人 AI 模型，OpenAI 的多模態(tài)模型將擴(kuò)展到機(jī)器人感知、推理和交互環(huán)節(jié)。

如今，從 Figure 01 身上，我們仿佛能窺見未來生活的草稿。

事實(shí)上，在大模型之前，機(jī)器人屬于專用設(shè)備，如今有了大模型的通用能力，通用機(jī)器人開始曙光乍現(xiàn)，現(xiàn)在的我們不止需要 ChatGPT，還需要 WorkGPT。

這些進(jìn)化間接印證了一條清晰可見的道路：當(dāng) AI 大模型生根發(fā)芽之后，總歸是要走進(jìn)現(xiàn)實(shí)世界，而具身智能則是最佳的路徑。

一直活躍在 AI 前線的英偉達(dá)創(chuàng)始人黃仁勛曾洞察道：「具身智能將引領(lǐng)下一波人工智能浪潮?！?/p>

將 OpenAI 大模型融入 Figure 01 也是有意的戰(zhàn)略布局。

成熟的 AI 大模型充當(dāng)人工大腦，模擬了人腦復(fù)雜的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了語言理解、視覺識(shí)別、情景推理等認(rèn)知功能，解決了機(jī)器人更高層次的認(rèn)知和決策問題。

與此同時(shí)，各種傳感器、執(zhí)行器、計(jì)算單元被集成到機(jī)器人軀體中，實(shí)現(xiàn)了對(duì)環(huán)境的感知和交互。比如視覺系統(tǒng)可以捕捉圖像和視頻，觸覺傳感器可以感受物體的形狀和質(zhì)地等。

Figure AI 創(chuàng)始人 Brett Adcock 此前在接受采訪時(shí)表示，未來 1-2 年，F(xiàn)igure AI 將專注于開發(fā)具有里程碑意義的產(chǎn)品，期望在未來一兩年內(nèi)向公眾展示人形機(jī)器人的研發(fā)成果，涵蓋 AI 系統(tǒng)、低級(jí)控制等，最終呈現(xiàn)能在日常生活中大展身手的機(jī)器人。

他還透露，在成本方面，一個(gè)人形機(jī)器人約有 1000 個(gè)零件，重約 150 磅（68 公斤），而電動(dòng)汽車可能有約 1 萬個(gè)零件，重達(dá) 4000-5000 磅（1800-2250公斤）。

因此，長期來看，人形機(jī)器人的成本有望低于廉價(jià)電動(dòng)汽車，這取決于執(zhí)行器、電機(jī)組件、傳感器的成本及計(jì)算成本。

機(jī)器人專家 Eric Jang 曾提出他的洞見：「盡管許多 AI 研究者認(rèn)為通用機(jī)器人的普及還需數(shù)十年，但別忘了，ChatGPT 的誕生仿佛幾乎就在一夜之間?！?/p>

一年前的今天，OpenAI 震撼發(fā)布了 GPT-4，向世界證明了大模型的強(qiáng)大威力。

一年后的今天，我們沒等來 GPT-5，但也迎來 Figure 01，而這會(huì)是人形機(jī)器人的 GPT-4 時(shí)刻嗎？

（本文轉(zhuǎn)載自Appso）

返回第一電動(dòng)網(wǎng)首頁 >