新年伊始，伯克利就傳出新進(jìn)展，他們教機(jī)器人做家務(wù)的能力更上一層樓了。在最新的論文中，伯克利介紹了他們是如何讓機(jī)器學(xué)會(huì)讀懂人類(lèi)的潛臺(tái)詞或未盡之意，而不是傻乎乎地按照字面意思或者獎(jiǎng)勵(lì)系統(tǒng)來(lái)機(jī)械地運(yùn)動(dòng)。

舉個(gè)例子，當(dāng)餐桌機(jī)器人上菜時(shí)，它會(huì)知道躲避酒柜，或者在停電等緊急情況下停止端盤(pán)子，而不是為了盡可能多地得到獎(jiǎng)賞（端一個(gè)盤(pán)子系統(tǒng)會(huì)提供一個(gè)獎(jiǎng)勵(lì)），而馬不停蹄地送盤(pán)子。甚至還可能直接把盤(pán)子打碎，這樣就可以獲得更多的“盤(pán)子”（獎(jiǎng)勵(lì)）了……

反正我看到這個(gè)新聞時(shí)，第一反應(yīng)是機(jī)器人可真笨啊，這么簡(jiǎn)單的任務(wù)我兩歲的小侄子都會(huì)做。第二反應(yīng)是伯克利教機(jī)器人做家務(wù)的執(zhí)念也未免太深了吧！

之前還開(kāi)發(fā)過(guò)引擎教機(jī)器人鋪床單、疊衣服、收拾桌面，總之，非要讓機(jī)器人摻和家務(wù)這件事不可。想要挑戰(zhàn)家務(wù)技能的除了伯克利，還有Deepmind。去年2月，Deepmind就提出了一種新的學(xué)習(xí)范式“計(jì)劃輔助控制SAC-X”，來(lái)幫助機(jī)器人學(xué)會(huì)整理桌子和堆疊衣物。

前不久佐治亞理工學(xué)院的研究人員，也發(fā)表了新的強(qiáng)化學(xué)習(xí)算法，可以教會(huì)機(jī)器人穿衣服。為什么這么多AI巨頭不約而同地走上了家務(wù)培訓(xùn)的道路？未來(lái)我們能擁有《底特律》中卡拉小姐姐那樣溫柔能干的家政機(jī)器人嗎？本文就來(lái)嘗試解釋一下這些疑惑。

家務(wù)三十六計(jì)：家政機(jī)器人都掌握了哪些技能？

首先我們來(lái)看看，在這么多人類(lèi)學(xué)霸、AI巨頭的助攻下，機(jī)器人都學(xué)會(huì)了哪些家務(wù)小技能。先來(lái)說(shuō)說(shuō)“家政狂魔”伯克利。

早在去年，我們就解讀過(guò)伯克利的通用預(yù)測(cè)模型，它可以幫助機(jī)器人自主學(xué)習(xí)和掌握很多通用基礎(chǔ)技能，在此基礎(chǔ)上學(xué)習(xí)和預(yù)測(cè)主人的意圖和任務(wù)的共性，從而可以舉一反三執(zhí)行廣泛的任務(wù)類(lèi)別，成長(zhǎng)為一個(gè)優(yōu)秀的“家務(wù)多面手”。比如折疊短褲毛巾、挪移蘋(píng)果、整理桌面等等。

伯克利還推出了一個(gè)深度學(xué)習(xí)模型Dex-NET，基于角點(diǎn)檢測(cè)和抓取策略，讓機(jī)器人完成鋪床單這一艱巨任務(wù)。最值得一提的是新的研究成果“偏好優(yōu)化模型”。機(jī)器人不僅能完成通用任務(wù)，而且還能夠推斷出更優(yōu)解，適應(yīng)帶有隱藏條件的復(fù)雜現(xiàn)實(shí)環(huán)境。

比如在常規(guī)的“actor-critic”增強(qiáng)學(xué)習(xí)反饋機(jī)制中，主人要求機(jī)器人導(dǎo)航前往紫色的門(mén)，那么機(jī)器人就會(huì)選擇最短路徑（傳統(tǒng)意義上的最優(yōu)解），而忽略這么做會(huì)打碎路上的花瓶。

因?yàn)闄C(jī)器人無(wú)法獲知，主人是否關(guān)心花瓶會(huì)不會(huì)被打碎。但如果機(jī)器人能自己模擬和演練過(guò)去發(fā)生過(guò)的行為軌跡，比如主人一直都繞著花瓶走，說(shuō)明她是重視花瓶的完整狀態(tài)的，由此推斷出繞過(guò)花瓶是最有可能獲得獎(jiǎng)勵(lì)、應(yīng)該積極追求的目標(biāo)。

機(jī)器人擁有洞察隱藏條件的能力，意味著它們可以從一種狀態(tài)中學(xué)習(xí)人類(lèi)的偏好，系統(tǒng)無(wú)需事無(wú)巨細(xì)地列出所有現(xiàn)實(shí)環(huán)境中的因果聯(lián)系和條件，獎(jiǎng)勵(lì)函數(shù)也不再是線(xiàn)性機(jī)械的，機(jī)器人可以自主模擬和學(xué)習(xí)過(guò)去的經(jīng)驗(yàn)，判斷和應(yīng)對(duì)未知的動(dòng)態(tài)環(huán)境。

對(duì)于做家務(wù)這個(gè)任務(wù)來(lái)說(shuō)，判斷主人的喜好來(lái)進(jìn)行作業(yè)，可以說(shuō)是必殺技了。與伯克利相比，Deepmind其實(shí)對(duì)醫(yī)療這種高精尖任務(wù)更感興趣。但這并不妨礙它在家政領(lǐng)域發(fā)光發(fā)熱。

Deepmind的“計(jì)劃輔助控制SAC-X”模型，就旨在幫助機(jī)器人學(xué)會(huì)探索和掌握家務(wù)方面的基本技能。就像嬰兒在爬行和走路之前必須發(fā)展出協(xié)調(diào)和平衡能力一樣，SAC-X也有助于幫助機(jī)器掌握幾種核心的視覺(jué)-運(yùn)動(dòng)技能。

比如運(yùn)用模擬手臂，按照正確的順序，即使沒(méi)有見(jiàn)過(guò)這各任務(wù)，也能從零開(kāi)始學(xué)習(xí)，并按要求順利地把物體舉起來(lái)。這樣就能在無(wú)需額外編程的前提下，完成整理桌面這樣的復(fù)雜任務(wù)。

此外，喬治亞理工學(xué)院將布料引入學(xué)習(xí)框架，教機(jī)器人學(xué)會(huì)穿衣服的論文也非常別出心裁。

因?yàn)橐路牟剂喜馁|(zhì)各不相同，穿衣服的動(dòng)作也無(wú)法遵循特定的運(yùn)動(dòng)軌跡，會(huì)和布料產(chǎn)生復(fù)雜的交互變化，機(jī)器人必須不斷練習(xí)，對(duì)各個(gè)子任務(wù)（拽起邊緣、扯平衣角等）進(jìn)行模擬和優(yōu)化，在不斷變化的環(huán)境條件中學(xué)習(xí)到穩(wěn)定的創(chuàng)意控制策略，最終完成穿不同衣服的任務(wù)目標(biāo)。無(wú)論襯衫、套頭毛衣，還是外套，都是妥妥滴！

聽(tīng)起來(lái)，好像大部分家務(wù)活兒機(jī)器人都可以駕馭嘛，但杯具的是，現(xiàn)實(shí)中能夠見(jiàn)到的家務(wù)機(jī)器人，干起活來(lái)依然是一副又慢又笨的蠢樣子。

比如由伯克利設(shè)計(jì)、Rethink Robotics公司開(kāi)發(fā)的家庭助手，疊一個(gè)毛巾就要15分鐘；而加州 FoldiMate推出的智能洗疊機(jī)器，可以按照程序把衣服疊成需要的方塊，但需要人手動(dòng)放置在展臺(tái)上，并沒(méi)有節(jié)省多少人力，售價(jià)還高達(dá)980美金（約7000塊人民幣）……emmmm還是自己動(dòng)手豐衣足食吧。

不是比人慢，就是比人貴，靠機(jī)器人做家務(wù)性?xún)r(jià)比實(shí)在是太低了。那么，既然不能真的幫人類(lèi)做家務(wù)，教機(jī)器人學(xué)習(xí)這些技能，究竟有何意義？

為什么是做家務(wù)，去工廠(chǎng)搬磚不行嗎？

這么多研究人才齊上陣，要是去教小學(xué)生，怕是都能考上清華了。實(shí)在不行，去工廠(chǎng)搬磚也能緩解下勞動(dòng)力緊張啊，干嘛非要跟家務(wù)活兒較勁呢？原因恐怕在于，家政任務(wù)提供了一個(gè)從零開(kāi)始學(xué)習(xí)復(fù)雜控制任務(wù)的訓(xùn)練環(huán)境，這對(duì)通用機(jī)器智能來(lái)說(shuō)至關(guān)重要。

首先，家政任務(wù)的真實(shí)性和多樣性，有助于智能體學(xué)會(huì)如何用最少的先驗(yàn)知識(shí)來(lái)解決復(fù)雜問(wèn)題。

先驗(yàn)知識(shí)指的是一種不依賴(lài)于經(jīng)驗(yàn)總結(jié)（類(lèi)似編寫(xiě)好的程序，從結(jié)果推導(dǎo)過(guò)程）的一種元能力，通過(guò)觀(guān)察學(xué)會(huì)推理和判斷。而機(jī)器人就沒(méi)有這種“天生的”知識(shí)，但顯然我們也不可能將機(jī)器人服務(wù)的每個(gè)家庭、每個(gè)可能任務(wù)都進(jìn)行預(yù)先編程，這時(shí)，訓(xùn)練機(jī)器人的通用能力就顯得尤為關(guān)鍵了。

盡管機(jī)器永遠(yuǎn)不可能擁有像人一樣的先驗(yàn)?zāi)芰屯ㄓ眯?，在各個(gè)學(xué)科、各個(gè)工作崗位都能表現(xiàn)差不多。但在很多垂直領(lǐng)域，比如工業(yè)、家務(wù)、語(yǔ)言等，先驗(yàn)?zāi)芰?qiáng)的機(jī)器智能體就可以低成本、高適應(yīng)性、靈活地完成工作任務(wù)，解決那些現(xiàn)在只有人才能解決的問(wèn)題。

另外，家政任務(wù)是一個(gè)集視覺(jué)、觸覺(jué)、運(yùn)動(dòng)、關(guān)節(jié)控制等為一體的任務(wù)，綜合性很強(qiáng)，這是其他碎片應(yīng)用不具備的環(huán)境，對(duì)訓(xùn)練多元功能協(xié)作的智能體很有幫助。

比如伯克利教機(jī)器人從垃圾桶中拾取原本看不見(jiàn)的物體，就需要通過(guò)攝像頭采集深度圖像，形成模擬數(shù)據(jù)集，再利用該數(shù)據(jù)集訓(xùn)練質(zhì)量卷積神經(jīng)網(wǎng)絡(luò)(GQ-CNN)，對(duì)物體進(jìn)行圖像分割，確定抓取嘗試成功的可能性，最后形成抓取成功概率最高的策略，再對(duì)夾持器關(guān)節(jié)進(jìn)行實(shí)時(shí)精密控制，才能最終完成這一操作。一次訓(xùn)練，多種收獲。

更重要的是，家務(wù)的操作環(huán)境比起工業(yè)機(jī)器人、電子游戲等，都更加松散，充滿(mǎn)變化，任務(wù)的主觀(guān)預(yù)期和隱藏含義更難界定和預(yù)測(cè)，無(wú)形中加大了訓(xùn)練難度。與此同時(shí)，家政任務(wù)的訓(xùn)練成本也比較低，也更容易為大眾所理解，社會(huì)效益和營(yíng)銷(xiāo)價(jià)值雙豐收。

相比對(duì)機(jī)器狗拳打腳踢、在《Dota》中血虐真人玩家，讓機(jī)器做做家務(wù)簡(jiǎn)直堪稱(chēng)是最政治正確、價(jià)廉物美的訓(xùn)練方式了。

醉翁之意：做完家務(wù)，這些研究還有什么用？

在家政機(jī)器人背后，實(shí)際隱含的是一種智能體創(chuàng)生的本質(zhì)邏輯：在復(fù)雜的環(huán)境中自己探索出解決隨機(jī)和非結(jié)構(gòu)化問(wèn)題的合理方案，可以安全地與環(huán)境交互，同時(shí)高效地完成任務(wù)。

具體一點(diǎn)說(shuō)，訓(xùn)練家政機(jī)器人，主要有一下三個(gè)方面的好處：

一是培養(yǎng)更具有通用智能的機(jī)器人，在不需要過(guò)多指導(dǎo)的前提下，執(zhí)行一系列任務(wù)，提高機(jī)器自動(dòng)化的安全性和工作效率。

二是有助于開(kāi)發(fā)用于分層規(guī)劃、感知和推理的算法，可以幫助自動(dòng)駕駛、工業(yè)自動(dòng)化、智能物聯(lián)網(wǎng)等等領(lǐng)域解決應(yīng)用問(wèn)題；

三是推動(dòng)零樣本學(xué)習(xí)、少樣本學(xué)習(xí)等技術(shù)的進(jìn)步。在缺乏外部獎(jiǎng)勵(lì)信號(hào)的情況下，算法也能很好地推理出行為的意圖，可以顯著提升電商、內(nèi)容產(chǎn)品推薦系統(tǒng)的使用體驗(yàn)。

這樣，大家恐怕就不難理解，為什家務(wù)會(huì)成為通用智能體成長(zhǎng)道路上無(wú)法繞過(guò)的“墊腳石”了。

最后可能還有人想問(wèn)：不愛(ài)做家務(wù)星人，我只關(guān)心機(jī)器人啥時(shí)候能進(jìn)我家給我疊被鋪床？我只能說(shuō)：親親這邊建議直接睡覺(jué)呢夢(mèng)里什么都有~