人工智能（AI），可以同時(shí)操控?cái)?shù)百機(jī)器人“協(xié)同作戰(zhàn)”了。
來自康斯坦茨大學(xué)和國際理論物理中心的研究團(tuán)隊(duì)開發(fā)了一種基于 AI 的控制策略，成功讓200 個(gè)微型機(jī)器人變身為“AI 智能體”，獨(dú)立作出決策，在團(tuán)隊(duì)的協(xié)作下實(shí)現(xiàn)復(fù)雜的集體行為。
在實(shí)驗(yàn)中，微型機(jī)器人協(xié)同完成“大件物品的運(yùn)輸”任務(wù)的成功率超過了 90%，并在 3000 次動(dòng)作內(nèi)精確達(dá)成目標(biāo)。
研究團(tuán)隊(duì)表示，這種控制策略可以訓(xùn)練成群的微型機(jī)器人完成集體操縱或運(yùn)輸物體等任務(wù)，如移動(dòng)微型機(jī)械、可編程給藥膠囊和其他先進(jìn)的片上實(shí)驗(yàn)室應(yīng)用的復(fù)雜和自動(dòng)化組裝。
在演示模擬中，經(jīng)過訓(xùn)練的微型機(jī)器人群成功在無法穿越的固定障礙物面前旋轉(zhuǎn)以及把一根桿運(yùn)輸?shù)教囟ㄎ恢茫?span style="font-weight: 700;">甚至學(xué)會(huì)了利用結(jié)構(gòu)化環(huán)境，將障礙物作為鉸鏈來更高效地運(yùn)輸桿。
另外，微機(jī)器人群還能完成更復(fù)雜的集體行為，如同時(shí)旋轉(zhuǎn)兩根和三根桿。在分布式控制框架的支持下，獨(dú)立運(yùn)動(dòng)的微型機(jī)器人能夠充分發(fā)揮各自的優(yōu)勢，相互協(xié)作，實(shí)現(xiàn)對(duì)多個(gè)物體的高效操控。
在技術(shù)實(shí)現(xiàn)上，研究團(tuán)隊(duì)采用了多智能體強(qiáng)化學(xué)習(xí)（MARL）算法，并結(jié)合了“反事實(shí)獎(jiǎng)勵(lì)”（CR）機(jī)制，為每個(gè)微型機(jī)器人設(shè)計(jì)了個(gè)性化的獎(jiǎng)勵(lì)系統(tǒng)，從而引導(dǎo)其朝著集體目標(biāo)努力。
這種方法讓微型機(jī)器人在協(xié)作中學(xué)會(huì)如何優(yōu)化自己的行為，使得整個(gè)集群的表現(xiàn)更加高效。
研究還發(fā)現(xiàn)，經(jīng)過 MARL 訓(xùn)練的微型機(jī)器人能夠有效克服熱噪聲和環(huán)境噪聲，即使在一些蜂群成員出現(xiàn)故障時(shí)也能保持正常工作，還具有較強(qiáng)的魯棒性。
在實(shí)驗(yàn)中，當(dāng) 20% 的機(jī)器人出現(xiàn)故障時(shí)，集群的任務(wù)完成效率幾乎不受影響；甚至當(dāng)故障比例達(dá)到 50% 時(shí)，集群的效率仍能維持 30% 的初始水平。
相關(guān)研究論文以“Counterfactual rewards promote collective transport using individually controlled swarm microrobots”為題，已發(fā)表在科學(xué)期刊 Science Robotics 上。
值得一提的是，據(jù)個(gè)人主頁顯示，該論文的通訊作者之一顧紅日（Hongri Gu）即將履新——從 2025 年 1 月起，加入香港科技大學(xué)，擔(dān)任助理教授。
顧紅日，本科畢業(yè)于浙江大學(xué)機(jī)電工程專業(yè)，在康斯坦茨大學(xué)物理系從事科研工作期間，他與該論文的另一位通訊作者 Clemens Bechinger 教授攜手探究了活性物質(zhì)集體狀態(tài)應(yīng)用，將強(qiáng)化學(xué)習(xí)融入到微型機(jī)器人集群研究，并研究了表面間的磁摩擦，這也是這項(xiàng)研究成功的關(guān)鍵。
成功率超 90%，半數(shù)故障依然「能打」
受自然界群體行為啟發(fā)，科學(xué)家們一直在探索如何讓機(jī)器人集群協(xié)同完成復(fù)雜任務(wù)。無論是空中的微型飛行器、陸地上的機(jī)動(dòng)立方體機(jī)器人，還是水中的機(jī)器魚群，都表現(xiàn)出了群體協(xié)作的巨大潛力。
然而，微型機(jī)器人集群研究仍然面臨諸多挑戰(zhàn)。
在微觀尺度下，熱噪聲、布朗運(yùn)動(dòng)等因素干擾了機(jī)器人的軌跡，同時(shí)激光等驅(qū)動(dòng)方式在控制多個(gè)機(jī)器人時(shí)，由于彼此之間的強(qiáng)耦合作用，也進(jìn)一步增加了精確控制單個(gè)微型機(jī)器人的復(fù)雜性。隨著尺寸不斷縮小，將傳感器、微控制器、微執(zhí)行器等集成到微型機(jī)器人中變得愈加困難，這也限制了其獨(dú)立完成復(fù)雜任務(wù)的能力。另外，群體機(jī)器人控制通常依賴電、磁、聲等全局場來實(shí)現(xiàn)集體行為，但通常比較簡單且效率低下，難以滿足復(fù)雜任務(wù)的需求。
為了克服上述挑戰(zhàn)，研究團(tuán)隊(duì)結(jié)合“多智能體強(qiáng)化學(xué)習(xí)”與“反事實(shí)獎(jiǎng)勵(lì)”機(jī)制，將控制的復(fù)雜問題轉(zhuǎn)化為如何設(shè)計(jì)合適的獎(jiǎng)勵(lì)函數(shù)，從而讓每個(gè)機(jī)器人在協(xié)作中優(yōu)化行為。
然而，簡單地給所有智能體賦予相同的團(tuán)隊(duì)獎(jiǎng)勵(lì)，容易引發(fā) “懶惰智能體問題”。因此，研究團(tuán)隊(duì)在學(xué)習(xí)過程中引入了反事實(shí)獎(jiǎng)勵(lì)機(jī)制，讓機(jī)器人根據(jù)個(gè)體貢獻(xiàn)自動(dòng)優(yōu)化行為，而無需依賴復(fù)雜的環(huán)境模型，簡化了集體任務(wù)的控制過程。
圖 | 受自然啟發(fā)的獨(dú)立控制微型機(jī)器人系統(tǒng)中的大型貨物集體運(yùn)輸
研究團(tuán)隊(duì)首先聚焦于一個(gè)復(fù)雜任務(wù)——大型桿狀物體的旋轉(zhuǎn)。由于桿體尺寸較大且流體阻力顯著，單個(gè)微型機(jī)器人無法對(duì)其產(chǎn)生有效作用，必須依靠集群的協(xié)同力量才能完成任務(wù)。
為了訓(xùn)練機(jī)器人完成這一任務(wù)，團(tuán)隊(duì)使用了由 30 到 35 個(gè)微型機(jī)器人組成的集群，并通過激光驅(qū)動(dòng)控制它們圍繞桿進(jìn)行操作。在訓(xùn)練初期，由于神經(jīng)網(wǎng)絡(luò)的初始權(quán)重隨機(jī)，機(jī)器人行為十分混亂，幾乎沒有規(guī)律可言。
然而，隨著訓(xùn)練的進(jìn)行，部分機(jī)器人偶然與桿發(fā)生碰撞，產(chǎn)生微小的旋轉(zhuǎn)，并因此獲得獎(jiǎng)勵(lì)。這一反饋促使機(jī)器人逐漸意識(shí)到與桿互動(dòng)并推動(dòng)桿是獲取獎(jiǎng)勵(lì)的有效方式。
經(jīng)過約 20 個(gè)回合的訓(xùn)練，機(jī)器人集群開始協(xié)調(diào)一致地從桿的兩端施加推力，推動(dòng)桿順時(shí)針旋轉(zhuǎn)。隨著訓(xùn)練的深入，桿的旋轉(zhuǎn)速度逐漸加快并趨于穩(wěn)定，機(jī)器人之間的協(xié)作效率顯著提高，集群的整體表現(xiàn)也逐步優(yōu)化。
接下來，研究團(tuán)隊(duì)將任務(wù)難度提升，要求機(jī)器人將桿運(yùn)輸?shù)街付ㄎ恢?，并朝著預(yù)定方向進(jìn)行精準(zhǔn)控制。為了精確判斷機(jī)器人對(duì)任務(wù)的貢獻(xiàn)，研究人員采用了反事實(shí)獎(jiǎng)勵(lì)機(jī)制，將桿劃分為 60 個(gè)小片段，并通過這些片段間的成對(duì)距離變化來作為關(guān)鍵性能指標(biāo)。
實(shí)驗(yàn)結(jié)果顯示，微型機(jī)器人集群在不到 3000 次動(dòng)作的訓(xùn)練中，成功將桿推送到目標(biāo)區(qū)域，成功率高達(dá) 90% 以上。在整個(gè)任務(wù)過程中，機(jī)器人集群在任務(wù)分解、策略選擇以及協(xié)同操作方面顯示出強(qiáng)大的能力。
為了進(jìn)一步驗(yàn)證微型機(jī)器人集群的可靠性與適應(yīng)性，研究團(tuán)隊(duì)進(jìn) 行了魯棒性和可擴(kuò)展性測試。
在魯棒性測試中，研究團(tuán)隊(duì)通過引入故障情境，故意使部分機(jī)器人出現(xiàn)故障。實(shí)驗(yàn)結(jié)果表明，即使在 20% 至 50% 的機(jī)器人故障情況下，集群依然能夠保持較高的任務(wù)完成效率，當(dāng)故障比例超過 50% 時(shí)，集群的性能略有下降，但仍能維持約 30 % 的水平。
在可擴(kuò)展性測試中，研究團(tuán)隊(duì)通過改變機(jī)器人數(shù)量，考察不同規(guī)模集群的性能表現(xiàn)。結(jié)果發(fā)現(xiàn)，當(dāng)集群規(guī)模接近訓(xùn)練時(shí)的規(guī)模（約 35 個(gè)機(jī)器人）時(shí)，系統(tǒng)表現(xiàn)更佳；而當(dāng)機(jī)器人數(shù)量減少至 20 個(gè)時(shí)，集群的性能仍能保持穩(wěn)定。令人驚訝的是，即使只有 9 個(gè)機(jī)器人，集群的性能也能保持 50% 左右。然而，當(dāng)機(jī)器人數(shù)量超過訓(xùn)練規(guī)模的兩倍時(shí)，集群的性能有所下降。這是因?yàn)闄C(jī)器人之間的相互作用變得更加復(fù)雜，導(dǎo)致在有限空間內(nèi)的干擾增多，影響了整體效率。
不足與展望
這項(xiàng)研究不僅在微型機(jī)器人集群控制領(lǐng)域取得了顯著的進(jìn)展，還展示了群體智能在微觀尺度的巨大潛力，但仍然面臨一些挑戰(zhàn)。
首先，現(xiàn)有的微型機(jī)器人集群控制系統(tǒng)依賴激光驅(qū)動(dòng)，這限制了其在深層生物體內(nèi)（如人體內(nèi)的靶向藥物輸送）等復(fù)雜環(huán)境中的應(yīng)用。激光的穿透深度有限，且依賴特定推進(jìn)機(jī)制，使得這些微型機(jī)器人在某些應(yīng)用場景中面臨技術(shù)瓶頸。
此外，微型機(jī)器人仍面臨諸多硬件相關(guān)的問題，包括計(jì)算、傳感器和執(zhí)行資源的限制，以及微型執(zhí)行器在與環(huán)境和其他機(jī)器人互動(dòng)時(shí)的精度問題。這些因素都限制了微型機(jī)器人系統(tǒng)的進(jìn)一步應(yīng)用。
盡管如此，研究團(tuán)隊(duì)表示，這些微型機(jī)器人有望被用于運(yùn)輸生物樣本、病毒檢測、個(gè)性化藥物釋放等任務(wù)，甚至可能在組織工程和定制制造等領(lǐng)域得到應(yīng)用。
未來，隨著微型機(jī)器人技術(shù)的不斷發(fā)展，我們是否可以在人體內(nèi)部，甚至是在極端環(huán)境下，實(shí)現(xiàn)這些微型機(jī)器人集群的智能應(yīng)用呢？
這一邊界，或?qū)⒃谙乱淮渭夹g(shù)突破中被重新定義。