近年來(lái)AI是最令人印象深刻的發(fā)展，阿姆斯特丹的一組研究人員試圖采用一個(gè)非常簡(jiǎn)單的移動(dòng)機(jī)器人，并創(chuàng)建一個(gè)可以通過(guò)邊做邊學(xué)的過(guò)程來(lái)學(xué)習(xí)如何優(yōu)化其運(yùn)動(dòng)的系統(tǒng)。研究人員開(kāi)發(fā)的系統(tǒng)雖然靈活且有效，但由于現(xiàn)實(shí)世界中的一些基本特征（例如摩擦）而遇到了麻煩。

這項(xiàng)研究中的機(jī)器人非常簡(jiǎn)單，由不同數(shù)量的相同單元組成。每個(gè)都有一個(gè)內(nèi)置的控制器、電池和運(yùn)動(dòng)傳感器。泵控制一塊充氣管，該充氣管將一個(gè)單元連接到一個(gè)相鄰的單元。充氣時(shí)，管道會(huì)產(chǎn)生將兩個(gè)單元分開(kāi)的力。放氣后，管道會(huì)將單元拉回原處。

將這些單元鏈接在一起便創(chuàng)建了一部自行式火車(chē)。給定一系列適當(dāng)?shù)某錃夂头艢?，各個(gè)單元可以以協(xié)調(diào)的方式相互拖動(dòng)和推動(dòng)，從而提供一種定向運(yùn)動(dòng)，使該系統(tǒng)像蠕蟲(chóng)一樣被推動(dòng)。找出發(fā)送給控制充氣的泵的最佳命令系列相對(duì)簡(jiǎn)單，但很有趣。因此，這項(xiàng)新工作背后的研究人員決定查看該系統(tǒng)是否可以?xún)?yōu)化其自身的運(yùn)動(dòng)。

每個(gè)部門(mén)都可以獨(dú)立行動(dòng)，并獲得一套簡(jiǎn)單的規(guī)則。充放氣設(shè)置為每?jī)擅腌娧h(huán)一次，唯一可調(diào)整的參數(shù)是在該2秒窗口內(nèi)泵將打開(kāi)（其開(kāi)啟時(shí)間少于一秒鐘）的時(shí)間。鏈中的每個(gè)單元都會(huì)隨機(jī)選擇一個(gè)開(kāi)始時(shí)間，使用幾個(gè)周期，然后使用系統(tǒng)的板載傳感器確定機(jī)器人移動(dòng)了多遠(yuǎn)。在學(xué)習(xí)期間隨機(jī)選擇開(kāi)始時(shí)間，然后在優(yōu)化期間進(jìn)行采樣，在此期間對(duì)最佳執(zhí)行時(shí)間周?chē)膮^(qū)域進(jìn)行采樣。

至關(guān)重要的是，鏈條中的每個(gè)單元都完全獨(dú)立運(yùn)行，而不知道其他單元在做什么。向前運(yùn)動(dòng)所需的協(xié)調(diào)性是自發(fā)出現(xiàn)的。

研究人員首先將兩個(gè)機(jī)器人和一個(gè)惰性塊連接到火車(chē)上，然后將系統(tǒng)放置在圓形軌道上。一些火車(chē)只用了大約80秒就達(dá)到了可能的最大速度，這是每秒僅超過(guò)2毫米的莊嚴(yán)步伐。正如模型系統(tǒng)中的仿真所證實(shí)的那樣，該硬件無(wú)法更快地運(yùn)行。

但是問(wèn)題立即顯現(xiàn)出來(lái)。一些系統(tǒng)陷入了局部最小值，其優(yōu)化速度僅為最大值的四分之一。當(dāng)團(tuán)隊(duì)向火車(chē)添加第三個(gè)機(jī)器人時(shí)，事情以不同的方式進(jìn)行得很差。

同樣，系統(tǒng)僅用了幾分鐘就達(dá)到了仿真中看到的最大速度。但是，一旦達(dá)到這種速度，大多數(shù)系統(tǒng)似乎就會(huì)開(kāi)始變慢。那應(yīng)該是不可能的，因?yàn)檫@些裝置始終會(huì)節(jié)省與其達(dá)到的最大速度相關(guān)的循環(huán)開(kāi)始時(shí)間。因?yàn)樗麄冇肋h(yuǎn)不要故意選擇較低的速度，所以沒(méi)有理由他們應(yīng)該放慢速度。

幸運(yùn)的是，團(tuán)隊(duì)中的某人注意到系統(tǒng)沒(méi)有出現(xiàn)統(tǒng)一的速度下降。相反，他們?cè)谫惖郎系奶囟ㄎ恢脦缀跬Ｏ聛?lái)，這表明他們?cè)谶@些位置遇到摩擦問(wèn)題。即使機(jī)器人繼續(xù)在軌道上的其他位置執(zhí)行與最大速度相關(guān)的動(dòng)作，但它們?nèi)栽谶@樣的位置進(jìn)行操作，在該位置上，一系列不同的動(dòng)作可能會(huì)更有效地通過(guò)摩擦產(chǎn)生動(dòng)力。

為了解決此問(wèn)題，研究人員進(jìn)行了一些重新編程。最初，系統(tǒng)只是尋找最大速度并存儲(chǔ)該速度和與此相關(guān)的充氣周期開(kāi)始時(shí)間。切換后，系統(tǒng)始終保存最新的速度，但僅在存儲(chǔ)的速度慢于最近的速度時(shí)才更新開(kāi)始時(shí)間。如果系統(tǒng)遇到問(wèn)題并顯著降低速度，則可以找到一種最佳的供電方式，然后針對(duì)其最佳速度進(jìn)行重新優(yōu)化。

期望與現(xiàn)實(shí)之間的錯(cuò)誤冒險(xiǎn)并沒(méi)有就此結(jié)束。為了測(cè)試系統(tǒng)是否可以學(xué)習(xí)從故障中恢復(fù)，研究人員將釋放閥鎖定在其中一個(gè)單元中，迫使其始終處于充氣狀態(tài)。該算法進(jìn)行了重新優(yōu)化，但研究人員發(fā)現(xiàn)，即使泵沒(méi)有推動(dòng)任何空氣，當(dāng)泵仍然打開(kāi)和關(guān)閉時(shí)，它的效果甚至更好。顯然，振動(dòng)有助于限制摩擦，否則摩擦可能會(huì)使整個(gè)系統(tǒng)癱瘓。

嘗試將啟動(dòng)時(shí)間逼近最大的精煉系統(tǒng)，一旦火車(chē)長(zhǎng)到足夠長(zhǎng)的時(shí)間，也發(fā)現(xiàn)它是有問(wèn)題的。以一個(gè)有七個(gè)車(chē)廂的例子為例，該系統(tǒng)通常會(huì)達(dá)到最大速度，但很快就會(huì)減速下來(lái)。顯然，當(dāng)火車(chē)很小時(shí)，可以接受在精煉期間測(cè)試的微小變化，但是一旦火車(chē)足夠長(zhǎng)，它們就會(huì)使太多的汽車(chē)不同步。

即使在簡(jiǎn)單的系統(tǒng)上使用，整個(gè)系統(tǒng)仍然非常有效。它采用了兩個(gè)簡(jiǎn)單的屬性，并將它們轉(zhuǎn)變?yōu)榭梢詫?duì)環(huán)境變化（例如摩擦）做出響應(yīng)的自學(xué)習(xí)系統(tǒng)。該系統(tǒng)具有可擴(kuò)展性，因?yàn)樗梢院芎玫剡m應(yīng)各種列車(chē)長(zhǎng)度的系統(tǒng)。而且它對(duì)損壞的抵抗力很強(qiáng)，例如當(dāng)研究人員堵住閥門(mén)時(shí)。在另一個(gè)實(shí)驗(yàn)中，研究人員將火車(chē)切成兩半，兩個(gè)半部分重新優(yōu)化了速度。