當AI具有人類大腦的進化能力，機器能產(chǎn)生“智慧”嗎？
神經(jīng)進化正在復(fù)興。主要的人工智能實驗室和研究人員正在試驗它，一絲新的成功點燃了更多的熱情，能對于深度學習產(chǎn)生影響的新機遇正在出現(xiàn)。也許你在深度學習所有的激動人心的時刻并沒有聽到過神經(jīng)進化，但它只是潛行于表面之下，作為一個小的熱情的研究社區(qū)的課題存在了幾十年。現(xiàn)在它正伴隨著大眾對于它的潛力的了解而開始獲得更多的關(guān)注。
簡單來說，神經(jīng)進化是人工智能和機器學習領(lǐng)域的一個分支。它力圖觸發(fā)一個和產(chǎn)生我們?nèi)祟惔竽X類似的進化過程，只不過這個過程是在計算機里實現(xiàn)的。換句話說，神經(jīng)進化試圖開發(fā)通過進化算法去尋找進化神經(jīng)網(wǎng)絡(luò)的方法。
當我在上世紀九十年代末期第一次開始人工智能的研究的時候，關(guān)于可以在計算機里去進化大腦的想法和我想冒險的感覺產(chǎn)生了共鳴。在當時這還是一個不尋常的、甚至是很含糊的領(lǐng)域。但我對這個思想非常好奇而且也很有親切感。結(jié)果就是我生命里的20多年都在思考這個主題，并和杰出的同事一起開發(fā)出了一系列的算法，比如NEAT、HyperNEAT和新穎性搜索（noveltysearch）。在本博文里，我希望能帶給你神經(jīng)進化的一些激動人心的部分，并對這個主題給出一些洞見，但不會有科學文獻里那些讓人頭暈的術(shù)語。我也會部分采用自傳回顧的視角來把我在這個領(lǐng)域里摸爬滾打的經(jīng)歷講述一下。我希望我自己的故事能為更多的讀者打開一扇探索在計算機里進化大腦的窗戶。
深度學習的成功
如果你最近一直在跟蹤人工智能或是機器學習領(lǐng)域，你可以已經(jīng)聽說了深度學習。要感謝深度學習，計算機已經(jīng)在諸如圖像識別和控制無人駕駛汽車（甚至是控制電子游戲的角色）這樣的任務(wù)上接近或是有時超越人類的表現(xiàn)。這些成就已經(jīng)幫助深度學習和人工智能從默默無聞的學術(shù)期刊里一躍出現(xiàn)在大眾傳媒上，并激發(fā)了公眾的想象力。那么在深度學習的背后是什么使這一成功成為可能？
實際上，在深度學習的表面下是一個已經(jīng)有幾十年歷史的技術(shù)的最新形式，它就是人工神經(jīng)網(wǎng)絡(luò)（ANN）。與很多AI領(lǐng)域里的思想一樣，ANN也是來自生物學的靈感。對ANN來說，它是模擬人類的大腦。我們之所以選擇大腦作為AI的靈感來源，是因為大腦是迄今為止唯一明確的智能載體。當我們想實現(xiàn)人工智能時，在某種程度上，模仿大腦應(yīng)該是一個講得通的思路。大腦的一個關(guān)鍵組件就是神經(jīng)元。它是一個很小的細胞，可以通過連接想其他的神經(jīng)元發(fā)送信號。當非常多的神經(jīng)元彼此連接形成一個網(wǎng)絡(luò)（正如大腦里就是這樣），我們稱之為一個神經(jīng)網(wǎng)絡(luò)。因此，一個ANN就是試圖模仿類似神經(jīng)元這樣可以相互間發(fā)送信號的組件的集合。這就是在深度學習里面的深度網(wǎng)絡(luò)背后的機理。
ANN的研究人員通過程序來模擬這些神經(jīng)元以及在他們中間傳輸?shù)男盘枺@得了一個比較模糊的模擬大腦里發(fā)生的事情的過程。當然，這兩者間是有著非常多的不同的。但真正的挑戰(zhàn)是，僅僅只是簡單地把一堆類似神經(jīng)元的元素彼此相連并讓他們相互間共享信號并不能產(chǎn)生智慧。相反的，智慧是精確地來源于神經(jīng)元是如何連接的。
例如，一個神經(jīng)元強烈地影響著另外一個神經(jīng)元被稱為有一個很大的權(quán)重連接到它的伙伴。在這里，這個連接的權(quán)重決定了神經(jīng)元是如何彼此影響的，從而產(chǎn)生了一個神經(jīng)網(wǎng)絡(luò)里神經(jīng)激活的特定模式，來響應(yīng)到達神經(jīng)網(wǎng)絡(luò)的輸入（比如，來自眼睛的輸入）。要想得到一個智能的網(wǎng)絡(luò)，相應(yīng)的挑戰(zhàn)就變成了如何決定網(wǎng)絡(luò)連接的權(quán)重的問題。
通常，沒人會通過手工計算得出連接的權(quán)重（考慮到現(xiàn)代的ANN一般都有上百萬個連接，你就能明白為什么手工的方法不現(xiàn)實了）。相反的，為某個任務(wù)找到正確的連接權(quán)重就被看成了一個學習的問題。換句話說，就是研究人員花費了大量的精力去發(fā)明讓ANN自己去為特定的任務(wù)學習最佳權(quán)重的方法。最常見的學習權(quán)重的方法就是把ANN的輸出（比如，那個看著像是條狗）和標準答案去比較，然后通過特定原則里的數(shù)學公式來改變權(quán)重，從而使下一次輸出正確的可能性更大。
在經(jīng)過這樣無數(shù)次的比對樣例（可能會有上百萬個）的訓(xùn)練后，神經(jīng)網(wǎng)絡(luò)就開始能夠分配正確的權(quán)重來準確地回答各種各樣的問題了。經(jīng)常性的，神經(jīng)網(wǎng)絡(luò)的能力甚至能泛化到可以回答它沒有碰到過的問題，只要這些問題和之前訓(xùn)練里看到的問題差別不那么大。到此為止，ANN基本上學會了去應(yīng)對特定的問題了。一種常見的調(diào)整權(quán)重的方法就是隨機梯度下降法，它是之前提到的深度學習里面非常流行的一個組件。最近幾年的深度學習的實現(xiàn)基本上是對由非常多層的神經(jīng)元（這就是為什么叫深度的原因）構(gòu)成的ANN進行海量的訓(xùn)練。這也得益于近年來出現(xiàn)的強大的計算硬件的幫助。
但這里有一個我還沒提到的問題，即我們首先如何決定誰連接到誰？換句話說，就是我們的大腦不只是由連接權(quán)重決定的，它還是由大腦內(nèi)部的結(jié)構(gòu)決定的。隨機梯度下降甚至都沒法去解決這個問題，而只是盡力去優(yōu)化給它的連接。
這些連接是怎么來的？在深度學習里，答案就是：它們基本是由研究人員基于一定程度的經(jīng)驗來決定整個網(wǎng)絡(luò)的架構(gòu)是什么樣的。與之相對的，自然界的大腦的結(jié)構(gòu)則是通過進化形成的。我們?nèi)祟惔竽X里的100萬億個連接的架構(gòu)是來自于數(shù)百萬年的優(yōu)勝劣汰的自然選擇過程后進化來的。
我們大腦的架構(gòu)是超級無敵。畢竟毫不夸張地說，人類的智慧都集中在那里。這實際上就意味著自然界里的大腦的進化是迄今為止唯一已知的產(chǎn)生強智慧的過程。神經(jīng)進化學的目標就是在計算機里觸發(fā)一個類似的進化過程。從這個方面講，神經(jīng)進化學是人工智能專業(yè)里唯一的一個有著實際的概念證明（大腦確實是進化來的）的分支。我們知道這是一條可以產(chǎn)生智慧的道路。
說的更清楚點，深度學習傳統(tǒng)上關(guān)注于對ANN編程來學習，而神經(jīng)進化則側(cè)重于大腦網(wǎng)絡(luò)自身的原始架構(gòu)。它可以包括誰和誰來連接、連接的權(quán)重以及（有時）這些連接如何允許被改變。當然，這兩個領(lǐng)域是有一些交叉的。比如ANN依然需要為特定任務(wù)進行學習，無論是否進化過。有可能進化得到的ANN可以利用深度學習里的方法（比如隨機梯度下降）來獲得恰當?shù)臋?quán)重。實際上，深度學習甚至可以被認為是神經(jīng)進化的一個兄弟。它研究的是如何對于一個ANN（無論是進化來的還是預(yù)先定義）的架構(gòu)來學習連接的權(quán)重。
但是，學習機制自身是可以進化的觀點也是可能的，從而讓神經(jīng)進化有著能超越或是更詳細地說明傳統(tǒng)的深度學習的潛力。簡而言之，大腦（包括它的架構(gòu)和如何學習）是自然選擇的產(chǎn)物。而神經(jīng)進化可以探索大腦出現(xiàn)的所有因素，或是借鑒深度學習的某些方面而讓進化來決定其他的部分。
神經(jīng)進化是怎么工作的