深度學習要另起爐灶，徹底拋棄反向傳播？
在深度學習才開始流行但是沒有像如今這么成熟的時候（2011年），Hinton等人就已經開始思考一個問題：深度學習依賴的反向傳播算法（back-prop）在生物學上是很難成立的，很難相信神經系統能夠自動形成與正向傳播對應的反向傳播結構（這需要精準地求導數，對矩陣轉置，利用鏈式法則，并且解剖學上從來也沒有發現這樣的系統存在的證據）。
另外一點是，神經系統是有分層的（比如視覺系統有V1,V2等等分層），但是層數不可能像現在的大型神經網絡一樣動不動就成百上千層（而且生物學上也不支持如此，神經傳導速度很慢，不像用GPU計算神經網絡一層可能在微秒量級，生物系統傳導一次一般在ms量級，這么多層數不可能支持我們現在這樣的反應速度，并且同步也存在問題）。
但是有趣的是，目前大多數研究指出，大腦皮層中普遍存在一種稱為Corticalminicolumn的柱狀結構，庫卡機器人驅動器維修，其內部含有上百個神經元，并存在分層。這意味著人腦中的一層并不是類似現在神經網絡的一層，而是有復雜的內部結構。
不過Hinton也沒有料到后來CNN發展的如此火，他當時的這篇論文沒有怎么受到關注。這幾年他也沒有繼續關注這個問題，因為CNN，LSTM,NTM等等問題太多太有趣。
不過到現在，CNN的發展似乎到了一個瓶頸：特別大，特別深的網絡；容易被對抗樣本欺騙；仍然需要大量訓練數據；無監督學習方面進展很少。
Hinton在題主給的視頻中重新分析了一下目前CNN的問題，主要集中在Pooling方面（我認為可以推廣到下采樣，因為現在很多CNN用卷積下采樣代替Pooling層）。Hinton認為，過去人們對Pooling的看法是能夠帶來invariance的效果，也就是當內容發生很小的變化的時候（以及一些平移旋轉），CNN仍然能夠穩定識別對應內容。
Hinton覺得這是一個錯誤的方向。他給出了一個心理學實驗的例子，這個例子要求判斷兩個R是否是一樣的，僅僅因為旋轉導致不同：
（幾乎所有）人的做法是下意識的旋轉左側的R，看它們是否重合。
但是按照CNN的invariance的想法完全不是這么做。如果你對訓練神經網絡有經驗，你可能會想到我們在做圖像預處理和數據拓增的時候，會把某些圖片旋轉一些角度，作為新的樣本，給神經網絡識別。這樣CNN能夠做到對旋轉的invarience，并且是直覺上的invariance，根本不需要像人那樣去旋轉圖片，它直接就忽視了旋轉，因為我們希望它對旋轉invariance。
CNN同樣強調對空間的invariance，也就是對物體的平移之類的不敏感（物體不同的位置不影響它的識別）。這當然極大地提高了識別正確率，但是對于移動的數據（比如視頻），或者我們需要檢測物體具體的位置的時候，CNN本身很難做，機器人維修，需要一些滑動窗口，或者R-CNN之類的方法，這些方法很反常（幾乎肯定在生物學中不存在對應結構），而且極難解釋為什么大腦在識別靜態圖像和觀察運動場景等差異很大的視覺功能時，幾乎使用同一套視覺系統。
因此Hinton認為，人腦做到的是equivariance，也就是能夠檢測到平移、選轉等等各種差異，但是能夠認識到他們在某些視覺問題場景下是相同的，某些場景下應該有所區別，而不是像CNN一樣為了追求單一的識別率，用invariance掩蓋這些差異。
于是Hinton重新開始關注Capsules的問題，希望從中有所突破，解決之前深度學習中的很多問題。如果確實能夠解決這些問題，Hinton有勇氣完全拋棄之前的體系結構，從0開始。
這是Hinton最近被NIPS接受的關于Capsules論文DynamicRoutingbetweenCapsules（未發表）。其在MNIST上非常成功，識別率達到了新高，同時解決了CNN難以識別重疊圖像等問題。
注：上文中equivalence改為了equivariance，這是更準確的說法
一些分析
雖然現在只有論文摘要，以及Hinton最近的視頻，我們還是可以分析一下Hinton的想法和追求：
可解釋性。
按照Hinton的說法，Capsule是一組神經元，這組神經元的激發向量可以代表對應于一類實體（比如一個物體，或者一個物體的部件）的實例參數（instantiationparameters）。這個說法非常像Hinton曾經提的專家積（ProductsofExperts）[1]的概念，他用這個概念解釋著名的對比散度（contrastivedivergence）算法[2]。更為人熟知的是AndrewY.Ng的關于自動從視頻中識別貓臉的實驗[3]，這些實驗都暗示了某個神經元可以代表代表某些物體實例（祖母細胞假說）。但是我們知道，某個神經元自身是個簡單的數學變換，其自身不能起到決定性的作用。CNN等能夠自動抽取圖像特征等等性質已經為人熟知，但是到底是哪些神經元或者哪些結構起了作用？這個很難回答。現代大多數神經網絡的結構是相對整體且比較粗糙的，很難解釋其內部的具體作用機制，因此我們常常把神經網絡稱為黑盒模型�，F在有了Capsule后，我們或許可以以Capsule為單位分析得出每個Capsule具體的作用，這樣可解釋性要強很多。
注：從視頻中看Hinton所說的instantiationparameters應該是指表征以下內容的參數：
1.某類物體出現的概率
2.物體的一般姿態（generalizedpose），包括位置，方向，尺寸，速度，庫卡機器人何服電機維修，顏色等等
因果性。
這是Hinton在視頻中重點提到的，也是很多機器學習專家關心的東西�，F在的神經網絡缺乏某種推斷的機制，更多是目標函數最大化下的函數擬合。我們知道網絡能夠正確分類某個圖片，但是為什么？圖片中什么部分或者條件才導致網絡得出這個結論？如果分類出錯了，又是什么具體的部分或者條件誤導了它？這些我們都不是非常清楚，大部分時候僅僅靠調參提高結果。而論文中DynamicRouting，就是希望能夠形成一種機制，讓網絡能夠將適合Capsule_A處理的內容，路由到Capsule_A讓其處理。這樣就形成了某種推斷鏈。找到最好的（處理）路徑等價于（正確）處理了圖像，Hinton這樣解釋。
Hinton指出，原先的Pooling，類似于靜態的routing，僅僅把上面的結果原地交給下面一層的神經元。（下面圖片中DynamicRouting僅供示意，具體實現要看發表出來的論文）
無監督學習。
這點也是Hinton強調的（原話似乎是Ahumandoesnotknowsomuchlabels）。Hinton估計有在Capsule基礎上做無監督研究的意向，在之前的[4]中Hinton已經用Capsule實現了自編碼器。
如何看待Hinton重新提出的Capsule?
首先這個工作成功或者不成功都是很正常的，就算Capsule真的會成為以后的趨勢，Hinton也未必這么快找到正確的訓練算法；就算Hinton找到了正確的訓練算法，也沒有人能夠保證，Capsules的數量不到人腦中mini-columns數量的時候，能夠起達到人類的識別率（何況現在CNN雖然問題很多，但是識別率很多已經超過人類了）。