IBM實現(xiàn)了創(chuàng)紀錄的深度學(xué)習(xí)性能：完敗Facebook微軟
昨晚，外媒都在用夸張的標題報道IBM的人工智能又立功了，例如說IBM的速度快得很抓馬云云。到底怎么回事，量子位把IBMResearch的博客全文搬運如下，大家感受一下IBM這次的捷報
深度學(xué)習(xí)是一種被廣泛使用的人工智能方法，幫助計算機按照人類的方式理解并提取圖像和聲音的含義。深度學(xué)習(xí)技術(shù)有望給各行各業(yè)帶來突破，無論是消費類移動應(yīng)用，還是醫(yī)學(xué)影像診斷。然而，工業(yè)機器人維修，深度學(xué)習(xí)技術(shù)的準確性，以及大規(guī)模部署能力仍存在技術(shù)挑戰(zhàn)，模型的訓(xùn)練時間往往需要幾天甚至幾周。
IBM研究院的團隊專注于為大型模型和大規(guī)模數(shù)據(jù)集縮短訓(xùn)練時間。我們的目標是，將深度學(xué)習(xí)訓(xùn)練的等待時間從幾天或幾小時縮短至幾分鐘或幾秒，同時優(yōu)化這些人工智能模型的準確率。為了實現(xiàn)這一目標，我們正在將深度學(xué)習(xí)部署至大量服務(wù)器和英偉達GPU，解決大挑戰(zhàn)規(guī)模的問題。
最熱門的深度學(xué)習(xí)框架可以支持在單臺服務(wù)器上的多個GPU，但無法支持多臺服務(wù)器。我們的團隊（包括MinsikCho、UliFinkler、DavidKung和他們的合作者）編寫了軟件和算法，對這種規(guī)模龐大、非常復(fù)雜的并行計算任務(wù)進行優(yōu)化，實現(xiàn)自動化。這種并行計算任務(wù)分布在數(shù)十臺服務(wù)器的數(shù)百個GPU加速處理器上。
我們的軟件可以完全同步地進行深度學(xué)習(xí)訓(xùn)練，且通信開銷很低。因此，當(dāng)我們將規(guī)模擴大至100s英偉達GPU集群時，對ImageNet-22k數(shù)據(jù)庫中750萬張圖片的識別準確率達到創(chuàng)紀錄的33.8%，高于此前的最高紀錄，即來自微軟的29.8%。
4%的準確率提升是巨大的飛躍，以往的優(yōu)化通常只能帶來不到1%的準確率提升。我們創(chuàng)新的分布式深度學(xué)習(xí)（DDL）方法不僅提高了準確率，還利用10s服務(wù)器的性能實現(xiàn)了在短短7小時時間里訓(xùn)練ResNet-101神經(jīng)網(wǎng)絡(luò)模型。這些服務(wù)器配備100s的英偉達GPU。
此前，微軟花了10天時間去訓(xùn)練同樣的模型。為了實現(xiàn)這一成績，我們開發(fā)了DDL代碼和算法，克服在擴展這些性能強大的深度學(xué)習(xí)框架時固有的問題。
這些結(jié)果采用的基準設(shè)計目標是為了測試深度學(xué)習(xí)算法和系統(tǒng)的極限，因此盡管33.8%的準確率聽起來可能不算很高，但相比于以往已有大幅提升。給予任何隨機圖像，這個受過訓(xùn)練的人工智能模型可以在2.2萬種選擇中給出最高選擇對象（Top-1精度），準確率為33.8%。
我們的技術(shù)將幫助其他人工智能模型針對特定任務(wù)進行訓(xùn)練，例如識別醫(yī)學(xué)影像中的癌細胞，提高精確度，KUKA機器人示教器維修，并使訓(xùn)練和再訓(xùn)練的時間大幅縮短。
Facebook人工智能研究部門于2017年6月在一篇論文中介紹了，他們?nèi)绾问褂酶〉臄?shù)據(jù)集（ImageNet-1k）和更小的神經(jīng)網(wǎng)絡(luò)（ResNet50）來實現(xiàn)這一成果：深度學(xué)習(xí)需要大型神經(jīng)網(wǎng)絡(luò)和大規(guī)模數(shù)據(jù)庫才能快速發(fā)展。然而，工業(yè)機器人維修，更大的網(wǎng)絡(luò)和數(shù)據(jù)庫會造成更長的訓(xùn)練時間，不利于研究和開發(fā)進度。
諷刺的是，隨著GPU的速度越來越快，在多臺服務(wù)器之間協(xié)調(diào)和優(yōu)化深度學(xué)習(xí)問題變得越來越困難。這造成了深度學(xué)習(xí)的功能缺失，促使我們?nèi)ラ_發(fā)新一類的DDL軟件，基于大規(guī)模神經(jīng)網(wǎng)絡(luò)和大規(guī)模數(shù)據(jù)集運行熱門的開源代碼，例如Tensorflow、Caffe、Torch和Chainer，實現(xiàn)更高的性能和精確度。
在這里，我們可以用盲人摸象來形容我們試圖解決的問題，以及所取得的初步成果的背景。根據(jù)維基百科上的解釋：每個盲人去摸大象身體的不同部位，但每個人只摸一部分，例如側(cè)面或象牙。然后他們根據(jù)自己的部分經(jīng)驗來描述大象。對于大象是什么，他們的描述完全不同。
盡管最初有分歧，但如果這些人有足夠多的時間，那么就可以分享足夠多的信息，拼湊出非常準確的大象圖片。
類似地，如果你有大量GPU對某個深度學(xué)習(xí)訓(xùn)練問題并行處理幾天或幾周時間，那么可以很容易地同步這些學(xué)習(xí)結(jié)果。
隨著GPU的速度越來越快，它們的學(xué)習(xí)速度也在變快。它們需要以傳統(tǒng)軟件無法實現(xiàn)的速度將學(xué)到的知識分享給其他GPU。這給系統(tǒng)網(wǎng)絡(luò)帶來了壓力，并形成了棘手的技術(shù)問題。
基本而言，更智能、速度更快的學(xué)習(xí)者（GPU）需要更強大的通信方式，否則它們就無法同步，或是不得不花大量時間去等待彼此的結(jié)果。如果是這樣，那么在使用更多、學(xué)習(xí)速度更快的GPU的情況下，你就無法加快系統(tǒng)速度，甚至有可能導(dǎo)致性能惡化。
我們利用DDL軟件解決了這種功能缺失。當(dāng)你關(guān)注擴展效率，或是在增加GPU以接近完美系統(tǒng)性能時，優(yōu)勢表現(xiàn)得最明顯。我們在實驗中試圖了解，256個GPU如何對話，以及彼此學(xué)習(xí)了什么東西。
此前對256個GPU的最佳擴展來自Facebook人工智能研究部門（FAIR）。FAIR使用了較小的學(xué)習(xí)模型ResNet-50以及較小的數(shù)據(jù)庫ImageNet-1k，后者包含約130萬張圖片。這樣做減小了計算的復(fù)雜程度。基于8192的圖片批量規(guī)模，256個英偉達GPU加速集群，以及Caffe2深度學(xué)習(xí)軟件，F(xiàn)AIR實現(xiàn)了89%的擴展效率。
如果利用ResNet-50模型以及與Facebook同樣的數(shù)據(jù)集，IBM研究院的DDL軟件基于Caffe軟件能實現(xiàn)95%的效率，如下圖所示。這一結(jié)果利用了由64個MinskyPowerS822LC系統(tǒng)組成的集群，每個系統(tǒng)中包含4個英偉達P100GPU。
如果使用更大的ResNet-101模型，以及ImageNet-22k數(shù)據(jù)庫中的750萬張圖片，圖片批量規(guī)模選擇5120，那么我們實現(xiàn)的擴展效率為88%。
此外，我們還實現(xiàn)了創(chuàng)紀錄的最快絕對訓(xùn)練時間，即50分鐘，而Facebook此前的紀錄為1小時。我們用ImageNet-1k數(shù)據(jù)庫訓(xùn)練ResNet-50模型，使用DDL將Torch擴展至256個GPU。Facebook使用Caffe2訓(xùn)練類似的模型。
對開發(fā)者和數(shù)據(jù)科學(xué)家來說，IBM研究院的DDL軟件提供了一種API（應(yīng)用程序接口），每個深度學(xué)習(xí)框架都可以掛接并擴展至多臺服務(wù)器。技術(shù)預(yù)覽版已通過PowerAI企業(yè)深度學(xué)習(xí)軟件第4版發(fā)布，任何使用深度學(xué)習(xí)技術(shù)去訓(xùn)練人工智能模型的企業(yè)都可以使用這種集群擴展功能。
我們預(yù)計，通過將這種DDL功能提供給人工智能社區(qū)，隨著其他人利用集群性能去進行人工智能模型訓(xùn)練，我們將看到準確性更高的模型運行。