發展人工智能，庫卡機器人驅動器維修，人類需要像開跑車一樣緊盯時速表
微軟最近說自己的語音轉錄軟件在精確度方面又創造了一個新紀錄。在對一個標準集的電話錄音進行轉錄中，其系統僅錯了20個單詞這一能力已經可以與接受相同挑戰的人類匹敵。
其結果就是一系列的近期發現，這些發現被部分人認為是人工智能的發展正在加速，會對經濟造成威脅的證據。一些軟件已經證明了在識別汽車或者貓這樣的對象時自己表現比人類還要好，而Google的AlphaGo軟件已經暴虐了多位圍棋世界冠軍這一壯舉直到最近還被認為是10之后的事情。各家公司都渴望乘上這一進展的東風，在公司財報會上都會提到AI或多或少已經有了指數式的發展。
現在，一些AI觀察家正在試圖對這一技術的進展情況以及速度描繪一幅更精確的圖景。通過衡量不同領域的進展或者滯后情況，他們希望能撥開AI炒作的迷霧。該項目的目的，是讓研究人員和政策制定者對該領域哪些部分進展最迅速以及可能需要做出什么樣的回應看得更加清楚。
2016年在標準ImageNet測試中，圖像識別軟件的表現已經超過了人類。
非盈利的SRIInternational實驗室研究人員RayPerrault說：需要干這事兒的原因是大家對AI何去何從的看法都太瘋狂了。Perrault是AIIndex項目的領導之一，這個項目的目標是在今年年底發布一份該領域現狀以及進展速度的詳細快照。項目得到了OneHundredYearStudy的支持，后者是斯坦福大學在2015年設立的，旨在研究AI對社會的影響。
這些日子以來，到處都可以看到宣稱AI取得進展的消息，有些甚至是來自于快餐和牙刷的營銷者。哪怕是來自可靠的研究團隊的自吹自擂也很難評估。去年10月，微軟首先宣布自己的語音識別技術已經與人類不相上下。但IBM的研究人員和眾包公司Appen隨后證明人類的精確度其實要比微軟宣稱的高。軟件巨頭需要把自己的錯誤率再降12%才能趕上人類的表現。
過去30年下棋軟件的能力突飛猛進
ElectronicFrontierFoundation（EFF）也已經開始了自己對AI進展的衡量以及背景研究的努力。這家非營利組織正在梳理微軟等的論文，搭建一個跟蹤AI進展與表現的在線開源數據點庫。EFF的首席計算機科學家PeterEckersley說：我們希望知道真實版本的AI會有哪些緊迫的和更長期的政策影響，KUKA機器人示教器維修，而不是那些讓大家過度興奮的猜測版AI的影響。
這兩個項目都嚴重依賴于機器學習與AI方面已發布的研究。比方說，EFF的庫包括了自2012年以來表明圖像識別取得快速發展的圖表以及機器和人類在一項挑戰軟件理解童書的測試中的表現差距。AIIndex項目正在尋求將最受研究人員關注的AI子域的趨勢以圖表形式表現出來。
AIIndex還試圖監控和衡量AI在現實世界是如何應用的。比方說，Perrault說把從事這一技術的工程師數量以及流入到以AI為中心的企業的投資額記錄下來可能就很有用。其目標是找出這一研究對商業化產品產生了多大的影響。他說盡管他承認那些公司可能會不愿發布這些數據。AIIndex項目正在致力于跟蹤媒體和公眾對AI關注的程度和情緒。
Perrault說該項目應該能贏得廣大受眾，因為研究人員和基金會非常渴望看到AI的哪些領域勢頭最好，或者需要支持和新思路。他說銀行和咨詢公司已經給他們打電話了，希望能對AI的真實情況能夠有更好的了解。技術產業跟衡量和預測計算機處理器進展情況的摩爾定律數十年的羅曼史，KUKA機器人維修，說明展示AI進展情況的圖表很容易能夠在硅谷找到受眾。
這類衡量手段對政府官員和監管當局應對更智能的軟件在隱私等領域的影響有多少幫助就沒那么清楚了。華盛頓大學法律教授RyanCalo最近提出了一份有關AI政策問題的詳細路線圖，他說：我不太確定這能有多大用處。他認為決策者需要對底層技術有較高層面的把握，并且對價值觀有強烈的感受，而不是這些細顆粒的進展情況衡量。
EFF的Eckersley認為，隨著時間轉移AI跟蹤項目會變得更加有用。比方說，可以跟蹤軟件程序對特定工人核心任務進行自動化的進展情況，有了這些數據的支撐，有關失業的爭論會更加有依據。Eckersley說，對該領域進展情況進行衡量讓他確信提高AI系統可信賴度的重要性。他說：AI系統的安全性是一個重大也許甚至是緊迫的研究領域，這個看法得到了我們收集的數據的支持。
學術界以及Google等公司的研究人員最近已經在研究如何給AI軟件設置機關來防止發生不當行為。隨著各家公司爭先恐后讓軟件來控制汽車等更常見技術，衡量如何讓AI保持安全可靠的進展情況可能是最重要的。