OpenAI和Google是如何預防人工智能失控的？
在剛過去的周末，OpenAI的人工智能花了10分鐘就打敗了人類的Dota世界冠軍。正如許多讀者所知，游戲是許多研發人員用來訓練人工智能的工具。
在OpenAI位于舊金山的辦公室里，研究人員DarioAmodei正在通過賽船冠軍賽（CoastRunners）來訓練人工智能。不過，這個人工智能好像有點失控了。
賽船冠軍賽的游戲規則很簡單，如果想贏，選手必須收集到最多的分數，然后跨過終點線。
但Amodei的人工智能玩著玩著有點過火了，它在不斷地追求高分，非但毫無跨過終點線的意思，反倒為了要多轉幾個圈拿高分，它開始和其它賽船碰撞，或是在過程中自己撞墻爆炸了。
為了應對，Amodei和OpenAI的同事PaulChristiano正在研發一套不僅可以自我學習，同時也愿意接受人工監控的算法。
（Amodei在告知人工智能，怎樣的操作模式才更好）
在賽船游戲的訓練中，Amodei和同事將不時通過按鍵來指出人工智能的不當之處，告知人工智能，不僅要贏分數，同時也要跨過終點線。他們認為，這種包含了人工干預成分的算法可以確保系統安全性。
而在Google旗下DeepMind的研究人員也同意Amodei和同事的想法。兩個團隊，m.twshmhelmet.com，分別代表了OpenAI和DeepMind，最近罕有地合作發表了部分人工智能安全方面的研究論文。
除此以外，Google旗下的GoogleBrain，以及來自伯克利大學和斯坦福大學的研究團隊，都設有該方向研究課題，從不同方面考慮人工智能安全問題。
除了這種在自我學習過程中搞錯重點的潛在危險，另一個可預想的人工智能危險在于為了完成任務，拒絕被開發者關機。
一般在設計人工智能時，研發人員都會給它設定目標，就像賽艇游戲中的得分一樣。一旦人工智能將獲得分數為終極目標，它可能會產生一個方法論想要獲得更加多的分數，其中一個方法就是不關閉自己，m.twshmhelmet.com，這樣就能無止境地獲取分數了。
伯克利大學的研究人員DylanHadfield-Menell和團隊最近發布了討論這個問題的論文。他們認為，如果在設計算法的時候，讓人工智能對目標保持一定不確定性，它們才有可能愿意保留自己的關機鍵。他們采用了數字方式來嘗試實現這個設置，目前還處于理論階段。
除了人工智能自我失控，研究人員還在考慮黑客對人工智能的干預影響。
現代計算機視覺基于深度神經網絡（deepneuralnetworks），它通過學習分析大批量數據來形成對模式的了解。也就是說，如果要讓計算機學會什么是狗，那就讓它分析大批量狗的圖片，并從中尋找規律。
但Google的IanGoodfellow則認為，這種模式可能會為黑客提供蒙騙人工智能的機會。Goodfellow和其它研究人員曾展示，庫卡機器人驅動器維修，只要修改圖片中的幾個特定像素，他們就能讓神經網絡相信圖片中的大象是一輛汽車。
如果這個神經網絡是應用在安保鏡頭的話，這樣就問題大了。
即便你用了數百萬張標志了‘人’的照片來訓練一個物件識別系統，你還是可以輕易拿出系統和人工識別100%不同意的圖片。我們需要認清這種現象。
Goodfellow說道。雖然這些研究大多仍處于理論階段，但這群致力于將意外扼制于搖籃的研究人員堅信，越早開始考慮這個問題越好。DeepMind人工智能安全方面的負責人ShaneLegg說道：
雖然我們還不能確定，人工智能將以多塊地速度發展。但我們的責任是嘗試理解并猜測，這種技術將有可能以哪種方式被誤用，并嘗試找出不同的應對方式。