翻譯沒有唯一標準答案,它更像一種藝術。
14日晚,微軟亞洲研究院與雷德蒙研究院的研究人員宣布,其研發的機器翻譯系統在通用新聞報道測試集newstest2017的中-英測試集上,達到了可與人工翻譯媲美的水平;這是首個在新聞報道的翻譯質量和準確率上可以比肩人工翻譯的翻譯系統。
newstest2017測試集由來自產業界和學術界的團隊共同開發完成,并于2017年在WMT17大會上發布。而新聞(news)測試集則是三類翻譯測試集中的一個,其他兩類為生物醫學(biomedical)和多模式(multimodal)。
四大技術
我們知道,對于同一個意思人類可以用不同的句子來表達,因此翻譯并沒有標準答案,即使是兩位專業的翻譯人員對于完全相同的句子也會有略微不同的翻譯,而且兩個人的翻譯都不錯。微軟亞洲研究院副院長、自然語言計算組負責人周明表示:這也是為什么機器翻譯比純粹的模式識別任務復雜得多,人們可能用不同的詞語來表達完全相同的意思,KUKA機器人示教器維修,但未必能準確判斷哪一個更好。
這也是為什么科研人員在機器翻譯上攻堅了數十年,甚至曾經很多人都認為機器翻譯永遠不可能達到人類翻譯的水平。近兩年隨著深度神經網絡的引入,機器翻譯的表現取得了很多顯著的提升,翻譯結果相較于以往的統計機器翻譯結果更加的自然流暢。
據了解,在這次的工作中來自微軟亞洲研究院和雷德蒙研究院的三個研究組通過多次交流合作,將他們的研究工作相結合,再次更進一步地提高了機器翻譯的質量,其中用到的技術包括對偶學習(DualLearning)、推敲網絡(DeliberationNetworks)、聯合訓練(JointTraining)和一致性規范(AgreementRegularization)等。
對偶無監督學習框架
對偶學習,即利用任務的對偶結構來進行學習。例如,KUKA機器人維修,在翻譯領域,我們關心從英文翻譯到中文,也同樣關心從中文翻譯回英文。由于存在這樣的對偶結構,兩個任務可以互相提供反饋信息,而這些反饋信息可以用來訓練深度學習模型。也就是說,即便沒有人為標注的數據,有了對偶結構也可以做深度學習。另一方面,兩個對偶任務可以互相充當對方的環境,這樣就不必與真實的環境做交互,兩個對偶任務之間的交互就可以產生有效的反饋信號。因此,充分地利用對偶結構,就有望解決深度學習和增強學習的瓶頸訓練數據從哪里來、與環境的交互怎么持續進行等問題。
推敲網絡的解碼過程
推敲網絡中的推敲二字可以認為是來源于人類閱讀、寫文章以及做其他任務時候的一種行為方式,即任務完成之后,并不當即終止,而是會反復推敲。微軟亞洲研究院機器學習組將這個過程沿用到了機器學習中。推敲網絡具有兩段解碼器,其中第一階段解碼器用于解碼生成原始序列,第二階段解碼器通過推敲的過程打磨和潤色原始語句。后者了解全局信息,在機器翻譯中看,它可以基于第一階段生成的語句,工業機器人維修,產生更好的翻譯結果。
聯合訓練:從源語言到目標語言翻譯(SourcetoTarget)P(y|x)與從目標語言到源語言翻譯(TargettoSource)P(x|y)
聯合訓練可以認為是從源語言到目標語言翻譯(SourcetoTarget)的學習與從目標語言到源語言翻譯(TargettoSource)的學習的結合。中英翻譯和英中翻譯都使用初始并行數據來訓練,在每次訓練的迭代過程中,中英翻譯系統將中文句子翻譯成英文句子,從而獲得新的句對,而該句對又可以反過來補充到英中翻譯系統的數據集中。同理,這個過程也可以反向進行。這樣雙向融合不僅使得兩個系統的訓練數據集大大增加,而且準確率也大幅提高。
一致性規范:從左到右P(y|x,theta->)和從右到左P(y|x,theta