起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識MetaNMT ：來自MAML與NLP的溫柔救贖
新神經機器翻譯方法MetaNMT一經提出，就憑借其在低資源神經機器翻譯上的優越性能表現而備受學界褒獎。MetaNMT的優異表現還要歸功于MAML——與模型無關的元學習，使得MetaNMT與傳統的NLP不同，能夠更加高效地完成任務。
過去十年，隨著Attention模型、LSTM、記憶Memory等等方法的出現，尤其是在神經網絡的加持下，機器翻譯的水平取得了長足的進步。
在英法、中英這樣的大語種（Rich Language）翻譯任務上，機器的表現幾乎可以媲美人類的水平。甚至已經開始登堂入室，承接了不少國際大會的翻譯業務，讓人類翻譯感受到了深深的失業焦慮。
然而，神經機器翻譯（NMT）的成功，往往依賴于以大量高質量的雙語語料作為訓練數據。如果是蒙古語、印度語這些小語種，無法提供足夠多的雙語數據，更極端的現實情況是，有些語言幾乎沒有任何雙語預料，這種情況下NMT就無能為力了。
標注數據資源的貧乏問題，一直沒有什么好的解決辦法。
因此，來自香港大學、紐約大學的研究人員Jiatao Gu、Yong Wang等人，提出了新神經機器翻譯方法——MetaNMT。
論文一經發表，就憑借在低資源神經機器翻譯（NMT）上的優異性能表現驚艷了學界，成為2018年最具影響力的NLP創新之一。論文不僅被NLP領域領先的會議EMNLP收錄，還拿下了Facebook的低資源神經機器翻譯獎。
今天，我們就來看看MetaNMT方法究竟有何過人之處？
什么是MetaNMT算法？
簡單來說：MetaNMT算法就是將元學習算法（MAML），用于低資源神經機器翻譯（NMT）中。將翻譯問題建構為元學習問題，從而解決低資源語言語料匱乏的難題。
研究人員先使用許多高資源語言（比如英語和法語），訓練出了一個表現極佳的初始參數，然后使構建一個所有語言的詞匯表。再以初始參數/模型為基礎，訓練低資源語言的翻譯（比如英語VS希伯來語，法語VS希伯來語）。
在此基礎上，進行進一步優化初始模型，最終得到的模型就可以很好地提升小語種翻譯模型的性能。
具體到實驗中，研究人員使用十八種歐洲語言所訓練的元學習策略，被應用在以五種小語種語言（Ro，Lv，Fi，Tr和Ko）為目標的任務中。
結果證明：通過16000個翻譯單詞（約600個并行句子），羅馬尼亞語-英語WMT’16上實現高達22.04 BLEU。
數據顯示：MetaNMT訓練出的系統，表現要明顯優于基于多語言遷移學習。
這意味著：只需要一小部分的訓練樣例，我們就能訓練出效果更好的NMT系統。很多語料庫非常小的語言，機器翻譯時也不會再一籌莫展或者胡言亂語了。
NLP的神助攻：元學習強在何處？
MetaNMT之所以取得如此良好的效果，核心就在于引入的MAML（Model Agnostic Meta Learning）——即與模型無關的元學習方法。
簡單來說，元學習就是要讓智能體利用以往的知識經驗“學會如何學習”（Learning to learn），然后更高效地完成新任務。
傳統NLP任務中常用的遷移學習（transfer leaning）或多任務學習（Multi-Task Learning），輸入端訓練得到的編碼器（Encoder），會直接轉化為對應的向量表示序列，直指目標任務。
而MetaNMT，則是通過高資源語言系統的訓練，得到一個獨立于原任務的通用策略方法，再讓極低資源的語言系統根據這種學習方法，并反復地模擬訓練。
過去，元學習一直被用來進行小樣本學習、通用機器人等訓練中。MetaNMT的提出，也是MAML第一次在NLP領域成功應用。
那么，未來隨著元學習的加入，NLP領域會產生哪些可能的變化呢？
首先，降低NLP任務的研究門檻。
深度增強學習需要的訓練數據量規模越來越大，游戲等動態任務環境所涉及的獎勵機制也日趨復雜。
在StyleGAN、BERT等“巨無霸”模型的爭奪下，GPU/TPU計算時長變得極其昂貴，NLP儼然快要成為土豪大公司才有資格玩的游戲了。
與之相比，通過少量樣本資源就能學會新概念的元學習方法，可以只使用少量的梯度迭代步來解決新的學習任務，就顯得平易近人很多。
其次，提升NLP任務的學習效率。
傳統的數據集更新周期長，往往需要根據新任務進行改造和再編輯。
而元學習就改變了這一現狀，先讓系統接觸大量的任務進行訓練，再從中學會完成新任務的方法，可以快速（只需少量步驟）高效（只使用幾個例子）地應用于廣泛的NLP任務中。
尤其是在特定領域對話系統、客服系統、多輪問答系統等任務中，在用戶的使用過程中就可以收集豐富的信息，讓系統在動態學習中構建越來越強大的性能。
除此之外，元學習還能幫助NLP實現個性化、智能化進階。
特定用戶可以根據已有的知識經驗和認知結構，與元學習系統之間建立聯系。通過不同個體的動態交互與信息反饋等，元學習系統可以不斷豐富，和修正自身的知識網絡和輸出效果，最終使得構建個性化產品變得更加方便快捷，高智能交互也因此成為可能。
總而言之，Few-Shot（低資源）、Fast Adaptation（高適應性）、Reusability（重用性）等特點，使得元學習的價值前所未有地清晰起來，某種程度上也代表了NLP接下來的研究方向。
道阻且長：NLP的進化之路
既然元學習之于NLP領域意義重大，為什么直到現在才出現了一個成功案例呢？
這恐怕還要從低資源型語言的研究現狀說起。
前面提到：驗證元學習系統性能最好的方式，就是將其放到低資源任務中，看看是否和大規模任務一樣出色。
但這么做有個前提，就是：能夠建立起對應的數據集。
然而，這對稀缺資源的小語種來說，也不是件容易的事。
以MetaNMT為例：就為各個語言建立了詞匯表。
其中的低資源型目標任務——土耳其語、拉脫維亞語、羅馬尼亞語、芬蘭語等等，就是通過16000個翻譯單詞（約600個并行句子）完成的，這已經是目前神經機器翻譯的極限了。
然而，全世界6000多種語言中，80%人口講的都是主要的83種語言，剩下的有30%都處在語料資源極度匱乏的狀態，而且絕大多數沒有任何文字記載，有的甚至使用者不足十人。
缺乏相關的數據集，往往只有少量文本可供使用，成為阻礙小語種機器翻譯最大的攔路虎。即使有元學習這樣的神兵利器，也沒有用武之地。而近年來，情況正在發生一些積極的變化。
一方面越來越多的人開始重視瀕危語言保護問題，出現了公益化的語料收集項目和相關數據庫，大大降低了小語種的研究難度。
比如：南非數字語言資源中心（SADiLaR），已經能夠提供許多南非的語言資源。
另外，NLP研究的發展，也激發了更多的人創建，并開放出極低資源語料數據集，為跨語言模型開發、低資源語言訓練等提供了可能性。
比如：FAIR 和紐約大學的研究者合作開發的一個自然語言推斷語料庫 XNLI，將MultiNLI 的測試集和開發集擴展到 15 種語言，里面就包含了斯瓦西里語和烏爾都語等低資源語言。
目前看來，MetaNMT之所以備受褒獎，并不是因為它一出手就取得了什么炸裂至極的效果。
它的價值，更多的是作為一種靈感和理念，去傳達技術的本質，引領更具價值的理想化的創造。
NLP的進步，不應來自于堆砌資源和規模，不應只停留在本就飽和的領域，而是構建出真正無障礙的語言系統。讓說著匱乏型語言的人們，也能夠閱讀非母語的新聞，或者在遇到問題時求助于可靠的專家系統。
如果技術不去往那些真正的荒蕪之地，又有什么意義？
作者：腦極體，微信公眾號：腦極體
本文由 @腦極體 原創發布于人人都是產品經理。未經許可，禁止轉載。
題圖來源于 Unsplash，基于CC0協議
- 目前還沒評論，等你發揮！
