與非網(wǎng) 9 月 20 日訊,NLP 是計(jì)算機(jī)科學(xué),人工智能和語(yǔ)言學(xué)的交叉領(lǐng)域。目標(biāo)是讓計(jì)算機(jī)處理或“理解”自然語(yǔ)言,以執(zhí)行語(yǔ)言翻譯和問(wèn)題回答等任務(wù)。
隨著語(yǔ)音接口和聊天機(jī)器人的興起,NLP 正在成為信息時(shí)代最重要的技術(shù)之一,同時(shí)它也是人工智能的關(guān)鍵部分。充分理解和表達(dá)語(yǔ)言的含義是一個(gè)非常困難的目標(biāo)。
大部分 NLP 技術(shù)都是由深度學(xué)習(xí)提供技術(shù)支持。在深度學(xué)習(xí)中,表示學(xué)習(xí)試圖自動(dòng)學(xué)習(xí)來(lái)自原始輸入的良好特征或表示。而在機(jī)器學(xué)習(xí)中手動(dòng)設(shè)計(jì)的特征通常過(guò)多且不完整,需要花費(fèi)很長(zhǎng)時(shí)間進(jìn)行設(shè)計(jì)和驗(yàn)證。而且深度學(xué)習(xí)提供了一個(gè)非常靈活、通用且可學(xué)習(xí)的框架,用于呈現(xiàn)視覺(jué)和語(yǔ)言信息的世界。最初,它在語(yǔ)音識(shí)別和計(jì)算機(jī)視覺(jué)等領(lǐng)域取得突破。最近,深度學(xué)習(xí)方法在許多不同的 NLP 任務(wù)中表現(xiàn)出了非常高的性能。這些模型通??梢酝ㄟ^(guò)單一的端到端模型進(jìn)行訓(xùn)練,并且不需要傳統(tǒng)的,特定于任務(wù)的特征工程。
雖然 NLP 研究領(lǐng)域已經(jīng)在深度學(xué)習(xí)的幫助下取得了長(zhǎng)足的發(fā)展,許多技術(shù)也已經(jīng)商業(yè)化落地,但我們也需要知道,這個(gè)領(lǐng)域還有幾個(gè)開(kāi)放性問(wèn)題等待解決 —— 如果它們也能比較好地解決,也許我們能迎來(lái) NLP 科研成果與商業(yè)落地的一個(gè)新的高潮。
下面列舉的 5 個(gè)開(kāi)放性問(wèn)題來(lái)自自學(xué) NLP 的機(jī)電一體化本科生 Deepak Garasangi 在 Reddit 上的發(fā)帖討論內(nèi)容總結(jié),并且參考了 Sebastian Ruder 曾經(jīng)總結(jié)的 4 個(gè)開(kāi)放性問(wèn)題。按重要性從輕到重排序:
5. 評(píng)價(jià)指標(biāo)
這個(gè)問(wèn)題在領(lǐng)域內(nèi)不算很大的瓶頸,但是經(jīng)常有研究人員覺(jué)得有必要重新討論這個(gè)問(wèn)題,因?yàn)楝F(xiàn)行慣例里往往不問(wèn)原因就沿用某些固定的架構(gòu)、數(shù)據(jù)集和評(píng)價(jià)指標(biāo)。有人這樣總結(jié):「隨著我們探索越來(lái)越高級(jí)的認(rèn)知任務(wù),弄明白為什么某些方法、某些架構(gòu)在某些時(shí)候能起到好的效果,這對(duì)我們非常有幫助。」
另外一種擔(dān)憂(yōu)是對(duì)于評(píng)價(jià)指標(biāo)自身的,這些評(píng)價(jià)技巧、這些生成的數(shù)字到底能在多大程度上對(duì)應(yīng)人類(lèi)語(yǔ)言的多樣性和表達(dá)能力?對(duì)這個(gè)問(wèn)題的回答也可以幫助我們構(gòu)建出更有趣的自然語(yǔ)言推理數(shù)據(jù)集。
拓展閱讀:EMNLP 2017 論文《Why We Need New Evaluation Metrics for NLG》(https://www.aclweb.org/anthology/D17-1238)
4. 終生學(xué)習(xí)(Life long learning)
NLP 領(lǐng)域遇到的另一個(gè)棘手問(wèn)題是為這幾個(gè)問(wèn)題設(shè)計(jì)解決方案:
低階模型用于下游任務(wù)時(shí)的終生適配
遷移學(xué)習(xí)的應(yīng)用
視覺(jué)、文本、音頻等等語(yǔ)言相關(guān)模態(tài)的無(wú)縫整合
低資源情境中高效的跨任務(wù)遷移
拓展閱讀:Sebastian Ruder 近期寫(xiě)了一篇文章,總結(jié)了 NLP 領(lǐng)域遷移學(xué)習(xí)的現(xiàn)狀,AI 科技評(píng)論也做了編輯,可以點(diǎn)擊閱讀
3. 面向目標(biāo)的對(duì)話系統(tǒng)
面向目標(biāo)的對(duì)話系統(tǒng)(Goal oriented dialogue systems)
從 ACL 學(xué)會(huì)出版的論文集來(lái)看,近一兩年的 ACL 會(huì)議、EMNLP 會(huì)議中研究面向目標(biāo)的對(duì)話系統(tǒng)的論文都有大幅增加。這就是又一個(gè)開(kāi)放性問(wèn)題:如何設(shè)計(jì)具備常識(shí)、能在真實(shí)世界語(yǔ)境中與人類(lèi)進(jìn)行較長(zhǎng)的、面向目標(biāo)的交談的機(jī)器對(duì)話系統(tǒng)。目前的研究思路包括:帶有狀態(tài)追蹤的任務(wù)驅(qū)動(dòng)的對(duì)話系統(tǒng),使用強(qiáng)化學(xué)習(xí)的對(duì)話系統(tǒng),以及很多別的新點(diǎn)子。
拓展閱讀:在 NLP 中應(yīng)用強(qiáng)化學(xué)習(xí)
https://www.csie.ntu.edu.tw/~yvchen/doc/KAIST19_Tutorial.pdf
2. 低資源語(yǔ)言
這可以算是最緊迫的問(wèn)題。目前全世界大約有 7000 種語(yǔ)言,但這些語(yǔ)言中只有很小的一部分,大概 20 種左右,可以算是資源豐富的語(yǔ)言。這個(gè)問(wèn)題除了很實(shí)際之外,在其中找到靈感、取得進(jìn)展也相對(duì)比較容易。專(zhuān)家們認(rèn)為可行的方向包括:
為低資源語(yǔ)言設(shè)計(jì)收集數(shù)據(jù)、用較小數(shù)據(jù)訓(xùn)練語(yǔ)言模型的方法
可以有效用于低資源語(yǔ)言的跨任務(wù)遷移方法
拓展閱讀:詳細(xì)的說(shuō)明文章參見(jiàn) http://www.cs.cmu.edu/~ytsvetko/jsalt-part1.pdf
1. 自然語(yǔ)言理解
沒(méi)錯(cuò),這就是那個(gè)最開(kāi)放的問(wèn)題,它和 NLP 領(lǐng)域中的許多具體問(wèn)題也都息息相關(guān)。想要解決這個(gè)高階的認(rèn)知問(wèn)題,可能需要我們從強(qiáng)化學(xué)習(xí)、領(lǐng)域適應(yīng)、小樣本 / 零樣本學(xué)習(xí)等等領(lǐng)域中借鑒很多思想和方法,也還需要 NLP 研究人員們做出更多創(chuàng)新。
現(xiàn)階段的研究落腳點(diǎn)包括:
共指消歧(Coreference resolution)、多義詞解析(Polysemy)、文本 / 文檔總結(jié)(Text/Document Summarization)
論證與推理,諷刺與幽默
高效地表征大文本
環(huán)境中的語(yǔ)言學(xué)習(xí)(Grounded language learning),比如聯(lián)合學(xué)習(xí)一個(gè)世界模型和語(yǔ)言模型,并且學(xué)習(xí)如何在語(yǔ)言模型中使用世界模型。
Yoshua Bengio 曾說(shuō):「要有野心。不要(因?yàn)樽?NLP 就)僅僅讀 NLP 論文。要讀很多機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)的論文?!刮覀円蚕M魑谎芯空邆兛梢源蜷_(kāi)眼界,多多參考以前和現(xiàn)在的包括別的領(lǐng)域的有用經(jīng)驗(yàn),才能解決更難的問(wèn)題、做出更大的成果。
與非網(wǎng)整理自網(wǎng)絡(luò)!