0
周杰倫三詞作曲，曹植七步成詩。近年來，約束文本生成任務越來越引起人們的興趣，該任務涉及在某些前提條件下構造自然語言輸出，
最新消息，華人學者Steven Y. Feng與四位學者Jessica Huynh, Chaitanya Narisetty,
Eduard Hovy and Varun Gangal共同發(fā)表的題為SAPPHIIRE: Approaches for Enhanced Concept-to-Text Generation（SAPPHIRE：增強從概念到文本生成的方法）的研究論文獲得了2021年INLG的最佳長論文獎！
今晚，論文作者Steven Y. Feng將作為代表出席第14屆INLG會議，線上分享自然語言生成的團隊研究。
INLG（International Conference on Natural Language Generation ）旨在討論和傳播自然語言生成領域的進步，今年，會議于9月20日至24日在蘇格蘭阿伯丁舉行，與會者將在虛擬會議上介紹他們的研究。
除了世界級的研究報告外，今年的會議還將包括研討會、教程、受邀專家的講座和一個討論小組：用戶希望從現實世界的NLG中獲得什么。小組討論將由目前在計算機學習、NLG 和認知 AI 助手行業(yè)工作的學者領導。
雖然自然語言生成已經建立了70多年，但將其視為業(yè)務的基礎技術卻是在近些年。Gartner 等分析公司最近已認識到 NLG 是一種核心能力，同時INLG也表明，會議現已從一個利基學術團體走向學術和商業(yè)領域融合的廣闊領域。
Steven Y. Feng，現為卡耐基梅隆大學（CMU）研究生，對NLP、機器學習、深度學習和人工智能研究有豐富的經驗和熱情。
個人主頁：https://mobile.twitter.com/stevenyfeng
論文地址：tinyurl.com/sapphirelNLG
論文作者表示，人類能夠從常識推理，甚至反演，這種能力可以定義為從一組概念生成邏輯句子來描述日常場景，在這種情況下，這些概念是必須以某種形式在輸出文本中表示的單個單詞。
因此，作者提出了一套簡單而有效的概念到文本生成改進方案，稱為SAPPHIRE: 集增強和短語填充、重組。具體來說，SAPPHIRE由兩種主要方法組成:
1)增加輸入概念集
2)將從baseline中提取的短語重組成更流暢、更有邏輯的文本。這些主要是與模型無關的（model-agnostic）改進，分別依賴于數據本身和模型自己的初始代。
通過使用BART和T5模型的實驗，他們證明了這兩種模型在生成性常識推理，即CommonGen任務上的有效性。通過廣泛的自動和人工評估，我們發(fā)現SAPPHIRE顯著提高了模型性能。深入的定性分析表明，SAPPHIRE有效地解決了基線模型生成的許多問題，包括缺乏常識、不夠具體和流利性差等問題。
6種語言生成模型的對比
以上幾種NLG模型對比揭示了baseline的幾個問題：
1）概念覆蓋率與概念集大小密切相關，隨著大小的增加，遺漏概念的概率更高
2）許多只是不完整的短語
3）遲鈍反應問題
Baseline和人工的對比
如何解決BL模型的固有問題，近年來，隨著模型改進的研究取得了很大的進展，許多文本生成任務的性能得到了顯著改善。
在馮團隊中，他們設計了兩步走戰(zhàn)略：通過提取關鍵字和注意矩陣，在訓練期間從參考文獻中擴充概念。對于短語重組直覺，提出了基于新訓練階段和掩蔽填充的兩個方法。最后，通過綜合評估，他們展示了SAPPHIRE是如何通過各種指標提高模型性能，以及解決baseline在常識、特異性和流暢性方面的問題。
他們的第一個方法：Kw-aug和Att-aug，分別在訓練現成的關鍵字提取模型注意值時，從參考文獻中提取關鍵字，使用它們在訓練時擴展輸入概念集。（通過動作聯(lián)想場景，通過名詞聯(lián)想動作，也就是由名詞擴增動詞，由動詞擴增狀語等）
概念擴增
概念擴增的方法激發(fā)了Steven Y. Feng五人的想象力，是否有簡單有效的方法可以從數據本身來提高這些自然語言生成的性能? 此外，是否有可能利用這些模型本身的輸出來進一步提高它們的任務表現——某種"自我反省"?
在第二種方法中，他們從模型輸出中提取非重疊的關鍵短語，然后構建一個新的概念集，其中包含這些關鍵短語和原始概念集中的其他非重疊概念。
也就是說，從原有的低端模型中輸出“不那么流暢的句子”，然后提取新句子中的關鍵詞，再根據新的關鍵詞“擴增概念”。多次迭代，就能從相似逼近到精確。
如此，機器完成一輪“自我啟發(fā)”，雖然并不算是自然語言范疇的“藝術創(chuàng)作”，卻在實驗中貫穿了形象思維與抽象思維經過復雜的辯證關系構成的思維方式。想象與聯(lián)想，靈感與直覺，理智與情感，意識與無意識，它們在未來能否卡定在不同的向量圖中，建模、量化，或許一問出口，便已有知。
參考資料：
https://twitter.com/stevenyfeng/status/1440330270058500102
雷鋒網雷鋒網雷鋒網
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
