97se亚洲综合在线,97成人碰碰久久人人超级碰oo,东京热人妻一区二区三区,狠狠色婷婷久久一区二区

當知識圖譜“遇見”深度學習

IT資訊 2017/8/24

大數據時代的到來,為人工智能的飛速發(fā)展帶來前所未有的數據紅利。在大數據的“喂養(yǎng)”下,人工智能技術獲得了前所未有的長足進步。其進展突出體現在以知識圖譜為代表的知識工程以及深度學習為代表的機器學習等相關領域。隨著深度學習對于大數據的紅利消耗殆盡,深度學習模型效果的天花板日益迫近。另一方面大量知識圖譜不斷涌現,這些蘊含人類大量先驗知識的寶庫卻尚未被深度學習有效利用。融合知識圖譜與深度學習,已然成為進一步提升深度學習模型效果的重要思路之一。以知識圖譜為代表的符號主義、以深度學習為代表的聯(lián)結主義,日益脫離原先各自獨立發(fā)展的軌道,走上協(xié)同并進的新道路。

知識圖譜與深度學習融合的歷史背景

大數據為機器學習,特別是深度學習帶來前所未有的數據紅利。得益于大規(guī)模標注數據,深度神經網絡能夠習得有效的層次化特征表示,從而在圖像識別等領域取得優(yōu)異效果。但是隨著數據紅利消失殆盡,深度學習也日益體現出其局限性,尤其體現在依賴大規(guī)模標注數據和難以有效利用先驗知識等方面。這些局限性阻礙了深度學習的進一步發(fā)展。另一方面在深度學習的大量實踐中,人們越來越多地發(fā)現深度學習模型的結果往往與人的先驗知識或者專家知識相沖突。如何讓深度學習擺脫對于大規(guī)模樣本的依賴?如何讓深度學習模型有效利用大量存在的先驗知識?如何讓深度學習模型的結果與先驗知識一致已成為了當前深度學習領域的重要問題。

當前,人類社會業(yè)已積累大量知識。特別是,近幾年在知識圖譜技術的推動下,對于機器友好的各類在線知識圖譜大量涌現。知識圖譜本質上是一種語義網絡,表達了各類實體、概念及其之間的語義關系。相對于傳統(tǒng)知識表示形式(諸如本體、傳統(tǒng)語義網絡),知識圖譜具有實體/概念覆蓋率高、語義關系多樣、結構友好(通常表示為RDF格式)以及質量較高等優(yōu)勢,從而使得知識圖譜日益成為大數據時代和人工智能時代最為主要的知識表示方式。能否利用蘊含于知識圖譜中的知識指導深度神經網絡模型的學習從而提升模型的性能,成為了深度學習模型研究的重要問題之一。

現階段將深度學習技術應用于知識圖譜的方法較為直接。大量的深度學習模型可以有效完成端到端的實體識別、關系抽取和關系補全等任務,進而可以用來構建或豐富知識圖譜。本文主要探討知識圖譜在深度學習模型中的應用。從當前的文獻來看,主要有兩種方式。一是將知識圖譜中的語義信息輸入到深度學習模型中;將離散化知識圖譜表達為連續(xù)化的向量,從而使得知識圖譜的先驗知識能夠成為深度學習的輸入。二是利用知識作為優(yōu)化目標的約束,指導深度學習模型的學習;通常是將知識圖譜中知識表達為優(yōu)化目標的后驗正則項。前者的研究工作已有不少文獻,并成為當前研究熱點。知識圖譜向量表示作為重要的特征在問答以及推薦等實際任務中得到有效應用。后者的研究才剛剛起步,本文將重點介紹以一階謂詞邏輯作為約束的深度學習模型。

知識圖譜作為深度學習的輸入

知識圖譜是人工智能符號主義近期進展的典型代表。知識圖譜中的實體、概念以及關系均采用了離散的、顯式的符號化表示。而這些離散的符號化表示難以直接應用于基于連續(xù)數值表示的神經網絡。為了讓神經網絡有效利用知識圖譜中的符號化知識,研究人員提出了大量的知識圖譜的表示學習方法。知識圖譜的表示學習旨在習得知識圖譜的組成元素(節(jié)點與邊)的實值向量化表示。這些連續(xù)的向量化表示可以作為神經網絡的輸入,從而使得神經網絡模型能夠充分利用知識圖譜中大量存在的先驗知識。這一趨勢催生了對于知識圖譜的表示學習的大量研究。本章首先簡要回顧知識圖譜的表示學習,再進一步介紹這些向量表示如何應用到基于深度學習模型的各類實際任務中,特別是問答與推薦等實際應用。

1.知識圖譜的表示學習

知識圖譜的表示學習旨在學習實體和關系的向量化表示,其關鍵是合理定義知識圖譜中關于事實(三元組< h,r,t >)的損失函數 ƒr(h,t),其中和是三元組的兩個實體h和t的向量化表示。通常情況下,當事實 < h,r,t > 成立時,期望最小化 ƒr(h,t)??紤]整個知識圖譜的事實,則可通過最小化

圖片描述

來學習實體以及關系的向量化表示,其中 O 表示知識圖譜中所有事實的集合。不同的表示學習可以使用不同的原則和方法定義相應的損失函數。這里以基于距離和翻譯的模型介紹知識圖譜表示的基本思路[1]。

基于距離的模型。其代表性工作是 SE 模型[2]?;舅枷胧钱攦蓚€實體屬于同一個三元組 < h,r,t > 時,它們的向量表示在投影后的空間中也應該彼此靠近。因此,損失函數定義為向量投影后的距離

圖片描述

其中矩陣 Wr,1 和 Wr,2 用于三元組中頭實體 h 和尾實體 t 的投影操作。但由于 SE 引入了兩個單獨的投影矩陣,導致很難捕獲實體和關系之間的語義相關性。Socher 等人針對這一問題采用三階張量替代傳統(tǒng)神經網絡中的線性變換層來刻畫評分函數。Bordes 等人提出能量匹配模型,通過引入多個矩陣的 Hadamard 乘積來捕獲實體向量和關系向量的交互關系。

基于翻譯的表示學習。其代表性工作 TransE 模型通過向量空間的向量翻譯來刻畫實體與關系之間的相關性[3]。該模型假定,若 < h,r,t > 成立則尾部實體 t 的嵌入表示應該接近頭部實體 h 加上關系向量 r 的嵌入表示,即 h+r≈t。因此,TransE 采用

圖片描述

作為評分函數。當三元組成立時,得分較低,反之得分較高。TransE 在處理簡單的 1-1 關系(即關系兩端連接的實體數比率為 1:1)時是非常有效的,但在處理 N-1、1-N 以及 N-N 的復雜關系時性能則顯著降低。針對這些復雜關系,Wang 提出了 TransH 模型通過將實體投影到關系所在超平面,從而習得實體在不同關系下的不同表示。Lin 提出了 TransR 模型通過投影矩陣將實體投影到關系子空間,從而習得不同關系下的不同實體表示。

除了上述兩類典型知識圖譜表示學習模型之外,還有大量的其他表示學習模型。比如,Sutskever 等人使用張量因式分解和貝葉斯聚類來學習關系結構。Ranzato 等人引入了一個三路的限制玻爾茲曼機來學習知識圖譜的向量化表示,并通過一個張量加以參數化。

當前主流的知識圖譜表示學習方法仍存在各種各樣的問題,比如不能較好刻畫實體與關系之間的語義相關性、無法較好處理復雜關系的表示學習、模型由于引入大量參數導致過于復雜,以及計算效率較低難以擴展到大規(guī)模知識圖譜上等等。為了更好地為機器學習或深度學習提供先驗知識,知識圖譜的表示學習仍是一項任重道遠的研究課題。

知識圖譜向量化表示的應用

應用 1 問答系統(tǒng)。自然語言問答是人機交互的重要形式。深度學習使得基于問答語料的生成式問答成為可能。然而目前大多數深度問答模型仍然難以利用大量的知識實現準確回答。Yin 等人針對簡單事實類問題,提出了一種基于 encoder-decoder 框架,能夠充分利用知識圖譜中知識的深度學習問答模型[4]。在深度神經網絡中,一個問題的語義往往被表示為一個向量。具有相似向量的問題被認為是具有相似語義。這是聯(lián)結主義的典型方式。另一方面,知識圖譜的知識表示是離散的,即知識與知識之間并沒有一個漸變的關系。這是符號主義的典型方式。通過將知識圖譜向量化,可以將問題與三元組進行匹配(也即計算其向量相似度),從而為某個特定問題找到來自知識庫的最佳三元組匹配。匹配過程如圖 1 所示。對于問題 Q:“How tallis Yao Ming?”,首先將問題中的單詞表示為向量數組 HQ。進一步尋找能與之匹配的知識圖譜中的候選三元組。最后為這些候選三元組,分別計算問題與不同屬性的語義相似度。


中國· 上海

谷谷二維碼
添加微信咨詢

CopyRight?2009-2019 上海谷谷網絡科技有限公司 All Rights Reserved. 滬ICP備11022482號-8  

關于我們 | 聯(lián)系我們