■ 链接 | http://www.paperweekly.site/papers/1911

■ 解读 | 邓淑敏，浙江大学博士生，研究方向为知识图谱与文本联合表示学习

动机

机器学习一直是许多 AI 问题的典型解决方案，但学习过程仍然严重依赖于特定的训练数据。一些学习模型可以结合贝叶斯建立中的先验知识，但是这些学习模型不具备根据需要访问任何结构化的外部知识的能力。

本文的目标是开发一种深度学习模型，可以根据任务使用注意力机制从知识图谱中提取相关的先验知识。本文意在证明，当深度学习模型以知识图谱的形式访问结构化的知识时，可以用少量的标记训练数据进行训练，从而降低传统的深度学习模型对特定训练数据的依赖。

模型 

模型的输入是一组句中的词构成的词向量序列 x=[x_1, x_2,...,x_T]，经过一个 LSTM 单元得到每个词向量的隐藏层状态 h_t = f(x_t, h_{t-1})，然后将得到的隐藏层状态向量加和平均得到 o = 1/T(\sum_{t=1}^{T}h_t)。根据可以计算上下文向量 C=ReLU(o^T W)。

实体和关系对应的上下文向量分别与实体和关系的向量相乘，经过softmax操作，算出每个实体和关系的权重 \alpha_{e_i}, \alpha_{r_i}。其中，实体和关系的向量是通过 DKRL 模型（一种结合文本描述的知识图谱表示学习模型）计算得到。

然后将文本中的所有实体和关系分别根据前面算出的权重进行加权平均，从而得到文本中所有实体和关系的向量 e, r。

根据 TransE 的假设 (h+r≈t)，构建事实元组 F=[e,r,e+r]，将这个输入 LSTM 模型中进行训练，得到文本分类的结果。

计算文本中实体和关系表示的原始模型架构如下图所示：

将计算实体和关系表示的模型与文本分类的 LSTM 模块进行联合训练，联合模型架构如下图所示。

文本中实体和关系的数目很大，为每一个实体和关系分别计算权重开销不菲。为了减少注意力空间，本文利用 k-means 算法对实体和关系向量进行聚类，并引入了基于卷积的模型来学习知识图谱实体和关系集的表示。

实验 

本文使用了 News20，DBPedia 数据集来解决文本分类的任务，使用斯坦福自然语言推理（SNLI）数据集进行自然语言推断的任务。还使用了 Freebase (FB15k) 和 WordNet (WN18) 作为相关的知识库输入。

图 (a)、图 (b) 分别表明，在 SNLI 数据集上训练的准确度和损失函数值。实验中分别比较 100% 数据集，70% 数据集，以及 70% 数据集 + KG 三种情况输入的结果。

可以发现，引入 KG 不仅可以降低深度学习模型对训练数据的依赖，而且还可以显著提高预测结果的准确度。此外，本文提出的方法对大量的先验信息的处理是高度可扩展的，并可应用于任何通用的 NLP 任务。

■ 链接 | http://www.paperweekly.site/papers/1909

■ 解读 | 高桓，东南大学博士生，研究方向为知识图谱、自然语言处理

动机

传统的知识图谱问答主要是基语义解析的方法，这种方法通常是将问题映射到一个形式化的逻辑表达式，然后将这个逻辑表达转化为知识图谱的查询例如 SPARQL。问题的答案可以从知识图谱中通过转化后的查询得到。

然而传统的基于语义解析的知识库问答会存在一些挑战，如基于查询的方法只能获取一些明确的信息，对于知识库中需要多跳才能获取的答案则无法回答。举例来说当问到这样一个问题“Who wrote the paper titled paper1?，传统的基于语义解析的方法可以获得如下语句进而可以查到 paper1 这个实体。

但是在上例中，当我们询问 Who have co-authored paper with author1? 由于缺乏 co-author 这个明确的关系，传统的方法则无法转换成合适的查询语句。但实际上，在上例中 author2 则是 author1 在 paper1 中的 co-author。

另一个对于传统方法的挑战是，在传统方法中问句中含有的实体通常都使用很简单的方法来匹配到知识库上，例如字符串匹配。但实际场景中用户的输入可能是通过语音识别转换而来或者是用户通过打字输入而来。因此用户的输入很难确保不存在一定的噪声。在具有噪声的场景下，问句中的实体则很难直接准确的匹配到知识库上。

因此本文提出了一个端到端的知识库问答模型来解决以上两个问题。 

创新点

▲ 模型框架图

本文提出的模型如上图所示，这个模型为了克服上述所说的问题则将模型分为两个部分： 

第一部分是通过概率模型来识别问句中的实体。如问句 who acted in the movie Passengers? 我们希望能将 Passengers 识别出来。但由于训练数据中的实体没有被标注出来，因此这个识别的实体将被看成一个隐变量。整个识别实体的过程如下： 

1. 先将输入的问句 q 进行编码，将问句 q 转换为一个维度是 d 的向量；

2. 随后将图谱中每个实体都转化为一个向量；

3. 通过 softmax 计算在 q 下图谱中每个实体是 q 中实体的概率。

该过程在整个模型框架图的左上部分在上例中输入问句 The actor of lost Christmas also starred in which movies，通过算法在图中找到 lost Christmas 为问句中对应的实体。

第二部分则是在问答时在知识图谱上做逻辑推理，在推理这部分的工作中我们给出了上一步识别的实体和问句希望系统能给出答案。由于在整个系统的学习过程中没有人来标注在问答时使用的推理规则，因此在问答时使用的规则将被学习出来。整个推理过程如下所示： 

1. 通过另一个网络对问句 q 进行编码，将 q 转化为一个维度是 d 的向量； 

2. 通过一个 Reasoning graph embedding，对 y 的相邻实体进行编码；

3. 通过 softmax 计算通过 y 推理找到实体是问题 q 答案的概率；

4. 如果推理没有达到限定的步数则返回 2，将原来 y 相邻的实体转换为 y 进而进行推理。

整个推理过程则在上图的右半部分，该部分分别计算推理时实体是问句答案的概率，最后得到实体 shifty 对于问句 q 概率最大。而概率最大的实体到 y 的路径则是推理所获取的路径为 lost Christmas acted Jason Flemyng acted Shifty。

最后算法通过 EM 进行优化，整体训练的思路是希望第一部分和第二部分的概率同时最大。

实验结果

实验结果显示在 Vanilla、NTM 和 Audio 数据集下，算法的效果都超过传统的 QA 系统，同时在需要推理的问题中性能更为显著。

AAAI 2018

■ 链接 | http://www.paperweekly.site/papers/1913

■ 源码 | https://github.com/TimDettmers/ConvE

■ 解读 | 汪寒，浙江大学硕士，研究方向为知识图谱和自然语言处理

本文主要关注 KG Link prediction 问题，提出了一种多层卷积神经网络模型 ConvE，主要优点就是参数利用率高（相同表现下参数是 DistMult 的 8 分之一，R-GCN 的 17 分之一），擅长学习有复杂结构的 KG，并利用 1-N scoring 来加速训练和极大加速测试过程。

背景

一个 KG 可以用一个集合的三元组表示 G={(s,r,o)}，而 link prediction 的任务是学习一个 scoring function \psi(x)，即给定一个三元组 x=(s,r,o) ，它的 score \psi(x) 正于与 x 是真的的可能性。

Model ConvE

这是 ConvE 的整体结构，把输入的实体关系二元组的 embedding reshape 成一个矩阵，并将其看成是一个 image 用卷积核提取特征，这个模型最耗时的部分就是卷积计算部分。

为了加快 feed-forward 速度，作者在最后把二元组的特征与 KG 中所有实体的 embedding 进行点积，同时计算 N 个三元组的 score（即1-N scoring），这样可以极大地减少计算时间，实验结果显示，KG 中的实体个数从 100k 增加到 1000k，计算时间也只是增加了 25%。 

ConvE 的 scoring function：

Loss function 就是一个经典的 cross entropy loss：

Test Set Leakage Problem 

WN18 和 FB15k 都有严重的 test set leakage problem，即测试集中的三元组可以通过翻转训练集中的三元组得到，举个例子，测试集中有 (feline, hyponym, cat) 而训练集中有 (cat, hypernym, feline)，这个问题的存在导致用一个很简单的 rule-based 模型就可以在某些数据集上实现 state-of-the-art 性能。

作者构造了一个简单的 rule-based inverse model 来衡量这个问题的严重性，并利用消去了 inverse relation 的数据集 WN18RR 和 FB15k-237 来进行实验，实验结果如下：

■ 链接 | http://www.paperweekly.site/papers/1914

■ 源码 | https://github.com/bxshi/ConMask

■ 解读 | 李娟，浙江大学博士生，研究方向为知识图谱和表示学习

本文解决知识库补全的问题，但和传统的 KGC 任务的场景有所不同。以往知识库补全的前提是实体和关系都已经在 KG 中存在，文中把那类情况定义为 Closed-World KGC。从其定义可以发现它是严重依赖已有 KG 连接的，不能对弱连接有好的预测，并且无法处理从 KG 外部加入的新实体。

对此这篇文章定义了 Open-World KGC，可以接收 KG 外部的实体并链接到 KG。论文提出的模型是 ConMask，ConMask 模型主要有三部分操作：

1. Relationship-dependent content masking

强调留下和任务相关的词，抹去不相关的单词； 模型采用 attention 机制基于相似度得到上下文的词和给定关系的词的权重矩阵，通过观察发现目标实体有时候在权重高的词（indicator words）附近，提出 MCRW 考虑了上下文的权重求解方法。

2. Target fusion

从相关文本抽取目标实体的 embedding（用 FCN 即全卷积神经网络的方法）；这个部分输入是 masked content matrix，每层先有两个 1-D 卷积操作，再是 sigmoid 激活函数，然后是 batch normalization，最后是最大池化。

为避免参数过多，在得到实体名等文本特征时本文选用语义平均来得到特征的 embedding 表示。

3. Target entity resolution

通过计算 KG 中候选目标实体和抽取的实体的 embedding 间的相似性，结合其他文本特征得到一个 ranked list。本文设计了一个 list-wise ranking 损失函数，采样时按 50% 比例替换 head 和 tail 生成负样本，S 函数时 softmax 函数。