机器转载作者：韩旭、高天宇、刘知远
这是清华大学刘知远老师和学生韩旭、高天宇写的关于知识图谱的介绍。 本文回顾了知识图谱领域的发展历程，并综述了近年来的研究进展，人心获准转载。
近年来，随着深度学习带来的人工智能浪潮席卷全球，互联网普及带来的海量数据资源和受摩尔定律约束而快速提升的计算资源双重作用，深度学习深刻影响了自然语言处理的各个方向，极大地推动了自然语言处理的发展到了2019年的今天，深度学习的诸多局限性也慢慢被广泛认同。 在自然语言处理中，要实现细致的语义理解，仅靠数据标注和计算力的投入是不能解决本质问题的。 没有先验知识的支持，“中国乒乓球谁也打不成”和“中国足球谁也打不成”，在计算机看来意义上没有太大的区别，但实际上两个句子中的“打不成”意思恰恰相反。 因此，吸取知识进行知识指导的自然语言处理是精细深入的语言理解的必由之路。 但是，这些知识从哪里来呢？ 这关系到人工智能重要研究问题——的知识获取。
知识地图
现有的大型知识地图，如Wikidata、Yago和DBpedia，都富有海量的世界知识，以结构化的形式存储。 如下图所示，每个节点表示现实世界中的图元，它们的边被标记为图元之间的关系。 这样，关于美国作家马克吐温的知识以结构化的形式被记录下来。
目前，这些结构化的知识被广泛应用于搜索引擎、交互系统等自然语言处理APP应用中。 但是，与现实世界快速增长的知识量相比，知识图谱的展望度还不够。 由于知识规模巨大、人工书写价格昂贵，这些新知识仅靠人工添加是无法达到的。 为了尽可能及时、准确地将更丰富的世界知识添加到知识图谱中，研究者们正在寻找一种高效自动获取世界知识的方法，即实体关系提取技术。
具体来说，给定某个句子和其中出现的实体，实体关系提取模型需要从句子的语义信息中推测实体之间的关系。 例如，给定“清华大学在北京附近”的句子和有“清华大学”和“北京”实体的句子，模型在词义上可以得到“位置”关系，最终可以提取出“清华大学、位置、北京”的知识三元组。
实体关系提取是一项典型的任务，在过去的20多年中开展了持续的研究，特征工程、核方法、图模型得到了广泛的应用，取得了一些阶段性的成果。 随着深度学习时代的到来，神经网络模型给实体关系的提取带来了新的突破。
神经网络关系提取模型
面向自然语言的文本序列有循环神经网络( RNN，LSTM )、卷积神经网络( CNN )、Transformer等多种神经网络类型，这些模型通过适当的改造进行关系提取首先，工作[ 1，2 ]首次提出使用CNN对句子语义进行编码，用于关系分类，性能明显高于非神经网络方法； 将工作[ 3，4 ] rnn和LSTM用于关系提取； 此外，工作[5]中还提出了利用递归神经网络对句子的句法分析树建模，在提取语义特征的同时试图考虑句子的词法和句法特征，这一想法也通过大量后续工作得到了进一步的探索。 本表总结了各类典型神经网络在基准数据集合SemEval-2010 Task-8 [6]中的效果。
由上表可知，这些神经网络模型都取得了很好的实验结果，相互之间没有明显的性能差异。 这是否意味着关系提取问题就这样解决了？ 实际情况并非如此。 SemEval-2010 Task-8的任务被设置为在预定义的关系类别中标注大量的训练和测试样本，样本是相对简单的短文，各关系的样本分布也相对均匀。 然而，在实际APP应用中面临着许多挑战。
数据规模问题：手动准确标记语句级数据成本高昂，费时费力。 在实际场景中，面对成千上万个关系、成千万个实体对、甚至上亿个语句，人工标记训练数据几乎是不可能的。 学习能力问题：在实际情况下，实体间的关系和实体对的出现频率多遵循长尾分布，存在很多样本较少的关系或实体对。 神经网络模型的效果需要依赖于大规模的标记数据来保证，存在举“十反一”的问题。 如何提高深度模式学习能力，实现“一反三”，是关系抽取需要解决的问题。 复杂的语境问题：现有的模型主要从单个句子中提取实体之间的关系，句子中必须同时包含两个实体。 事实上，许多实体之间的关系往往出现在一个文档的多个语句中，甚至出现在多个文档中。 如何在更复杂的语境下进行关系提取，也是关系提取面临的问题。 开放式关系问题：在现有的任务设定中，通常假设有预先定义的封闭关系的集合，将任务转换为关系分类问题。 这样就无法有效地获得文本中所包含的实体之间的新关系。 如何利用深度学习模型自动发现实体之间的新关系，实现关系提取，仍然是一个“开放”的问题。 因此，像SemEval-2010 Task-8这样的理想设置与实际场景存在很大的差距，仅靠神经网络很难提取出单句的语义特征，满足关系提取的各种复杂需求和课题。 我们要探索更新颖的关系抽取框架，获取更大规模的训练数据，具备更高效的学习能力，理解复杂的文档级语境信息，便于扩展到开放的关系抽取。
本文认为，这四个方面构成了实体关系提炼需要进一步探索的主要方向。 接下来分别介绍这四个方面的发展现状和挑战，以及我们的思考和努力。
更大规模的训练数据
神经网络关系的提取需要大量的训练数据，但人工标记这些训练数据非常费时费钱。 为了自动获取更多训练数据的训练模型，工作[16]提出了远程监控( Distant Supervision )的思想，使纯文本与现有知识图对齐，能够自动对大规模训练数据进行标记。
远程监控的思想并不复杂，具体来说，如果两个实体被标记为知识图的关系，则同时包含这两个实体的所有句子也被认为表达了这种关系。 另外，以“清华大学、北京”为例，包括“清华大学”和“北京”两个实体在内的所有句子，都看作是“位置”关系的训练示例。
远程监控的这种启发式标记规则是一把双刃剑，是自动标记训练数据的有效策略，但其过于强硬的设置不可避免地导致了错误的标记。 例如，对于知识图谱(清华大学、校长、邱勇)这一三元组事实，“邱勇担任清华大学校长”一文可以反映“清华大学”与“邱勇”之间的“校长”关系。 然而，“邱勇考入清华大学化学与工程系”和“邱勇任清华大学党委常委”并不表示“校长”关系，而是被远程导演的启发式规则错误地表示为“校长”关系的训练范例。
远程监控思想非常简单，存在很多问题，但也为收集更多的训练数据开辟了新的纪元。 受此思想的启发，许多学者都在积极考虑如何尽量排除远程监控数据中噪声标注的干扰。 从2015年开始，基于远程监测和降噪机制的神经关系提取模型得到了长足的发展，在工作[17]中引入了多实例学习方法，利用包括同一实体对的所有实例共同预测了实体之间的关系。 我们的项目组林衍凯等提出了[19]句级注意机制，对不同的实例赋予不同的权重，以减少噪声实例的影响。 工作[20]引入对抗训练以提高模型对噪声数据的抵抗力。 工作[21]建立了强化学习机制，用于筛选噪声数据，利用剩余数据训练模型。
总之，现有的针对远程监控的降噪方法可以兼顾关系提取的鲁棒性和有效性，具有较强的可操作性和实用性。 但利用现有的知识图对齐文本获取数据训练关系提取模型，再利用该模型提取知识图，本身就具有鸡蛋蛋鸡的味道。 通过对齐不完全知识图获得的文本训练数据也变得不完整，对于长尾知识来说，通过这种远程监控机制获得训练案例仍然很困难。 如何提出更有效的机制，有效获取高质量、高覆盖、高平衡的训练数据，仍然是一个值得深思的问题。
更有效率的学习能力
即使可以通过远程监控等方法自动获取高质量的训练数据，但由于实际场景中的关系和实体对的长尾分布特征，大部分关系和实体对的可用样本仍然很少。 另外，关于医疗、金融等专业领域的专业关系，受数据规模限制的问题也是可用样本有限。 神经网络模型作为典型的data-hungry技术，训练样本过少会严重影响性能。 因此，研究人员希望寻找有效提高模型学习能力的方法，以更好地利用有限训练样本获得满意的提取性能。
其实，人类可以通过较少的样本快速学习知识，具有“举一反三”的能力。 为了探索深度学习和机器学习的“举一反三”能力，提出了少学习( Few-shot learning )任务。 通过设计少阶学习机制，模型利用从历史数据中所学到的泛化知识，结合新型数据的少量训练样本，可以实现快速迁移学习，具有一定的反三能力。
过去较少的学习研究主要集中在计算机视觉领域，自然语言处理领域还有待探索。 我们把韩旭等人的工作[21]作为项目组，首次将少儿学习引入到关系提取中，构建了少儿关系提取数据集FewRel。 我想推进驱动自然语言处理，特别是关系提取任务的少儿学习研究。 如下图所示，关系抽取少阶习题只为每个关系提供极少量的样本(如3-5个)，要求尽量提高测试样本上的关系分类效果。
FewRel论文工作初步尝试了几种有代表性的少学习方法。 例如，度量衡学习( Metric learning )、元学习( Meta learning )、参数预测( Parameter prediction )等等，其中评估是最有效的原型网络
为了更好地解决从远程监控关系中提取的少阶学习问题，我们项目组高天宇等人的工作[22]提出了基于混合注意力机制的原型网络，通过考虑事例层次和特征层次的注意力机制，在降低噪声标注影响的同时工作[23]提出多级匹配和集成结构，充分学习训练样本之间的潜在关联，挖掘尽可能少样本中的潜在信息。 在工作[24]中，使用预训练语言模型BERT处理关系抽取中的少数学习问题。 基于在没有海量监控数据的情况下训练的BERT，可以为少阶学习模型提供有效的语义特征，在FewRel数据中获得了超出人际关系分类的水平。
在少阶学习关系的提炼探索过程中，项目组高天宇等人还发现了两个长期被忽视的方面[25] :要将少阶学习模型用于生产环境，应从资源丰富的领域过渡到资源贫乏的领域为此，他们提出了FewRel 2.0，基于作为原始数据集的FewRel，进行域迁移和“非上述”检测
针对领域迁移的挑战，FewlRel 2.0要求采集大量医疗领域的数据并进行标记，关系提取模型在原始领域进行训练后，在这些新领域的领域中也可以多次学习。 对于“两者都不是”检查，FewRel 2.0将在原始n向k-shot设置(给定n个新类型，每种类型给定k个训练样本)中添加“两者都不是”选项，以提高分类和检查难度
初步实验发现，包括基于BERT的模型在内的传统有效模型在这两大课题上性能低下。 高天宇等人在FewRel 2.0论文中也尝试了一些可能的解决思路，例如对领域迁移尝试了经典的对抗学习方法，模型性能得到了一定的提高； 针对“都不是”检测，提出了基于BERT next sentence prediction task的BERT-PAIR模型。 “都不是”的挑战有点效果。 但是，这两大挑战仍然需要更多创新的探索。
总之，探索少阶学习关系提取，使关系提取模型具有更强更高效的学习能力，是一个非常新的研究方向，特别是面向关系提取的少阶学习问题，与其他领域的少阶学习问题相比，具有自身的特点和挑战。 无论是基于现有的少阶学习技术进行适合NLP和关系提取的改善，还是提出适合关系提取的新的少阶学习模型，都将充分利用少量的标签数据，推进关系提取技术的落地实用化。
更复杂的文本上下文
现有的关系提取工作主要集中在句子级关系提取，即基于句子信息的关系提取，各神经网络模型也擅长对句子级语义信息进行编码，通过大量的公开评价数据可以获得最佳效果。 在实际场景中，许多实体之间的关系用多个句子来表达。 如下图所示，文本中提到了多个实体，显示了复杂的相互关系。 根据对维基百科采样的人工标注数据的统计，至少40%的实体关系事实只能从多个句子中共同获取。 为了实现多个实体之间的句子间关系提取，需要阅读和推理文档中的多个句子，显然已经超出了句子层次关系提取方法的能力范围。 因此，进行文档级关系提取是必不可少的。
在文档级关系抽取研究中，为了训练和评价需要大规模的人工对数据集进行标记。 目前，文档级关系提取数据集还很少。 工作[ 26，27 ]构建了两个远程监控的数据集，但由于没有进行人工标记，评价结果不太可靠。 BC5CDR [28]是一组人工标记的文档级关系提取数据集，由500个PubMed文档组成的是生物医学领域，仅考虑“化学介导的疾病”关系，探索文档级关系提取的一般方法工作[29]提出运用阅读理解技术回答问题的方式，从公文中提取实体关系事实。 这些问题由“实体-关系”转换而来。 此工作数据集是为该方法定制的，因此不太适合用于搜索文档级关系提取的常用方法。 这些数据集有少量人工标记关系和实体、是否有来自远程监测的噪声标记、是否服务于特定领域或方法等限制。
为了推进文档级关系抽取的研究，项目组姚远等[30]提出了一种DocRED数据集。 这是一个大规模的人工标注的文档级关系抽取数据集，基于维基百科正文和维基数据知识图谱构建，包含维基百科文档5，053篇、132，375篇、53篇、 包括554件实体关系事实，目前最大的人工标注的文档级如下图所示，文档级关系抽取任务要求模型具有较强的模式识别、逻辑推理、指示推理、常识推理能力，在这些方面亟待更长期的研究探索。
更开放的关系类型
在现有的关系抽取工作中，一般是假设存在预先定义的封闭关系的集合，将任务转换为关系分类问题。 但是在开放域的实际关系提取场景中，文本中包含了很多开放的实体关系，关系的种类很多，关系的数量也不断增加，远远超过了人为定义的关系种类的数量。 在这种情况下，传统的关系分类模型无法有效地获得文本中包含的实体之间的新关系。 如何利用深度学习模型自动发现实体之间的新关系，实现关系提取，仍然是一个“开放”的问题。
为了实现面向开放域的开放关系提取，提出了开放关系提取( Open Relation Extraction，OpenRE )任务，致力于从开放文本中提取实体间的任意关系事实。 开放关系的提取涉及三个方面的“开放”。 首先，它是提取关系类型的开放的，与传统的关系提取不同，我们希望提取所有已知和未知的关系。 其次，在考试资料的开放，如新闻、医疗等不同领域，文本各有不同的特点，需要探索跨领域的稳健算法； 第三，训练数据的开放。 为了获得尽可能好的开放关系提取模型，需要充分利用现有的各类注释数据，如精细注释、远程监控注释数据等。 另外，不同的训练数据集对关系的定义和分布也不同，需要同时利用很多源数据。
在深度学习时代，也有探索开放的信息提取( Open Information Extraction，OpenIE )的任务。 开放关系的提取可以看作是OpenIE的特例。 当时OpenIE主要通过Snowball算法等无监督统计学习方法实现。 这些算法对不同的数据具有鲁棒性，但精度较低，离实用落地还很远。
最近，项目组的吴睿东同学们的活动[31]由“关系双胞胎网络”( Relation Siamese Network )、 RSN ) )实现有监督和弱监督模式的自由切换，同时利用预定义关系的有监督数据和开放文本中的新关系的无监督数据，提出了一种可以共同学习不同关系事实语义相似度的有监督开放关系提取框架，具体体现在、 关系双胎网络RSN采用双胎网络结构，可以用于从预先定义关系的标注数据中学习关系样本的深层语义特征和相互间的语义相似度，计算包含开放关系文本的语义相似度。 另外，RSN通过条件熵最小化和虚拟对抗训练两种半监督学习方法进一步利用无标记开放关系文本数据，进一步提高了开放关系提取的稳定性和泛化能力。 基于RSN计算的开放关系相似度计算结果，模型可以在开放域中对文本关系进行聚类，归纳新关系。
项目组高天宇等人的活动[32]只是从另一个角度，针对开放域特定的新型关系，提供少量精确的实例作为种子，利用经过预训练的关系孪生网络堆雪人( Neural SnowBall )
总之，开放域关系提取在前深度学习时代取得了一些效果，但在深度学习时代结合神经网络模型的优势，大力扩大神经网络关系提取模型的泛化能力值得更深入的探索
总结
为了更及时地扩展知识地图，从海量数据中自动获取新的世界知识已成为必由之路。 以实体关系提取为代表的知识获取技术已经取得了一些成果，特别是近年来深度学习模式极大地推动了关系提取的发展。 但是，与在与实际场景的关系中提取复杂问题的需求相比，现有技术仍然具有较大的局限性。 我们需要从实际场景的需要出发，解决训练数据获取、少学习能力、复杂文本语境、开放关系建模等课题，建立有效稳健的关系抽取系统，这也是实体关系抽取任务需要持续努力的方向。
我们项目组从2016年开始实体关系提取任务，林衍凯、韩旭、姚远、曾文远、张正彦、朱昊、于鹏飞、于志实成、高天宇、王晓智、吴睿东等同学多方面开展了研究。 去年，在韩旭和高天宇等同学的努力下，OpenNRE工具包[33]发布，经过近两年的持续改进，实现了提取导演关系、远程导演关系、少儿学习关系、文档级关系提取等丰富的场景另外，fewrel(1.0和2.0 ) )和DocRED等数据集也花费了大量的科研经费进行标记，旨在推进相关方向的研究。
本文总结了实体关系提炼的现状、挑战、我们对未来发展方向的认识，以及我们在这些方面的努力，希望能引起大家的兴趣，对大家有所帮助。 我期待更多的学者和同学参与这个领域的研究。 当然，本文没有提到以事件提取为代表的复杂结构知识获取这一重要课题，但未来还有机会进行专门探讨。
仅限于个人层面，难免有偏颇的错误。 另外，请允许我在评论中指出，我们正在努力改善。 需要说明的是，我们不打算把这篇文章写成严密的学术论文，所以没有什么方面能明确介绍所有方向的所有工作。 如果有重要的遗漏，请批评指正。
广告时间
我们项目团队在实体关系提取方面做的很多工作，如FewRel、DocRED等都是与腾讯的微信模式识别中心团队合作完成的。 微信模型识别中心是微信AI (微信ATAI )的管辖中心之一，主要关注自然语言处理的研究和产品。 研究方面涵盖对话系统、知识学习、认知推理、机器翻译等多个方向，今年在ACL、EMNLP、AAAI等会议上发表论文20多篇，在多项比赛中取得优异成绩，学术成果丰硕。 在产品方面，他们开发的小微对话系统和微信对话开放平台在音箱、公众号自动客服等方面也有不俗的表现，但投入的人力远远少于亚马逊的Alex团队微信公众号团队的学术和产品双强特点也给我们的合作带来了不一样的体验。 另一方面，双方对世界先进技术的研究保持高度的热情，需要花时间进行磨练，但可以一起进行影响深远的探索。 另一方面，实际产品为我们的研究提供了不同的视角和应用场景，是一支真正做到强强联合、优势互补，非常值得合作的团队。
我们和腾讯微信的这些合作是基于“清华-腾讯联合实验室”开展的。 我们与腾讯高中合作中心合作多年，面向清华-腾讯联合实验室(清华各系合作的校级平台)、犀牛鸟专项基金(面向各类老师的前沿探索研究项目)、犀牛鸟精英人才培养计划)学生感谢腾讯大学合作中心为高校和腾讯搭建的合作共赢的产学研合作平台。 关注腾讯大学合作微信公众号Tencent_UR了解最新消息。
这里特别介绍我们和微信管理中心的对接人Patrick Li (因为无法言喻的理由，只能用他的英文名，不是为了加B )和林衍凯。 帕特里克是我的师徒，和我有十几年的交情了。 清华贵系2005级本科生，2009级博士生。 他从本科时代就加入了我们的项目团队。 当时，我与他合作发表了我的第一篇EMNLP 2009论文。 随后，他来到我们项目组读博，跟随孙茂松老师和刘洋老师从事机器翻译研究，取得了许多有影响的成果。 他是我们合作项目的负责人，目前在微信模式识别中心指导NLP基础技术的研究和应用工作，在技术和人品上都有纪念碑，和他合作过的同学都给人留下了深刻的印象。 目前，他主要关注自动答疑、信息提取、机器翻译等工作。 也许是受帕特里克的“感召”感召，我们组的林衍凯( 3358 NLP.csai.Tsinghua.edu.cn/~ lyk/) ) )今年博士毕业后，他
看了贫穷的匕首，如果读者中有同学想在自然语言处理和知识图谱方面实习或找工作，联系Patrick pli @ Tencent.com，一起努力，开展有趣的研究吧。 帕特里克Li:http://www.Lpeng.net作者简介
韩旭，清华大学计算机科学与技术系博士三年级学生，主要研究方向为自然语言处理、知识图谱、信息抽取。 在人工智能领域国际知名会议AAAI、ACL、EMNLP、COLING、NAACL上发表多篇论文，是OpenKE、OpenNRE等开源项目的开发者之一。 主页：
3359 thucsthanxu 13.github.io/thucsthanxu 13.github.io高天宇，清华大学计算机系四年级学生，主要研究方向为自然语言处理、知识图谱、关系抽取。 在人工智能领域国际知名会议AAAI、EMNLP上发表多篇论文，是OpenNRE等开源项目的主要开发者之一。 主页：
高天屿. XYZ刘知远，清华大学计算机系副教授，博士生导师。 主要研究方向是表示学习、知识图谱和社会计算。 主页：
nlp.csai.tsinghua.edu.cn原文链接： https://zhuan.zhi Hu.com/p/91762831参考文献
[1] ChunYang Liu，WenBo Sun，WenHan Chao，wanvolutionneuralnetworkforrelationextraction.the9 thinternationalction
[2]道建Zeng，Kang Liu，Siwei Lai，光油洲，jun Zhao.relationclassificationviaconvolutionaldeeepneuralnetwork.the
[3]东墟张，dongwang.relationclassificationviarecurrentneuralnetwork.arxivpreprintarxiv:1508.01006 ( 2015 )。
[4]彭州，圩士，君田，正馀七，兵陈利，红尾豪， oxu.attention-basedbidirectionallongshort-termmemorynetworksforrelationclassification.the 54 thannualmetingoftheasssociation
[5] Richard Socher，Brody Huval，Christopher D. Manning， andrewy.ng.semanticcompositionalitythroughrecursivematrix-vector spaces.the 2012 jointconferenceonempiricalmethodsinaturaturion
[6] Iris Hendrickx，Su Nam Kim，Zornitsa Kozareva，Preslav Nakov，Diarmuid Saghdha，Sebastian Pad，Marco Pennacchiotti，Lord Marco pennacchiotti stanszpakowicz.SEM eval-2010 task8: multi-wayclassificationofsemanticrelationsbetweeenpairsofnominals.minals
[7] Thien Huu Nguyen，ralphgrishman.relation extraction:perspectivefromconvolutionalneuralnetworks.the1 stworkshoponvecton
[8] Ccero dos Santos，Bing Xiang， bo Wenzhou.classifyingrelationsbyrankingwithconvolutionalneuralnetworks.the 53 rdannualmeetingoftheassociationforcomputationationforcompution onaljointconferenceonnaturallanguageprocessing ( ACL-ijc NLP 2015 )。
[9]墅张，dequance，新臣湖，明扬. bidirectionallongshort-termmemorynetworksforrelationclassification.termmememorynetworksfonclation
[ 10 ] min guard，cong Liu.semanticrelationclassificationviahierarchicalrecurrentneuralnetworkwithattention.the 26
[11] Kun Xu，Yansong Feng，song fanzhao.dong yanticrelationclassificationviaconvolutionalneuralnetworkswithsimion
[ 12 ]颜墟，李沥莫，葛沥，云川陈，Hao Peng，zhijin.classifyingrelationsvialongshorttermmemorynetworksalongshorttshorttiong
[ 13 ]杨柳、傅圩、苏建里、横竖、明州、 houfengwang.adependency-basedneuralnetworkforrelationclassification.the 53 rdannualmeetingoftheassociationforcomputational nferenceonnaturallanguageprocessing ( ACL-ijc NLP 2015 )。
[ 14 ]颜墟，Ran Jia，Lili Mou，Ge Li，yun Chen，yangprovedrelationclassificationbydeeprecurrentneuus
[15] Rui Cai，小张，houfengwang.bidirectionalrecurrentconvolutionalneuralnetworkforrelationclassification.the 55
[16] Mike Mintz，Steven Bills，Rion Snow， danieljurafsky.distantsupervisionforrelationextractionwithoutlabeleddata.the 47 thannualmeetingoftheassociationforcompution ljointconferenceonnaturallanguageprocessing ( ACL-ijc NLP 2009 )。
[ 17 ]道建Zeng，Kang Liu，Yubo Chen，jun Zhao.distantsupervisionforrelationextractionviapiecewiseconvolutionalneuralnetwetwon
[ 18 ]燕开林，石身，古元刘，环泊鸾，maosongsun.neuralrelationextractionwithselectiveattentionoverinstant
[19] Yi Wu，David Bamman，Stuart Russell.adversarialtrainingforrelationextraction.the 2017 conferenceonempiricalmethodsination
[20]
[ 21 ]许汉、郝珠、彭飞玉、子云王、元尧、智元柳、 maosongsun.few rel:a large-scalesupervisedfew-shotrelationclassificationdatasetwithstate-of-the-art evaluation.the
[ 22 ]田峪高，墟韩，古元刘，maosongsun.hybrid attention-basedprototypicalnetworksfornoisyfew-shotrelationclasyfew
[23] Zhi-Xiu Ye，Zhen-hualing.multi-levelmatchingandaggregationnetworkforfew-shotrelationclassification.the 5770 he
[24] Livio Baldini Soares，Nicholas FitzGerald，Jeffrey Ling，tomkwiatkowski.matchingtheblanks:distributionalsimilalarityfonks
[ 25 ]田峪高、徐汉、郝珠、知元刘、彭沥、毛松孙、 jiezhou.few rel 2.0:towardsmorechallengingfew-shotrelationclassification.2019 conferenceonempiricalmethodsinaturallllanguation erenceonnaturallanguageprocessing ( em NLP-ijc NLP 2019 )
[26]克里斯Quirk，hoifungpoon.distantsupervisionforrelationextractionbeyondthesentenceboundary.the 15 thconferenceoftheeeeuroporoption
[27] Nanyun Peng，Hoifung Poon，Chris Quirk，Kristina Toutanova，Wen-tauyih.cross-sentence n-aryrelationextractionwion
[28] Chih-Hsuan Wei，Yifan Peng，Robert Leaman，Allan Peter Davis，Carolyn J. Mattingly，Jiao Li，Thomas C. Wiegers， ziyonglu.overviewofthebiocreativevchemicaldiseaserelation ( cdr ) task.the5thbiocreativechallengeeevaluationworkshop ) Biong
[29] Omer Levy，Minjoon Seo，Eunsol Choi，lukezettlemoyer.zero-shotrelationextractionviareadingcomprehension.the 21 stcon
[ 30 ]元肴、德明、彭沥、徐汉、燕开林、郑豪柳、智元柳、林新黄、解州、 maosongsun.doc red:a large-scale document-levelrelationextractiondataset.the 57 thannualmeetingoftheassociationforcompution
[31] Ruidong Wu，元尧，徐汉，Ruobing Xie，zhiyuru，Fen Lin，Leyu Lin， maosongsun.openrelationextraction:relationalknowledgetransferfromsuperviseddatounsuperviseddata.2019 conferenceonempirion D9thinternationaljointconferenceonnaturallanguageprocessing ( em NLP-ijc NLP 2019 )。
[ 32 ]天宇高，墟韩，Ruobing Xie，zhiyarniu，Fen Lin，Leyu Lin，maosongsun.neuralsnowballforfew-shotrelationlearnion
[ 33 ]墟罕，田峪高，元肴，德明叶，Zhiyuan Liu，maosongsun.open nre:anopenandextensibletoolkitforneuralrelatioon
