分类:End-to-end Named Entity Recognition and Relation Extraction using Pre-trained Language Models

来自Big Physics
Jinshanw讨论 | 贡献2020年6月3日 (三) 22:46的版本 →‎总结和评论
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)


John Giorgi, Xindi Wang, Nicola Sahar, Won Young Shin, Gary D. Bader, Bo Wang, End-to-end Named Entity Recognition and Relation Extraction using Pre-trained Language Models, arXiv:1912.13415v1

Abstract

Named entity recognition (NER) and relation extraction (RE) are two important tasks in information extraction and retrieval (IE \& IR). Recent work has demonstrated that it is beneficial to learn these tasks jointly, which avoids the propagation of error inherent in pipeline-based systems and improves performance. However, state-of-the-art joint models typically rely on external natural language processing (NLP) tools, such as dependency parsers, limiting their usefulness to domains (e.g. news) where those tools perform well. The few neural, end-to-end models that have been proposed are trained almost completely from scratch. In this paper, we propose a neural, end-to-end model for jointly extracting entities and their relations which does not rely on external NLP tools and which integrates a large, pre-trained language model. Because the bulk of our model's parameters are pre-trained and we eschew recurrence for self-attention, our model is fast to train. On 5 datasets across 3 domains, our model matches or exceeds state-of-the-art performance, sometimes by a large margin.

总结和评论

在文章[1] 中, Giorgi等人提出了一个端到端的同时识别概念(命名实体)和联系的算法,来构建知识图谱(概念地图。当然知识图谱通常来说联系是事先规定好的有限的类别的,可以表达成“概念——关系——概念”三元体的。概念地图的关系可能不限定,也可以存在超越三元体的联系——当然,有可能超越三元体的联系也可以转化为三元体的形式)。

其主要算法是:运用BERT预训练的次的矢量表示和事先做好的命名实体标记来训练命名实体的识别器(分类器),然后把识别结果以及其他词的BERT表示和实现标注好的关系用来训练一个关系分类器。

当然,更一般地,我们会问:是不是概念和关系都可以做无监督训练?是不是概念之间的关系可以通过问答题来训练,并且找到包含跳跃——不在同一句话或者同一段之内——的关系。这篇文章对少数前期文章也做了回顾,值得一看。

我们需要先实现这篇文章的算法,然后在科学学或者小学数学领域内,尝试依稀这个算法,看看效果。当然,其他更一般的算法也需要尝试。另外,这里有一个清华大学的研究者整理的一个知识图谱构建论文库[2]

关于概念地图,或者说知识图谱是你什么,大概原理上可以怎么做,可以看吴金闪的《教的更少,学得更多》[3],以及科学学或者教和学的研究,或者这个帖子[4]

另一方面,如何在人工智能,包含自然语言处理,以及更一般的其他任务中,运用概念地图也是一个需要研究的问题。

我们的研究工作和一般的知识图谱的不同在于:第一、我们的概念地图本质上是为了促进人类的理解、学习和思考,而不是机器,当然,顺便促进一下机器也无妨;第二、我们的概念地图所包含的关系甚至概念,都比较一般化,而且,可能超越三元体的形式,怎么用,怎么构建,都会有其特殊性;第三,我们的概念地图研究和教和学的研究,以及科学学的研究紧密结合,主要是为了这些具体研究服务,当然,也不排除在受启发的情况下研究一下基础算法。

参考文献

  1. John Giorgi and Xindi Wang and Nicola Sahar and Won Young Shin and Gary D. Bader and Bo Wang, End-to-end Named Entity Recognition and Relation Extraction using Pre-trained Language Models, arXiv cs.CL 1912.13415(2019).
  2. KRLPapers Github项目
  3. 吴金闪,《教的更少,学得更多》,人民邮电出版社,吴金闪的书们
  4. https://www.analyticsvidhya.com/blog/2019/10/how-to-build-knowledge-graph-text-using-spacy/

本分类目前不含有任何页面或媒体文件。