“分类:Span-based Joint Entity and Relation Extraction withTransformer Pre-training”的版本间的差异

来自Big Physics
(建立内容为“Category:文献讨论 分类:AllenAI系列科学学文章 分类:概念抽取和概念关系挖掘 Markus Eberts and Adrian Ulges. ECAI 2020 == Abst…”的新页面)
 
Jyl讨论 | 贡献
 
第12行: 第12行:
  
 
== 研究问题 ==
 
== 研究问题 ==
# 关系提取和实体识别得联合模型
+
关系提取和实体识别得联合模型
  
 
== 研究方法 ==
 
== 研究方法 ==
 
# 数据集:SciERC、ADE、CoNLL04
 
# 数据集:SciERC、ADE、CoNLL04
 
# 模型结构:
 
# 模型结构:
## NER:与传统的NER模型不同,本文利用最大池化得方式构建句中所有可能的span的嵌入,并对所有span进行识别。
+
* NER:与传统的NER模型不同,本文利用最大池化得方式构建句中所有可能的span的嵌入,并对所有span进行识别。
## RE:将实体对儿中间的文本作为上下文嵌入,与实体信息concat到一起,来进行关系判断。
+
* RE:将实体对儿中间的文本作为上下文嵌入,与实体信息concat到一起,来进行关系判断。
  
 
== 总结和评论 ==
 
== 总结和评论 ==

2023年3月25日 (六) 19:10的最新版本


Markus Eberts and Adrian Ulges. ECAI 2020

Abstract

We introduce SpERT, an attention model for span-based joint entity and relation extraction. Our key contribution is a light- weight reasoning on BERT embeddings, which features entity recognition and filtering, as well as relation classification with a localized, marker-free context representation. The model is trained using strong within-sentence negative samples, which are efficiently extracted in a single BERT pass. These aspects facilitate a search over all spans in the sentence. In ablation studies, we demonstrate the benefits of pre-training, strong negative sampling and localized context. Our model outperforms prior work by up to 2.6% F1 score on several datasets for joint entity and relation extraction

研究问题

关系提取和实体识别得联合模型

研究方法

  1. 数据集:SciERC、ADE、CoNLL04
  2. 模型结构:
  • NER:与传统的NER模型不同,本文利用最大池化得方式构建句中所有可能的span的嵌入,并对所有span进行识别。
  • RE:将实体对儿中间的文本作为上下文嵌入,与实体信息concat到一起,来进行关系判断。

总结和评论

span的方式可以有效解决实体重叠问题,可以参考;关系判断部分比较简单,文章中对判断关系的实体对还增加了约束:实体对之间需要有其他文本,不然就没有上下文信息。不过对所有span都进行关系判断会不会影响模型性能我个人持怀疑态度。

论文地址:https://ecai2020.eu/papers/1283_paper.pdf

代码地址:https://github.com/markus-eberts/spert

概念地图

本分类目前不含有任何页面或媒体文件。