家电科技 ›› 2023, Vol. 0 ›› Issue (zk): 95-98.doi: 10.19784/j.cnki.issn1672-0172.2023.99.023

• 第一部分 优秀论文 • 上一篇    下一篇

基于领域知识的意图和命名实体识别方法研究

陈首名1,2, 赵培1,2, 马志芳1,2, 王迪1,2   

  1. 1.海尔优家智能科技有限公司 北京 100032;
    2.数字化家电国家重点实验室 山东青岛 266101
  • 出版日期:2023-12-12 发布日期:2023-12-26
  • 通讯作者: 赵培(1980—),女,博士学位。毕业于北京大学智能科学系信号专业。研究方向:主要从事人工智能,机器学习算法的研究。E-mail:zhaopei.uh@haier.com。
  • 作者简介:陈首名(1988—),男,硕士学位,毕业于哈尔滨工业大学控制科学与工程专业。研究方向:主要从事将领域知识嵌入预训练模型、基于预训练模型的对话系统等方面的研究工作。E-mail:chenshouming@haier.com。

Intent classification and named entity recognition based on domain knowledge

CHEN Shouming1,2, ZHAO Pei1,2, MA Zhifang1,2, WANG Di1,2   

  1. 1. Haier Uplus Intelligent Technology Co., Ltd. Beijing 100032;
    2. State Key Laboratory of Digital Household Appliances Qingdao 266101
  • Online:2023-12-12 Published:2023-12-26

摘要: 在人机对话系统中,对用户query的理解包括意图理解和命名实体信息抽取两部分,命名实体信息可以认为是用户意图更细粒度的信息抽取和补充。命名实体抽取任务需要将实体类型和实体边界两部分都正确提取。但在实际的应用场景中,模型由于缺乏领域的知识而不能正确理解用户query。在音乐、电台、视频、诗词等相关领域,通过将领域知识的类型和知识的边界加入Bert模型中,既充分利用了预训练模型又加入了领域知识。实验表明,通过增加领域知识,在意图识别和命名实体识别任务上,分别有3%和5%的提升。在缺乏上下文信息时,领域知识可以帮助模型补充信息,从而提高模型的正确率。

关键词: 对话系统, 意图识别, 命名实体识别, 人工智能

Abstract: In the human-machine dialogue system, in order to understand the user query, should do intent classification and named entity recognition (NER), and NER can be thought the fine-grained information based on user intent. The difficulty for NER task is that the task includes two parts: entity type extraction and entity boundary extraction, and both parts need to be correctly identified. But in practical application scenarios, due to lack of domain knowledge, our model always fail on understanding user query. Work on music, radio, video, poetry and other related fields, and propose a method which adds entity type and entity boundary to Bert model. Experimental results demonstrate that our proposed model achieves 3% and 5% improvement on intent classification and NER by adding domain knowledge. Domain knowledge can help the model grab information, and improve the accuracy of the model, especially when lack of contextual information.

Key words: Dialog system, Intent classification, NER, Artificial intelligence

中图分类号: