通用大语言模型(large language model,LLM)在数学古籍领域常因专业术语识别不准确、上下文关系理解偏差、知识推理不全和计算过程错误而产生严重的幻觉(hallucination)问题,包括事实性幻觉、忠实性幻觉和逻辑性幻觉。检索增强生成(retr...通用大语言模型(large language model,LLM)在数学古籍领域常因专业术语识别不准确、上下文关系理解偏差、知识推理不全和计算过程错误而产生严重的幻觉(hallucination)问题,包括事实性幻觉、忠实性幻觉和逻辑性幻觉。检索增强生成(retrieval-augmented generation,RAG)技术引入外部领域文本,目前是缓解大语言模型领域事实性幻觉的一种有效方法。然而RAG的检索内容存在噪声,且知识片段之间缺乏深层关联,使得RAG在缓解忠实性幻觉和逻辑性幻觉方面的能力较为有限。领域知识图谱(domain knowledge graph,DKG)具有将领域知识关联起来的能力,为此提出了DKG和RAG协同知识增强框架(collaborative knowledge augmentation between domain knowledge graph and retrieval-augmented generation,CogKAG),并构建数学古籍《九章算术》领域智能体。CogKAG框架智能体旨在通过检索DKG的结构化领域关联知识和利用RAG检索非结构化领域文本构建动态结构化综合上下文提示,增强LLM的上下文关系及逻辑推理计算能力,从而有效缓解其在数学古籍领域中的忠实性、逻辑性幻觉问题。实验结果证明,CogKAG框架智能体可以显著减轻LLM在数学古籍领域上的幻觉,从而提升在问答(question and answer,QA)任务上的性能。展开更多
文摘通用大语言模型(large language model,LLM)在数学古籍领域常因专业术语识别不准确、上下文关系理解偏差、知识推理不全和计算过程错误而产生严重的幻觉(hallucination)问题,包括事实性幻觉、忠实性幻觉和逻辑性幻觉。检索增强生成(retrieval-augmented generation,RAG)技术引入外部领域文本,目前是缓解大语言模型领域事实性幻觉的一种有效方法。然而RAG的检索内容存在噪声,且知识片段之间缺乏深层关联,使得RAG在缓解忠实性幻觉和逻辑性幻觉方面的能力较为有限。领域知识图谱(domain knowledge graph,DKG)具有将领域知识关联起来的能力,为此提出了DKG和RAG协同知识增强框架(collaborative knowledge augmentation between domain knowledge graph and retrieval-augmented generation,CogKAG),并构建数学古籍《九章算术》领域智能体。CogKAG框架智能体旨在通过检索DKG的结构化领域关联知识和利用RAG检索非结构化领域文本构建动态结构化综合上下文提示,增强LLM的上下文关系及逻辑推理计算能力,从而有效缓解其在数学古籍领域中的忠实性、逻辑性幻觉问题。实验结果证明,CogKAG框架智能体可以显著减轻LLM在数学古籍领域上的幻觉,从而提升在问答(question and answer,QA)任务上的性能。
