大语言模型(Large Language Model,LLM)驱动的开放域问答(Open-Domain Question Answering,ODAQ)系统,如GIST(Generating Identifiers and Selecting chunks for Tables)框架,在处理海量表格数据时展现出巨大潜力,受到了广泛关注.然而,...大语言模型(Large Language Model,LLM)驱动的开放域问答(Open-Domain Question Answering,ODAQ)系统,如GIST(Generating Identifiers and Selecting chunks for Tables)框架,在处理海量表格数据时展现出巨大潜力,受到了广泛关注.然而,当ODQA系统需要整合多方私有表格数据进行Top-K候选筛选等环节时,传统方法需要访问全部原数据,这在数据隐私、计算透明度及参与方行为可信度方面面临挑战.虽然现有研究采用零知识证明和基于权益的机制实现了公开可验证性,但在大规模场景下生成和验证单个证明的开销过高,而传统的基于权益的机制在公平性和对动态环境的适应性方面也存在局限性.对此,本文基于多方安全计算(Multi-Party Computation,MPC)、可公开聚合审计与动态信誉机制,提出了一种面向LLM开放域问答中多方私有表格筛选的增强方法.将Top-K多方私有表格筛选过程通过MPC完成,以保护多方私有数据隐私.同时,引入高效的聚合审计机制,将零知识证明技术与随机抽样、聚合证明构造、基于时间窗口的批处理和错误定位相结合,确保评分与排序过程的正确性可以被批量、公开验证.基于区块链的动态信誉反馈机制的集成也增强了系统的公平性,并约束了恶意行为.实验评估表明,本文的Top-K候选筛选方法在保证隐私的同时与GIST原有筛选方法在结果上达到0.91的Top-50平均召回率和0.83的平均Jaccard指数,具有高度一致性,不会影响ODQA端到端任务性能.同时,大规模任务下可公开审计的证明和验证效率均得到提升,与单独的证明相比节省了约87%的证明时间.反馈机制的适应性和公平性也得到了增强.展开更多
为了提高当前大语言模型(large language model,LLM)在利用检索文档生成答案时的准确性,提出一种基于领域知识的检索增强生成(retrieval-augmented generation,RAG)方法。首先,在检索过程中通过问题和领域知识进行第1层的稀疏检索,为后...为了提高当前大语言模型(large language model,LLM)在利用检索文档生成答案时的准确性,提出一种基于领域知识的检索增强生成(retrieval-augmented generation,RAG)方法。首先,在检索过程中通过问题和领域知识进行第1层的稀疏检索,为后续的稠密检索提供领域数据集;其次,在生成过程中采用零样本学习的方法,将领域知识拼接在问题之前或之后,并与检索文档结合,输入到大语言模型中;最后,在医疗领域和法律领域数据集上使用大语言模型ChatGLM2-6B、Baichuan2-7B-chat进行多次实验,并进行性能评估。结果表明:基于领域知识的检索增强生成方法能够有效提高大语言模型生成答案的领域相关度,并且零样本学习方法相较于微调方法表现出更好的效果;采用零样本学习方法时,融入领域知识的稀疏检索和领域知识前置方法在ChatGLM2-6B上取得了最佳提升效果,与基线方法相比,ROUGE-1、ROUGE-2和ROUGE-L评分分别提高了3.82、1.68、4.32个百分点。所提方法能够提升大语言模型生成答案的准确性,为开放域问答的研究和应用提供重要参考。展开更多
文摘大语言模型(Large Language Model,LLM)驱动的开放域问答(Open-Domain Question Answering,ODAQ)系统,如GIST(Generating Identifiers and Selecting chunks for Tables)框架,在处理海量表格数据时展现出巨大潜力,受到了广泛关注.然而,当ODQA系统需要整合多方私有表格数据进行Top-K候选筛选等环节时,传统方法需要访问全部原数据,这在数据隐私、计算透明度及参与方行为可信度方面面临挑战.虽然现有研究采用零知识证明和基于权益的机制实现了公开可验证性,但在大规模场景下生成和验证单个证明的开销过高,而传统的基于权益的机制在公平性和对动态环境的适应性方面也存在局限性.对此,本文基于多方安全计算(Multi-Party Computation,MPC)、可公开聚合审计与动态信誉机制,提出了一种面向LLM开放域问答中多方私有表格筛选的增强方法.将Top-K多方私有表格筛选过程通过MPC完成,以保护多方私有数据隐私.同时,引入高效的聚合审计机制,将零知识证明技术与随机抽样、聚合证明构造、基于时间窗口的批处理和错误定位相结合,确保评分与排序过程的正确性可以被批量、公开验证.基于区块链的动态信誉反馈机制的集成也增强了系统的公平性,并约束了恶意行为.实验评估表明,本文的Top-K候选筛选方法在保证隐私的同时与GIST原有筛选方法在结果上达到0.91的Top-50平均召回率和0.83的平均Jaccard指数,具有高度一致性,不会影响ODQA端到端任务性能.同时,大规模任务下可公开审计的证明和验证效率均得到提升,与单独的证明相比节省了约87%的证明时间.反馈机制的适应性和公平性也得到了增强.
文摘为了提高当前大语言模型(large language model,LLM)在利用检索文档生成答案时的准确性,提出一种基于领域知识的检索增强生成(retrieval-augmented generation,RAG)方法。首先,在检索过程中通过问题和领域知识进行第1层的稀疏检索,为后续的稠密检索提供领域数据集;其次,在生成过程中采用零样本学习的方法,将领域知识拼接在问题之前或之后,并与检索文档结合,输入到大语言模型中;最后,在医疗领域和法律领域数据集上使用大语言模型ChatGLM2-6B、Baichuan2-7B-chat进行多次实验,并进行性能评估。结果表明:基于领域知识的检索增强生成方法能够有效提高大语言模型生成答案的领域相关度,并且零样本学习方法相较于微调方法表现出更好的效果;采用零样本学习方法时,融入领域知识的稀疏检索和领域知识前置方法在ChatGLM2-6B上取得了最佳提升效果,与基线方法相比,ROUGE-1、ROUGE-2和ROUGE-L评分分别提高了3.82、1.68、4.32个百分点。所提方法能够提升大语言模型生成答案的准确性,为开放域问答的研究和应用提供重要参考。
