近年来,大语言模型(large language model,LLM)(以下简称“大模型”)的流行在众多领域带来了重大影响,特别是它们的开放式生态系统,如应用程序接口、开源模型和插件.然而,尽管大模型已经广泛部署,对其潜在风险进行深入讨论与分析的研究...近年来,大语言模型(large language model,LLM)(以下简称“大模型”)的流行在众多领域带来了重大影响,特别是它们的开放式生态系统,如应用程序接口、开源模型和插件.然而,尽管大模型已经广泛部署,对其潜在风险进行深入讨论与分析的研究仍然普遍缺乏.在这种情况下,针对大模型系统的鲁棒性、一致性和可信性进行一项初步但具有开创性的研究.由于大模型时代的许多文献都尚未被实证,提出了一个自动化的工作流,用以应对不断增长的查询和响应.总体而言,对包括ChatGPT,LLaMA,OPT在内的主流大模型进行了100多万次查询.工作流程的核心是一个数据原语,然后是一个自动解释器,它在不同的对抗性度量系统下评估这些大模型.最终,从这一主流社区中得出了几个十分不同寻常的结论(一定程度上不太乐观).简而言之,这些结论包括:1)用户生成的查询输入中的微小但不可避免的错误可能偶然地导致大模型的意外响应;2)大模型在处理语义相似的查询时具有较差的一致性.此外,还附带发现ChatGPT即使在输入受到极端污染的情况下仍然能够产生正确的答案.这一现象虽然表明了大模型的强大记忆力,但也引发了人们对在学术发展中使用大模型参与评估的严重关切.为了解决这一问题,提出了一个与数据集相关联的新指标,该指标大致决定了基于这些数据对大模型进行评估的可行性.最后进行了广泛的实证研究,以支持上述主张.展开更多
生成式预训练转换器(Generative pre-training transformer,GPT)和大型语言模型(Large language models,LLMs)的出现为医学领域带来了变革性应用。在中医药(Traditional Chinese medicine,TCM)领域,LLMs为解决临床工作流程效率低下和改...生成式预训练转换器(Generative pre-training transformer,GPT)和大型语言模型(Large language models,LLMs)的出现为医学领域带来了变革性应用。在中医药(Traditional Chinese medicine,TCM)领域,LLMs为解决临床工作流程效率低下和改善患者体验提供了独特的机会。然而,这些前景也伴随着挑战,包括数据质量、安全和隐私、虚假信息、伦理以及其他各种问题。本文系统阐述了LLMs在中医领域的应用以及其在改善中医诊疗服务、提升教学效能、优化医疗管理流程等方面的应用价值,并深入分析了实际落地过程中可能遇到的技术与伦理障碍。为确保LLMs在中医临床中的安全、公正应用,必须建立完善的保障机制。我们呼吁临床医师与研究人员共同应对挑战,在优化模型性能的同时有效管控风险,这将为中医药文化的传承与创新注入强劲动力。展开更多
文摘近年来,大语言模型(large language model,LLM)(以下简称“大模型”)的流行在众多领域带来了重大影响,特别是它们的开放式生态系统,如应用程序接口、开源模型和插件.然而,尽管大模型已经广泛部署,对其潜在风险进行深入讨论与分析的研究仍然普遍缺乏.在这种情况下,针对大模型系统的鲁棒性、一致性和可信性进行一项初步但具有开创性的研究.由于大模型时代的许多文献都尚未被实证,提出了一个自动化的工作流,用以应对不断增长的查询和响应.总体而言,对包括ChatGPT,LLaMA,OPT在内的主流大模型进行了100多万次查询.工作流程的核心是一个数据原语,然后是一个自动解释器,它在不同的对抗性度量系统下评估这些大模型.最终,从这一主流社区中得出了几个十分不同寻常的结论(一定程度上不太乐观).简而言之,这些结论包括:1)用户生成的查询输入中的微小但不可避免的错误可能偶然地导致大模型的意外响应;2)大模型在处理语义相似的查询时具有较差的一致性.此外,还附带发现ChatGPT即使在输入受到极端污染的情况下仍然能够产生正确的答案.这一现象虽然表明了大模型的强大记忆力,但也引发了人们对在学术发展中使用大模型参与评估的严重关切.为了解决这一问题,提出了一个与数据集相关联的新指标,该指标大致决定了基于这些数据对大模型进行评估的可行性.最后进行了广泛的实证研究,以支持上述主张.
文摘生成式预训练转换器(Generative pre-training transformer,GPT)和大型语言模型(Large language models,LLMs)的出现为医学领域带来了变革性应用。在中医药(Traditional Chinese medicine,TCM)领域,LLMs为解决临床工作流程效率低下和改善患者体验提供了独特的机会。然而,这些前景也伴随着挑战,包括数据质量、安全和隐私、虚假信息、伦理以及其他各种问题。本文系统阐述了LLMs在中医领域的应用以及其在改善中医诊疗服务、提升教学效能、优化医疗管理流程等方面的应用价值,并深入分析了实际落地过程中可能遇到的技术与伦理障碍。为确保LLMs在中医临床中的安全、公正应用,必须建立完善的保障机制。我们呼吁临床医师与研究人员共同应对挑战,在优化模型性能的同时有效管控风险,这将为中医药文化的传承与创新注入强劲动力。
