In the context of digitalization,course resources exhibit multimodal characteristics,covering various forms such as text,images,and videos.Course knowledge and learning resources are becoming increasingly diverse,prov...In the context of digitalization,course resources exhibit multimodal characteristics,covering various forms such as text,images,and videos.Course knowledge and learning resources are becoming increasingly diverse,providing favorable conditions for students’in-depth and efficient learning.Against this backdrop,how to scientifically apply emerging technologies to automatically collect,process,and integrate digital learning resources such as voices,videos,and courseware texts,and better innovate the organization and presentation forms of course knowledge has become an important development direction for“artificial intelligence+education.”This article elaborates on the elements and characteristics of knowledge graphs,analyzes the construction steps of knowledge graphs,and explores the construction methods of multimodal course knowledge graphs from aspects such as dataset collection,course knowledge ontology identification,knowledge discovery,and association,providing references for the intelligent application of online open courses.展开更多
引入多模态信息提升知识图谱链接预测的性能成为最近的研究热点,然而这些方法通常只采用简单的拼接或注意力机制进行多模态特征融合,忽视了不同模态间的关联性和语义不一致性,难以保留各模态中的特定信息,且不能有效利用各模态间的信息...引入多模态信息提升知识图谱链接预测的性能成为最近的研究热点,然而这些方法通常只采用简单的拼接或注意力机制进行多模态特征融合,忽视了不同模态间的关联性和语义不一致性,难以保留各模态中的特定信息,且不能有效利用各模态间的信息互补性。针对上述问题,提出一个基于跨模态注意力机制及对比学习的多模态知识图谱链接预测模型FITILP(Fusing Image and Textual Information for Link Prediction)。首先,基于预训练模型BERT(Bidirectional Encoder Representation of Transformer)和ResNet(Residual Network)分别提取实体的文本和图像特征;其次,利用对比学习(CL)方法减小不同模态间的语义不一致性,设计跨模态注意力模块,通过图像特征优化文本特征的注意力参数,增强文本与图像间的跨模态关联性,并结合TransE(Translating Embeddings)和TransH(Translation on Hyperplanes)等翻译模型生成图结构、图像和文本特征;最后,整合上述3类特征完成实体间的链接预测。在DB15K数据集上的实验结果表明,与对应的单模态方法 TransE相比,FITILP模型的平均排名倒数(MRR)提升了6.6个百分点,Hits@1、Hits@10、Hits@100分别提升了3.95、11.37、14.01个百分点。所提方法在链接预测任务上的表现优于对比的基线方法,能够有效利用多模态信息提升链接预测的性能。展开更多
随着全球化贸易的蓬勃发展,集装箱多式联运逐渐成为国际货物运输的主流模式。多样化市场需求的迅猛增长和新兴技术的进步与创新,为中国集装箱多式联运领域提供了广阔的发展空间。为系统总结中国集装箱多式联运领域的研究,检索中国知网(C...随着全球化贸易的蓬勃发展,集装箱多式联运逐渐成为国际货物运输的主流模式。多样化市场需求的迅猛增长和新兴技术的进步与创新,为中国集装箱多式联运领域提供了广阔的发展空间。为系统总结中国集装箱多式联运领域的研究,检索中国知网(China National Knowledge Infrastructure,CNKI)核心数据库2000年1月1日—2024年7月10日共475篇中英文献,借助CiteSpace软件进行可视化分析,并结合文献阅读研究,总结得到集装箱多式联运领域的发文特征、研究现状、研究热点和研究趋势。研究结果表明:中国集装箱多式联运领域近年来突出的研究热点集中在新型集装箱、路径优化算法、绿色低碳运输和数智化信息平台建设等方面。目前集装箱多式联运领域研究存在的主要问题有:自动化设备与信息平台尚未实现全链条覆盖,全流程智能化进程缓慢;路径优化算法的实证研究不足,应对复杂场景能力受限;绿色能源应用与碳税制度构建尚不完善,综合性政策研究不足;信息平台建设面临数据互通壁垒与信息共享安全风险,协同效率提升有限。未来发展方向呈现多维度技术融合和系统性创新特征,主要集中在多式联运智能系统的动态响应与自主决策、全过程多情景下新型算法的开发与迁移、基于区块链技术的智能合约与自动结算、绿色岸电技术与新能源动力系统的耦合应用等方向。展开更多
基金University-level Scientific Research Project in Natural Sciences“Research on the Retrieval Method of Multimodal First-Class Course Teaching Content Based on Knowledge Graph Collaboration”(GKY-2024KYYBK-31)。
文摘In the context of digitalization,course resources exhibit multimodal characteristics,covering various forms such as text,images,and videos.Course knowledge and learning resources are becoming increasingly diverse,providing favorable conditions for students’in-depth and efficient learning.Against this backdrop,how to scientifically apply emerging technologies to automatically collect,process,and integrate digital learning resources such as voices,videos,and courseware texts,and better innovate the organization and presentation forms of course knowledge has become an important development direction for“artificial intelligence+education.”This article elaborates on the elements and characteristics of knowledge graphs,analyzes the construction steps of knowledge graphs,and explores the construction methods of multimodal course knowledge graphs from aspects such as dataset collection,course knowledge ontology identification,knowledge discovery,and association,providing references for the intelligent application of online open courses.
文摘引入多模态信息提升知识图谱链接预测的性能成为最近的研究热点,然而这些方法通常只采用简单的拼接或注意力机制进行多模态特征融合,忽视了不同模态间的关联性和语义不一致性,难以保留各模态中的特定信息,且不能有效利用各模态间的信息互补性。针对上述问题,提出一个基于跨模态注意力机制及对比学习的多模态知识图谱链接预测模型FITILP(Fusing Image and Textual Information for Link Prediction)。首先,基于预训练模型BERT(Bidirectional Encoder Representation of Transformer)和ResNet(Residual Network)分别提取实体的文本和图像特征;其次,利用对比学习(CL)方法减小不同模态间的语义不一致性,设计跨模态注意力模块,通过图像特征优化文本特征的注意力参数,增强文本与图像间的跨模态关联性,并结合TransE(Translating Embeddings)和TransH(Translation on Hyperplanes)等翻译模型生成图结构、图像和文本特征;最后,整合上述3类特征完成实体间的链接预测。在DB15K数据集上的实验结果表明,与对应的单模态方法 TransE相比,FITILP模型的平均排名倒数(MRR)提升了6.6个百分点,Hits@1、Hits@10、Hits@100分别提升了3.95、11.37、14.01个百分点。所提方法在链接预测任务上的表现优于对比的基线方法,能够有效利用多模态信息提升链接预测的性能。
文摘随着全球化贸易的蓬勃发展,集装箱多式联运逐渐成为国际货物运输的主流模式。多样化市场需求的迅猛增长和新兴技术的进步与创新,为中国集装箱多式联运领域提供了广阔的发展空间。为系统总结中国集装箱多式联运领域的研究,检索中国知网(China National Knowledge Infrastructure,CNKI)核心数据库2000年1月1日—2024年7月10日共475篇中英文献,借助CiteSpace软件进行可视化分析,并结合文献阅读研究,总结得到集装箱多式联运领域的发文特征、研究现状、研究热点和研究趋势。研究结果表明:中国集装箱多式联运领域近年来突出的研究热点集中在新型集装箱、路径优化算法、绿色低碳运输和数智化信息平台建设等方面。目前集装箱多式联运领域研究存在的主要问题有:自动化设备与信息平台尚未实现全链条覆盖,全流程智能化进程缓慢;路径优化算法的实证研究不足,应对复杂场景能力受限;绿色能源应用与碳税制度构建尚不完善,综合性政策研究不足;信息平台建设面临数据互通壁垒与信息共享安全风险,协同效率提升有限。未来发展方向呈现多维度技术融合和系统性创新特征,主要集中在多式联运智能系统的动态响应与自主决策、全过程多情景下新型算法的开发与迁移、基于区块链技术的智能合约与自动结算、绿色岸电技术与新能源动力系统的耦合应用等方向。
