【目的】针对开放环境下野生动物红外相机监测图像中未知类别检测识别率低的问题,提出一种不依赖显式环境描述或生境元数据仅依赖已知物种标签的未知类别检测方法,以适应真实监测数据中信息受限的普遍场景。【方法】提出基于视觉语言特...【目的】针对开放环境下野生动物红外相机监测图像中未知类别检测识别率低的问题,提出一种不依赖显式环境描述或生境元数据仅依赖已知物种标签的未知类别检测方法,以适应真实监测数据中信息受限的普遍场景。【方法】提出基于视觉语言特征匹配的野生动物未知类别检测方法(EUA),通过耦合大语言模型(LLM)的生态推理能力与视觉语言模型的跨模态对齐特性,构建开放环境下的智能监测框架。首先,设计生态感知提示词,引导LLM仅基于已知物种集合推断区域生态背景,并生成具有生态合理性的潜在物种列表;其次,将潜在物种文本与已知类别共同构建扩展的视觉语言语义空间;最后,提出未知类别评分机制(ODS),通过计算图像在已知类别与潜在物种间的匹配分布偏离度,实现对未知类别的鲁棒检测。【结果】在Dataset3(D3)和North American Camera Trap Images(NACTI)2个公开数据集上的试验表明,EUA显著优于现有方法。在最具挑战性的5类未知类别场景下,EUA的平均假正例率(FPR95)为57.86%,比次优方法降低16.19%,受试者工作特征曲线下面积(AUC)达到84.31%,提升4.64个百分点。消融试验证实,基于生态推理的潜在物种生成和ODS评分机制是性能提升的核心。可视化分析进一步表明,EUA能有效分离已知与未知样本的分布,验证了其设计的有效性。【结论】本研究实现了从“被动分类”到“主动预见”的范式转变,为解决缺乏地理信息的真实监测场景下的未知类别检测问题提供了有效方案。EUA方法不仅在性能上取得突破,更探索出将生态学知识嵌入AI推理过程的可行路径,为构建具备生态感知能力的下一代野生动物智能监测系统提供了新思路。展开更多
针对细粒度鸟类检测的数据标注成本高,以及湿地地区鸟类种类繁多、现实场景复杂化等引起的湿地鸟类检测精度低的问题,该研究提出一种基于半监督CST的湿地场景下的细粒度鸟类检测算法(semi-supervised bird detection with CNN and swin ...针对细粒度鸟类检测的数据标注成本高,以及湿地地区鸟类种类繁多、现实场景复杂化等引起的湿地鸟类检测精度低的问题,该研究提出一种基于半监督CST的湿地场景下的细粒度鸟类检测算法(semi-supervised bird detection with CNN and swin transformer,SSBY-CST),首先基于北京14处监测站在不同湿地场景下采集到的图像,构建了涵盖17种鸟类图像数据集,为模型鲁棒性提供可靠数据支撑。其次提出基于伪标签学习法的单阶段半监督学习框架,基于Yolov5主干网络构建教师学生模型,高效利用无标签数据提升检测性能;训练阶段使用双阈值伪标签分配策略替代传统单一阈值伪标签分配,以优化无监督损失函数。然后设计了结合CNN和Swin Transformer的双通道卷积模块CST,以提高不同类别鸟类与湿地背景的区分能力。试验结果表明,仅在100张标注图像下,该文SSBY-CST算法对17种复杂环境下鸟类的检测精准率和mAP@0.5分别为77.5%和58.2%,相比同时期较先进的YOLO模型提升了17.4个百分点和15.5个百分点,在少量标注的前提下实现了较高的检测性能提升,其中黑鹳、西伯利亚银鸥的m AP@0.5分别达到了95.7%和94.5%,相比基线提升了24.9个百分点和14.3个百分点。此外,消融试验分析了双阈值伪标签分配的作用及CST模块的效果,验证了双阈值伪标签分配与CST模块设计的有效性。该框架利用无标注样本在极少量标注量下提升复杂环境下细粒度鸟类检测性能,以加强农林生态的智能数字化管理。该文将半监督扩展到细粒度鸟类检测,为处理农林生态环境下的鸟类检测提供了技术路径。展开更多
文摘【目的】针对开放环境下野生动物红外相机监测图像中未知类别检测识别率低的问题,提出一种不依赖显式环境描述或生境元数据仅依赖已知物种标签的未知类别检测方法,以适应真实监测数据中信息受限的普遍场景。【方法】提出基于视觉语言特征匹配的野生动物未知类别检测方法(EUA),通过耦合大语言模型(LLM)的生态推理能力与视觉语言模型的跨模态对齐特性,构建开放环境下的智能监测框架。首先,设计生态感知提示词,引导LLM仅基于已知物种集合推断区域生态背景,并生成具有生态合理性的潜在物种列表;其次,将潜在物种文本与已知类别共同构建扩展的视觉语言语义空间;最后,提出未知类别评分机制(ODS),通过计算图像在已知类别与潜在物种间的匹配分布偏离度,实现对未知类别的鲁棒检测。【结果】在Dataset3(D3)和North American Camera Trap Images(NACTI)2个公开数据集上的试验表明,EUA显著优于现有方法。在最具挑战性的5类未知类别场景下,EUA的平均假正例率(FPR95)为57.86%,比次优方法降低16.19%,受试者工作特征曲线下面积(AUC)达到84.31%,提升4.64个百分点。消融试验证实,基于生态推理的潜在物种生成和ODS评分机制是性能提升的核心。可视化分析进一步表明,EUA能有效分离已知与未知样本的分布,验证了其设计的有效性。【结论】本研究实现了从“被动分类”到“主动预见”的范式转变,为解决缺乏地理信息的真实监测场景下的未知类别检测问题提供了有效方案。EUA方法不仅在性能上取得突破,更探索出将生态学知识嵌入AI推理过程的可行路径,为构建具备生态感知能力的下一代野生动物智能监测系统提供了新思路。
文摘针对细粒度鸟类检测的数据标注成本高,以及湿地地区鸟类种类繁多、现实场景复杂化等引起的湿地鸟类检测精度低的问题,该研究提出一种基于半监督CST的湿地场景下的细粒度鸟类检测算法(semi-supervised bird detection with CNN and swin transformer,SSBY-CST),首先基于北京14处监测站在不同湿地场景下采集到的图像,构建了涵盖17种鸟类图像数据集,为模型鲁棒性提供可靠数据支撑。其次提出基于伪标签学习法的单阶段半监督学习框架,基于Yolov5主干网络构建教师学生模型,高效利用无标签数据提升检测性能;训练阶段使用双阈值伪标签分配策略替代传统单一阈值伪标签分配,以优化无监督损失函数。然后设计了结合CNN和Swin Transformer的双通道卷积模块CST,以提高不同类别鸟类与湿地背景的区分能力。试验结果表明,仅在100张标注图像下,该文SSBY-CST算法对17种复杂环境下鸟类的检测精准率和mAP@0.5分别为77.5%和58.2%,相比同时期较先进的YOLO模型提升了17.4个百分点和15.5个百分点,在少量标注的前提下实现了较高的检测性能提升,其中黑鹳、西伯利亚银鸥的m AP@0.5分别达到了95.7%和94.5%,相比基线提升了24.9个百分点和14.3个百分点。此外,消融试验分析了双阈值伪标签分配的作用及CST模块的效果,验证了双阈值伪标签分配与CST模块设计的有效性。该框架利用无标注样本在极少量标注量下提升复杂环境下细粒度鸟类检测性能,以加强农林生态的智能数字化管理。该文将半监督扩展到细粒度鸟类检测,为处理农林生态环境下的鸟类检测提供了技术路径。
