GrainSpace A Large-scale Dataset for Fine-grained and Domain-adaptive
用于谷物细粒度和域自适应识别的大规模数据集
粮食是人类饮食中的重要组成部分，对民生和国际贸易至关重要。谷物外观检验（GAI）是确定谷物质量和进行适当流通、储存和食品加工等步骤中至关重要的一环。通常由检验员借助一些工具进行外观检验。自动化外观检验能够极大地辅助检验员的工作，但由于缺乏数据集和任务的明确定义，其应用受到限制。在本文中，我们将GAI形式化为三个通用计算机视觉任务：细粒度识别、领域适应和分布外识别。我们提供了一个大规模且公开可用的谷物数据集，称为GrainSpace。具体来说，我们构建了三种数据采集设备原型，并收集了由专业检验员确定的总计525万张图像。采集的谷物样本包括小麦、玉米和水稻，来自五个国家，超过30个地区。我们还基于半监督学习和自主监督学习技术开发了一个全面的基准测试。据我们所知，GrainSpace是首个公开发布的用于谷物检验的数据集。
Paper
Code
Global Wheat Head Detection (GWHD) dataset a large and diverse dataset of
全球小麦穗检测（GWHD）数据集：一个包含高分辨率 RGB 标记图像的大型多样化数据集，用于开发和对标小麦穗检测方法
小麦穗在植物图像中的检测是估算相关小麦性状（包括穗群体密度和健康状况、大小、成熟阶段以及芒的存在等）的重要任务。已有许多研究基于机器学习算法开发了从高分辨率RGB图像中检测小麦穗的方法。然而，这些方法通常是在有限的数据集上进行校准和验证的。观察条件的高度变异性、基因型差异、发育阶段以及穗的方向性使得小麦穗检测成为计算机视觉的一大挑战。此外，由于运动或风引起的模糊以及密集群体中穗之间的重叠，使得这一任务更加复杂。通过国际联合合作，我们构建了一个包含大量多样化且标签丰富的小麦图像数据集，命名为为全球小麦头检测（Global Wheat Head Detection, GWHD）数据集。它包含4700张高分辨率RGB图像和19万个标记的小麦穗，这些图像从世界各地不同生长阶段、多种基因型中采集而来。在开发新的麦穗检测数据集时，建议提出图像获取指南，并关联最少的元数据以符合FAIR原则（Findable, Accessible, Interoperable, Reusable），并保持一致的标记方法。
Crop Height and Plot Estimation for Phenotyping
使用 3D LiDAR 对无人机进行表型的作物高度和样地估计
我们提出了使用安装在无航空车辆(UAV)上的三维激光测距仪(LiDAR)传感器测量作物高度的技术。了解植物的高度对于监测其整体健康状况和生长周期至关重要，特别是对于高通量植物表型分析而言。本文提出了一种从3D LiDAR点云中提取植物高度的方法，特别关注了基于地块的表型环境。我们还提供了一个工具链，可用于在Gazebo仿真环境中创建表型农场。该工具可以生成具有真实的三维植物和地形模型的随机化农场。我们在受控和自然环境下进行了一系列的模拟和硬件实验。我们的算法能够在一个包含112个地块的田地中估计作物高度，并且均方根误差（RMSE）仅为6.1厘米。这是首次在空中机器人上使用3D LiDAR对小麦田进行数据集测量。
Empirical Study of PEFT techniques for Crop Type Segmentation
使用带冬小麦分割 PEFT 技术的实证研究
参数高效微调（PEFT）技术近期经历了显著的发展，并被广泛用于对大型视觉和语言模型进行各种适配，以最小的计算需求实现令人满意的模型性能。尽管取得了这些进展，但PEFT在现实生活中的潜在应用仍需深入探讨，特别是在遥感和小麦监测等关键领域。在作物监测领域，解决跨区域和跨年份作物类型识别的复杂性仍然是一个关键挑战。不同地区气候的多样性以及全面大规模数据集的需求，对准确识别不同地理位置和不同生长季节的作物类型构成了重大障碍。本研究旨在利用最先进的小麦作物监测模型（State-of-the-Art）全面探索跨区域和跨年度分布外概化的可行性来弥合这一差距。这项工作的目的是探索有效的作物监测微调方法。具体来说，考虑到小麦作为主粮和经济作物在各个地区的经济重要性，我们将重点调整最近在2023计算机视觉与模式识别会议（CVPR 2023）中提出的SOTA TSViT模型，以解决冬小麦田分割问题，这对于作物监测和粮食安全至关重要，特别是在乌克兰冲突之后。这一适应过程集成不同的PEFT技术，包括BigFit、LoRA、Adaptformer和快速调优，每种技术都旨在简化微调过程并确保高效的参数利用。使用PEFT技术，我们在仅训练整个TSViT架构0.7%参数的情况下，实现了与完全微调方法相当的可观结果。更重要的是，我们使用有限的远程标注数据子集就实现了声称的性能。被称为黎巴嫩小麦数据集的内部标记数据集包含黎巴嫩贝卡研究区域的小麦和非小麦高质量注记多边形，从2016年到2020年连续五年，总表面积达170平方公里。使用多光谱Sentinel-2图像的时间序列，我们的模型在测试集中评估时获得了84%的F1分，突显了PEFT驱动准确高效作物监测能力，主要是为数据可用性有限的发展中国家设计的。
Crop Lodging Prediction from UAV-Acquired Images of Wheat and Canola
使用带有手工纹理特征增强的 DCNN 从无人机采集的小麦和油菜籽图像中预测作物倒伏
倒伏即粮食作物的永久性弯曲，会导致植物生长和发育不良。倒伏会导致作物品质和产量降低以及收割困难。植物育种人员通常要对数千个育种品系进行评估，因此，自动检测和预测倒伏在选种方面具有极高的价值。在本文中，我们提出了一种用于油菜和小麦育种试验中倒伏分类的深度卷积神经网络（DCNN）架构，该架构使用五种光谱通道正射拼接影像对作物的倒伏进行分类。此外，通过迁移学习，我们使用成熟的深度卷积神经网络架构训练了 10 个倒伏检测模型。我们提出的模型在性能上优于文献中仅使用手工特征的最先进倒伏检测方法。与 10 个 DCNN 倒伏检测模型相比，我们提出的模型在参数数量大幅减少的情况下实现了相似结果。这使得提出的模型适用于使用低成本硬件进行实时分类的高通量表型分析流程等应用。
DeepWheat Estimating Phenotypic Traits
使用深度学习估计作物图像中的表型特征
在本文中，我们研究了从小麦田块彩色图像和高程图估计出苗和生物量性状。我们采用最先进的反卷积网络进行分割，并采用包含残差层和类似初始层结构的卷积架构，通过高维非线性回归来估算性状。对在田间种植的两种不同小麦品种进行评估。我们的框架取得了令人满意满意的性能，对于出苗估计而言，平均绝对差异（AAD）和标准差分别为1.05和1.40个计数单位；而对于生物量估算，则为1.45和2.05个计数单位。我们的结果表明，在从田间图像中计数小麦植株方面，精度优于从室内植物图像中对叶片进行计数的准确度更好，但可以说难度更小。我们对于生物量估算的结果也优于文献中先前提出的方案。
DODA Diffusion for Object-detection Domain
农业中目标检测域适应的扩散
近年来生成模型产生的多样化和高质量内容展示了利用合成数据训练下游模型的巨大潜力。然而，在视觉领域，尤其是目标检测方面，相关研究并未充分探索。合成图像仅被用于平衡现有数据集中的长尾分布，并且生成标签的准确度较低，因此生成模型的全部潜力尚未被充分挖掘。在本文中，我们提出了一种名为DODA的数据合成器，可以为农业新领域生成高质量目标检测数据。具体而言，我们通过将布局编码为图像，改善了布局到图像的可控性，从而提高了标签的质量，并使用视觉编码器为扩散模型提供视觉线索，仪将视觉特征与扩散模型解耦，赋予模型生成新领域数据的能力。在全球小麦穗检测（GWHDG）数据集中，使用DODA合成的数据使目标检测器在与训练数据显著不同的领域中的性能提升了12.74-17.76的AP50。