传统的果树种植行业在很大程度上依赖劳动力的支持，具备强大感知和推理能力的智能农业机器人被应用于繁琐重复的农业生产工作，以解决劳动力短缺等问题。准确的检测和重建分支有助于收获机器人的准确性和植物表型信息的提取。然而，复杂的果园背景和藤蔓果树扭曲生长的树枝使这一设计具有挑战性。与传统方法相比，深度神经网络的强大特征提取和自主学习能力更能适应复杂的背景。目前深度学习方法应用于果树的特征提取研究大多集中在杉木果树上，并且目标和背景之间存在明显的对比，相对较简单。在早期阶段，必须通过大量数据分析来获得约束枝条重建的参数，并不会在生产实践中带来便利。

2023年9月，Plant Phenomics 在线发表了广西师范大学教育部教育区块链与智能技术重点实验室和上海农业科学院农业信息科学技术研究所等人合作完成的题为Detection and Reconstruction of Passion Fruit Branches via CNN and Bidirectional Sector Search 的文章。

为了解决这些问题，本研究主要进行了两方面的研究：第一，本研究开发了一种改进的实例分割网络，用规则形四边形表示随机生长的分支，有效降低了检测原始分支的复杂性，以在自然果园环境下准确检测和分割果树的枝条。第二，本研究提出了一种基于双向扇区搜索的分支重建算法，基于生长姿态，对改进模型得到的分段分支进行自适应重构。需要注意的是，重构算法中使用的扇区搜索策略在较长的距离上具有更宽的搜索区域，这在一定程度上弥补了由于检测模型的分支过度弯曲或遗漏检测而导致的低重构率。

图1 图像采集和标注：(A)相机的位置和角度，捕获图像的(B)示例，以及分叉（上）和分段（下）分支的(C)标签

本研究采用Mask R-CNN卷积神经网络(Mask Region-based convolutional neural network，Mask R-CNN)架构，结合可变形卷积对复杂背景下的分支进行分割。基于生长姿态，提出了一种双向扇区搜索的分支重建算法，对改进模型得到的分段分支进行自适应重建。改进的Mask R-CNN模型用于百香果的枝检测的平均准确率、平均召回率和F1分数分别为64.30%、76.51%和69.88%，在测试数据集上的平均运行时间为0.75秒，优于对比模型。该研究从测试数据集中随机选择40张图像来评估分枝重建。分枝重建精度为88.83%，平均误差为1.98px，重建直径平均相对误差为7.98 px，均交并比(Mean intersection-overunion ratio，mIOU)为83.44%。单幅图像的平均重建时间为0.38秒，本研究所提出的方法可以为检测和提取果树枝条的表型参数，尤其是类葡萄果树的枝条，可以为后续果树枝条表型研究提供良好的基础，并为智能农业设备提供必要的技术支持。

图2 改进了3种阳光条件下的Mask R-CNN检测效果：(A)检测早上采集的图像的结果，(B)检测中午采集的图像的结果，(C)检测下午采集的图像的结果

本文的主要作者为鲍江川博士和陆声链教授，所属单位为广西师范大学教育部教育区块链与智能技术重点实验室和上海农业科学院农业信息科学技术研究所。基金资助：国家自然科学基金项目（第61662006号），广西农业科技计划项目（Z201915)，上海科技委员会计划（编号：21N21900700）。

论文链接：

‍https://doi.org/10.34133/plantphenomics.0088

——推荐阅读——

Phenotyping Key Fruit Quality Traits in Olive Using RGB Images and Back Propagation Neural Networks

https://doi.org/10.34133/plantphenomics.0061

Plant Phenomics | 利用RGB图像和反向传播神经网络对橄榄果实关键品质性状进行表型分析

High-Throughput Field Plant Phenotyping: A Self-Supervised Sequential CNN Method to Segment Overlapping Plants

https://doi.org/10.34133/plantphen‍omics.0052

Plant Phenomics | 利用自监督序列卷积神经网络（SS-CNN）分割田间重叠植株的高通量植物表型分析