FruitNeRF : Un Cadre Unifié de Comptage de Fruits Basé sur les Champs de Radiance Neuronaux

FruitNeRF: A Unified Neural Radiance Field based Fruit Counting Framework

August 12, 2024

Auteurs: Lukas Meyer, Andreas Gilson, Ute Schmidt, Marc Stamminger

cs.AI

Résumé

Nous présentons FruitNeRF, un cadre unifié et novateur pour le comptage de fruits qui exploite les méthodes de synthèse de vues les plus avancées pour compter tout type de fruit directement en 3D. Notre cadre prend en entrée un ensemble non ordonné d'images positionnées capturées par une caméra monoculaire et segmente les fruits dans chaque image. Pour rendre notre système indépendant du type de fruit, nous utilisons un modèle de base qui génère des masques de segmentation binaires pour n'importe quel fruit. En combinant les deux modalités, RVB et sémantique, nous entraînons un champ de radiance neuronale sémantique. Grâce à un échantillonnage volumétrique uniforme du champ implicite Fruit Field, nous obtenons des nuages de points exclusivement composés de fruits. En appliquant un clustering en cascade sur le nuage de points extrait, notre approche permet d'obtenir un comptage précis des fruits. L'utilisation des champs de radiance neuronaux offre des avantages significatifs par rapport aux méthodes conventionnelles telles que le suivi d'objets ou le flux optique, car le comptage lui-même est effectué en 3D. Notre méthode évite le double comptage des fruits et ne compte pas les fruits non pertinents. Nous évaluons notre méthodologie à l'aide de jeux de données réels et synthétiques. Le jeu de données réel comprend trois pommiers avec des vérités terrain comptées manuellement, ainsi qu'un jeu de données de référence sur les pommes avec une rangée et des positions de fruits annotées, tandis que le jeu de données synthétique comprend divers types de fruits, notamment des pommes, des prunes, des citrons, des poires, des pêches et des mangues. De plus, nous évaluons les performances du comptage de fruits en utilisant le modèle de base par rapport à un U-Net.

English

We introduce FruitNeRF, a unified novel fruit counting framework that leverages state-of-the-art view synthesis methods to count any fruit type directly in 3D. Our framework takes an unordered set of posed images captured by a monocular camera and segments fruit in each image. To make our system independent of the fruit type, we employ a foundation model that generates binary segmentation masks for any fruit. Utilizing both modalities, RGB and semantic, we train a semantic neural radiance field. Through uniform volume sampling of the implicit Fruit Field, we obtain fruit-only point clouds. By applying cascaded clustering on the extracted point cloud, our approach achieves precise fruit count.The use of neural radiance fields provides significant advantages over conventional methods such as object tracking or optical flow, as the counting itself is lifted into 3D. Our method prevents double counting fruit and avoids counting irrelevant fruit.We evaluate our methodology using both real-world and synthetic datasets. The real-world dataset consists of three apple trees with manually counted ground truths, a benchmark apple dataset with one row and ground truth fruit location, while the synthetic dataset comprises various fruit types including apple, plum, lemon, pear, peach, and mango.Additionally, we assess the performance of fruit counting using the foundation model compared to a U-Net.