과일 수를 세는 통합된 신경 방사유도체 기반 FruitNeRF 프레임워크

FruitNeRF: A Unified Neural Radiance Field based Fruit Counting Framework

August 12, 2024

저자: Lukas Meyer, Andreas Gilson, Ute Schmidt, Marc Stamminger

cs.AI

초록

우리는 FruitNeRF를 소개합니다. 이는 최첨단 시야 합성 방법을 활용하여 3D에서 어떤 과일 종류든 직접 세는 통합된 혁신적인 과일 계수 프레임워크입니다. 우리의 프레임워크는 단안 카메라에 의해 촬영된 순서 없는 포즈 이미지 세트를 취하고 각 이미지에서 과일을 분할합니다. 과일 종류에 독립적인 시스템을 만들기 위해 어떤 과일에 대해서도 이진 분할 마스크를 생성하는 기본 모델을 사용합니다. RGB 및 의미론적 모두를 활용하여 의미론적 신경 방사율 필드를 훈련시킵니다. 암묵적인 과일 필드를 균일하게 볼륨 샘플링하여 과일 전용 포인트 클라우드를 얻습니다. 추출된 포인트 클라우드에 연속 클러스터링을 적용함으로써 우리의 방법은 정확한 과일 계수를 달성합니다. 신경 방사율 필드의 사용은 객체 추적이나 광학 흐름과 같은 전통적인 방법에 비해 상당한 이점을 제공합니다. 계수 자체가 3D로 확장되기 때문에 과일의 중복 계수를 방지하고 관련 없는 과일을 세지 않습니다. 우리의 방법론을 실제 및 합성 데이터셋을 사용하여 평가합니다. 실제 데이터셋은 수동으로 계수된 세 개의 사과 나무와 지상 참값이 있는 벤치마크 사과 데이터셋, 합성 데이터셋은 사과, 자두, 레몬, 배, 복숭아, 망고를 포함합니다. 또한, 기초 모델을 사용한 과일 계수의 성능을 U-Net과 비교하여 평가합니다.

English

We introduce FruitNeRF, a unified novel fruit counting framework that leverages state-of-the-art view synthesis methods to count any fruit type directly in 3D. Our framework takes an unordered set of posed images captured by a monocular camera and segments fruit in each image. To make our system independent of the fruit type, we employ a foundation model that generates binary segmentation masks for any fruit. Utilizing both modalities, RGB and semantic, we train a semantic neural radiance field. Through uniform volume sampling of the implicit Fruit Field, we obtain fruit-only point clouds. By applying cascaded clustering on the extracted point cloud, our approach achieves precise fruit count.The use of neural radiance fields provides significant advantages over conventional methods such as object tracking or optical flow, as the counting itself is lifted into 3D. Our method prevents double counting fruit and avoids counting irrelevant fruit.We evaluate our methodology using both real-world and synthetic datasets. The real-world dataset consists of three apple trees with manually counted ground truths, a benchmark apple dataset with one row and ground truth fruit location, while the synthetic dataset comprises various fruit types including apple, plum, lemon, pear, peach, and mango.Additionally, we assess the performance of fruit counting using the foundation model compared to a U-Net.