Hệ thống đếm trái cây và lập bản đồ bằng camera đơn với liên kết dữ liệu ngữ nghĩa

( 0 đánh giá )
Miễn phí

Phát hiện trái cây bằng Faster R-CNN, phát hiện thân cây bằng FCN kết hợp CRF để giảm nhiễu.

  • Theo dõi trái cây bằng optical flow + Kalman Filter, kết hợp với thuật toán Hungarian để gán dữ liệu giữa các khung hình.
  • - SfM ngữ nghĩa dùng chính các trái cây đã theo dõi làm điểm đặc trưng để tái tạo vị trí 3D và pose camera.
  • - Landmark trái cây được chiếu ngược lên ảnh để xác định các trường hợp theo dõi trùng (double tracking).
  • - Landmark thân cây được dùng để xác định tâm cây, từ đó loại bỏ các trái nằm phía sau cây (trái xuất hiện ở cả hai mặt).
  • - So sánh với hệ thống dùng LiDAR + GPS/INS cho thấy hệ thống camera đơn đạt sai số trung bình ~27 trái/cây, gần bằng hệ thống benchmark (~20 trái/cây).
  • - Thời gian xử lý SfM ngữ nghĩa chỉ ~5 phút cho 1000 ảnh, so với ~10 giờ của SfM truyền thống dùng SIFT.
  • - Hệ thống phù hợp cho nông nghiệp ở các nước đang phát triển, có thể triển khai trên smartphone.