Sensor Transfer: Học tăng cường hình ảnh hiệu ứng cảm biến tối ưu để thích ứng miền từ mô phỏng sang thực tế

( 0 đánh giá )
Miễn phí

Các bộ dữ liệu mô phỏng thường có độ chân thực cao nhưng vẫn khác biệt rõ rệt so với dữ liệu thực do thiếu các hiệu ứng cảm biến như nhiễu, mờ, sai lệch màu sắc.  

  • Tác giả xây dựng một mạng học tăng cường gồm các hàm hiệu ứng cảm biến vật lý như quang sai sắc, mờ Gaussian, phơi sáng, nhiễu Poisson-Gaussian và cân bằng màu.  
  • - Mạng học này được huấn luyện để học phân phối tham số của các hiệu ứng cảm biến từ dữ liệu thực (KITTI, Cityscapes) và áp dụng lên dữ liệu mô phỏng (GTA Sim10k).  
  • - Kết quả cho thấy việc tăng cường dữ liệu mô phỏng bằng hiệu ứng cảm biến học được giúp cải thiện đáng kể hiệu suất phát hiện vật thể khi huấn luyện trên dữ liệu mô phỏng và kiểm tra trên dữ liệu thực.  
  • - Phương pháp này vượt trội hơn so với các kỹ thuật chuyển miền hình ảnh như CycleGAN, UNIT, MUNIT và cả phương pháp tăng cường ngẫu nhiên.  
  • - Tài liệu cũng phân tích thống kê các tham số học được và cho thấy sự khác biệt rõ rệt giữa các miền dữ liệu, ví dụ như KITTI có xu hướng mờ và thiên sắc xanh hơn Cityscapes.