Phần cứng:

  + Kinect RGB-D (camera màu + cảm biến hồng ngoại đo độ sâu), gắn trên mũ bảo hiểm; máy tính xách tay trong ba lô; tai nghe truyền âm qua xương.

  + Loại bỏ các thành phần không cần thiết của Kinect (vỏ, micro, motor nghiêng) để giảm trọng lượng.

• Phần mềm:
•   + Module phát hiện khuôn mặt (FaceTrackLib) dùng dữ liệu màu, độ sâu, skeleton.
•   + Module nhận dạng khuôn mặt: trích xuất HOG (3780 chiều), giảm chiều bằng PCA (giữ 95% phương sai), phân loại bằng K-NN (K=1), bỏ phiếu theo cửa sổ trượt 60 khung hình.
•   + Module âm thanh 3D: dùng HRTF để tạo âm thanh ảo tại vị trí đầu người được nhận dạng, phát qua tai nghe xương; thông báo khoảng cách bằng lời nói.
• - Tính năng:
•   + Nhận dạng người đã đăng ký, thông báo “không nhận ra” với người lạ.
•   + Hoạt động thời gian thực (~30 fps trên laptop hiệu năng cao).
•   + Có thể nhận dạng bằng dữ liệu độ sâu khi không có ánh sáng.
• - Thử nghiệm:
•   + Bộ dữ liệu UKFD (600 video, 30 người) và UVAD (808 video, 404 người).
•   + Độ chính xác tới 94,26% (UKFD, 48 mẫu/lớp, cửa sổ 60 khung); giảm khi số lớp tăng nhưng vẫn cao với quy mô mạng xã hội thực tế của người khiếm thị.
•   + Thử nghiệm với người mù/thị lực kém: cải thiện khả năng nhận biết và định vị người xung quanh; phản hồi tích cực về tính hữu ích.
• - Hạn chế:
•   + Kinect kém hiệu quả ngoài trời hoặc khi có ánh sáng mặt trời trực tiếp.
•   + HRTF chung làm giảm độ chính xác định vị âm thanh; cần cá nhân hóa để cải thiện.
•   + Cần thời gian làm quen để tăng hiệu quả sử dụng.
• - Hướng phát triển:
•   + Kết hợp dữ liệu RGB và độ sâu để cải thiện hiệu suất.
•   + Nghiên cứu mã hóa khoảng cách bằng phương pháp khác ngoài lời nói.
•   + Thử nghiệm trên phần cứng đeo gọn nhẹ hơn (mũ lưỡi trai, kính).