CMDE gồm hai thành phần: hệ thống nhận thức (cognitive system) và hệ thống robot (robotic system). Hai hệ thống giao tiếp qua OntPercept, một ontology mô tả thông tin cảm nhận từ môi trường như thị giác, thính giác, xúc giác, vị giác và khứu giác.

• OntPercept được xây dựng dựa trên SUMO và IEEE 1872-2015, sử dụng OWL/RDF và công cụ Protégé. Các lớp chính gồm RobotPerceptionEvent và các lớp con như RobotVision, RobotHear, RobotTouch, RobotTaste, RobotSmell.
• - Mỗi lớp mô tả thông tin cảm nhận: ví dụ RobotSmell dùng vector 10 chiều để biểu diễn mùi, RobotHear mô tả loại âm thanh và vị trí phát ra, RobotTouch mô tả nhiệt độ, độ cứng, độ ẩm, v.v.
• - RHS là môi trường mô phỏng gồm phòng khách và bếp, có robot và người dùng tương tác. Robot được điều khiển bởi hệ thống nhận thức Soar, sử dụng OntPercept để nhận thông tin cảm nhận và ra quyết định hành động.
• - Các API được xây dựng để truy xuất OntPercept từ Java (cho hệ nhận thức) và C# (cho mô phỏng Unity). Dữ liệu được lưu trữ bằng Fuseki triple store và truy vấn bằng SPARQL.
• - Hai thí nghiệm được thực hiện: (1) robot nhận lệnh lấy gói bánh cracker và đưa cho người dùng, phản ứng khác nhau tùy theo cảm xúc người dùng; (2) robot nghe tiếng nước chảy, đóng vòi nước, ngửi thấy mùi cá hồi và cất vào tủ lạnh.