Hệ thống gồm ba phần chính: thiết bị đầu vào (điện thoại thông minh hoặc camera ghi âm), xử lý dữ liệu trên nền tảng đám mây, và nhân viên y tế. Dữ liệu giọng nói được xử lý bằng kỹ thuật Multi-Directional Features (MDF) thay thế cho MFCC truyền thống nhằm tăng độ chính xác trong môi trường có nhiễu. Dữ liệu video được xử lý bằng Local Ternary Pattern (LTP) để trích xuất đặc trưng biểu cảm khuôn mặt, giúp tăng độ bền với thay đổi ánh sáng và nhiễu. Các đặc trưng từ hai nguồn được kết hợp ở mức điểm số để đưa ra quyết định cuối cùng. Hệ thống được thử nghiệm trên 100 người tham gia mô phỏng ba trạng thái: bình thường, đau, và căng thẳng. Kết quả cho thấy độ chính xác trung bình đạt 98.2%, thời gian xử lý mỗi mẫu là 4.1ms, cho thấy khả năng ứng dụng thực tế trong hệ thống chăm sóc sức khỏe thông minh.