Mô hình Deep Learning trong nhận diện cảm xúc và cảnh báo stress

Bài viết Mô hình Deep Learning trong nhận diện cảm xúc và cảnh báo stress áp dụng mạng nơ ron CNN để xây dựng hệ thống nhận diện cảm xúc khuôn mặt. Hệ thống được thiết kế dựa trên kiến trúc Lenet 5 có cải tiến ở một số điểm để tăng hiệu suất cũng như thời gian huấn luyện. Đồng thời, hệ thống nhận diện cảm xúc và cảnh báo stress được xây dựng trên thiết bị di động.
Nội dung trích xuất từ tài liệu:
Mô hình Deep Learning trong nhận diện cảm xúc và cảnh báo stress Tuyển tập Hội nghị Khoa học thường niên năm 2022. ISBN: 978-604-82-7001-8 MÔ HÌNH DEEP LEARNING TRONG NHẬN DIỆN CẢM XÚC VÀ CẢNH BÁO STRESS Trần Thị Ngân1, Nguyễn Văn Dũng1 1 Trường Đại học Thủy lợi, email: ngantt@tlu.edu.vn 1. GIỚI THIỆU giúp cho chúng ta xây dựng được những hệ Khuôn mặt là một trọng tâm chính trong thống thông minh với độ chính xác cao. CNN mối quan hệ giao tiếp trong xã hội. Biểu áp dụng trong nhận dạng cảm xúc khuôn mặt cảm khuôn mặt đóng vai trò quan trọng cũng là một trong những giải pháp tốt trong trong việc truyền tải bản sắc riêng và cảm thị giác máy tính, giao tiếp người – máy xúc của con người. Biểu hiện trên khuôn trong xu thế hiện nay [3]. mặt, là cách biểu đạt và trực tiếp nhất để Trong bài báo này, chúng tôi áp dụng giao tiếp cảm xúc ở người. Tuy nhiên, mặc mạng nơ ron CNN để xây dựng hệ thống dù nét mặt có thể dễ dàng nhận ra bởi con nhận diện cảm xúc khuôn mặt. Hệ thống người, nhưng nhận dạng khuôn mặt đáng được thiết kế dựa trên kiến trúc Lenet 5 có tin cậy bằng máy vẫn là một thách thức lớn. cải tiến ở một số điểm để tăng hiệu suất cũng Hơn nữa, nó là một vấn đề thú vị và đầy thử như thời gian huấn luyện. Đồng thời, hệ thách do phạm vi rộng của các ứng dụng thống nhận diện cảm xúc và cảnh báo stress như tương tác giữa con người và máy tính, được xây dựng trên thiết bị di động. nhận dạng hình mẫu, phân loại hình ảnh và 2. MÔ HÌNH MẠNG CNN TRONG NHẬN nhiều lĩnh vực khác. Ngoài ra, ảnh khuôn DIỆN CẢM XÚC KHUÔN MẶT mặt trong thực tế còn chứa đựng rất nhiều vấn đề như: độ sáng, độ nhòe/ mờ, độ Hệ thống nhận diện cảm xúc dựa trên nhiễu, độ phân giải, góc ảnh, tầm nhìn… khuôn mặt bằng mô hình CNN được thực Hệ thống nhận diện cảm xúc qua khuôn hiện thông qua các bước chính được minh mặt bằng phương pháp truyền thống sẽ xử lý họa trong Hình 1 dưới đây. bài toán với các giai đoạn: tiền xử lý hình bức ảnh khuôn mặt, trích chọn đặc trưng của bức ảnh và tiến hành phân loại [1, 2]. Từ các nghiên cứu đã có, hệ thống nhận dạng cảm xúc qua khuôn mặt thực hiện bằng các giai đoạn sau: tiền xử lý dữ liệu, phân lớp dữ liệu sử dụng học sâu. Vào những năm gần đây, học sâu mang lại độ chính xác, ổn định hơn phương pháp truyền thống vì nó không phải Hình 1. Cấu trúc tổng quát của mô hình thông qua bước trích xuất các đặc trưng một cách tường minh mà thay vào đấy thực hiện Trong đó, dữ liệu được đưa vào hệ thống đi kèm với phương pháp phân loại. là ảnh chụp khuôn mặt người với các biểu Mạng nơ-ron tích chập (Convolutional cảm khác nhau. Neural Network – CNN) là một trong những Mạng CNN được sử dụng trong mô hình là mô hình máy học (machine learning) tiên tiến mạng LeNet 5 với cấu trúc như Hình 2. 114 Tuyển tập Hội nghị Khoa học thường niên năm 2022. ISBN: 978-604-82-7001-8 khuôn mặt có kích thước 48×48 pixels. Bộ dữ liệu gồm 7 loại cảm xúc: Giận dữ (Angry), Ghê tởm (Disgust), Sợ hãi (Fear), Hạnh phúc (Happy), Buồn bã (Sad), Bất ngờ (Surprise) và Trung lập (Neutral). Với ứng dụng trên thiết bị di động, ảnh đầu vào có thể được chọn từ thư viện hoặc ảnh chụp trực tiếp từ thiết bị. Hình 2. Kiến trúc mạng LeNet Để xây dựng mô hình, một vài cải tiến được tác giả đề xuất sử dụng bao gồm: Hàm kích hoạt là hàm ReLU, các bộ lọc có kích thước nhỏ (3x3), xếp nhiều tầng CNN + max pooling, sử dụng dropout layer giúp giảm số lượng liên kết neural và kiểm soát overfitting. Hình 4. Giao diện chọn ảnh đầu vào Ngoài ra, để triển khai hệ thống trên thiết bị di động, mô hình cần được chuyển đổi sang Sau khi ảnh đầu vào được chọn, hệ thống dạng TensorFlow Lite (.tflite). phát hiện khuôn mặt và nhận diện cảm xúc. Kết Ứng dụng có chức năng chính là dựa trên quả được hiển thị như trong Hình 5 dưới đây. ảnh mà người dùng chụp hoặc lấy từ bộ nhớ máy sau đó tiến hành nhận diện khuôn mặt, xử lý ảnh sao cho ảnh đúng đầu vào của model, sau khi xử lý ảnh xong model sẽ chạy và nhận dạng được cảm xúc của khuôn mặt trên bức ảnh đấy từ đó đưa ra thông báo cho người dùng. Ảnh được đưa vào hệ thống qua 2 chức năng chính đó là: cho phép người dùng tự chụp ảnh hoặc người dùng có thể lấy ảnh từ thư viện ảnh trong máy. (a ) Quá trình xây dựng hệ thống trên thiết bị di động được thực hiện dựa theo sơ đồ dưới đây: Hình 3. Sơ đồ hoạt động của ứng dụng Trong đó, ảnh đầu vào có thể được chọn từ (b) các ảnh có sẵn hoặc chụp ảnh trực tiếp từ máy ảnh của thiết bị di động. Hình 5. Hoạt động của ứng dụng: (a) Ảnh đầu vào; (b) Kết quả nhận diện cảm xúc 3. KẾT QUẢ THỰC NGHIỆM Bên cạnh việc nhận diện cảm xúc khuôn mặt, Dữ liệu được sử dụng để huấn luyện mô hệ thống còn cảnh báo stress đối với biểu cảm hình là bộ dữ liệu FER-2013 [4]. FER-2013 là nhận được. Trong hình 6 cảm xúc được dự báo một bộ dữ liệu phổ biến với 35,887 ảnh là Buồn (sad) nên hệ thống hiển thị cảnh b ...