Xây dựng bộ cơ sở dữ liệu cho bài toán phát hiện hoạt động của người học

Nghiên cứu này thực hiện xây dựng một cơ sở dữ liệu phục vụ cho bài toán nhận dạng các hoạt động trong lớp học. Cơ sở dữ liệu này sẽ bao gồm các hoạt động có ý nghĩa trong việc thể hiện chất lượng giờ học như: hoạt động ngồi học, hoạt động giơ tay, hoạt động đứng lên phát biểu, hoạt động ngủ gục và hoạt động sử dụng điện thoại.
Nội dung trích xuất từ tài liệu:
Xây dựng bộ cơ sở dữ liệu cho bài toán phát hiện hoạt động của người học Tuyển tập Hội nghị Khoa học thường niên năm 2023. ISBN: 978-604-82-7522-8 XÂY DỰNG BỘ CƠ SỞ DỮ LIỆU CHO BÀI TOÁN PHÁT HIỆN HOẠT ĐỘNG CỦA NGƯỜI HỌC Nguyễn Thị Phương Dung1, Nguyễn Hữu Quỳnh1, Lê Thị Lan2 1 Trường Đại học Thủy lợi, email: dungntp@tlu.edu.vn 2 Trường Điện - Điện tử, Đại học Bách khoa Hà Nội 1. GIỚI THIỆU CHUNG cho bài toán nhận dạng các hoạt động trong lớp học. Cơ sở dữ liệu này sẽ bao gồm các hoạt Hoạt động của người học, một phương thức động có ý nghĩa trong việc thể hiện chất lượng phi ngôn ngữ, là một dấu hiệu quan trọng để giờ học như: hoạt động ngồi học, hoạt động giơ biểu thị trạng thái học tập và mức độ tập trung của người học trong lớp. Bằng cách quan sát tay, hoạt động đứng lên phát biểu, hoạt động và phân tích hành vi, sự tập trung của người ngủ gục và hoạt động sử dụng điện thoại. học trong lớp, giáo viên và người quản lý có 2. PHƯƠNG PHÁP NGHIÊN CỨU thể thu được những thông tin quý giá. Qua đó có thể đánh giá được chất lượng giờ học, và có 2.1. Hiện trạng thể điều chỉnh phương pháp giảng dạy sao cho Đối với bài toán nhận dạng hoạt động sử kết quả dạy và học đạt thành tích cao hơn, hiệu dụng các mô hình học sâu, dữ liệu dùng để mô quả hơn. Thực tế cho thấy, từ trước đến nay, đã có nhiều phương pháp đánh giá chất lượng hình học tập là rất quan trọng. Mặc dù đã có dạy và học được ứng dụng. Trong đó phổ biến một vài bộ dữ liệu đề xuất cho bài toán nhận nhất là phương pháp quan sát thủ công. dạng hoạt động người, nhưng các hoạt động Ngày nay, với sự phát triển không ngừng trong các bộ dữ liệu này chủ yếu là các dữ liệu của các thiết bị thông minh, camera giám sát liên quan đến các hoạt động hằng ngày của con được lắp đặt ở hầu hết các lớp học, giúp cho người, hoặc các hoạt động trong lĩnh vực chăm việc nắm bắt thông tin lớp học trở nên trực sóc sức khỏe người già, thể dục thể thao. Có quan hơn. Cùng với đó là sự phát triển của các một số ít các nghiên cứu đã xây dựng những bộ hệ thống nhận dạng hoạt động thực hiện nhận dữ liệu cho hoạt động của người học như: các hình ảnh thu được từ các thiết bị giám sát, - Trong [1] các tác giả đã thực hiện thu xử lý và cho ra kết quả là các phát hiện và thập hình ảnh từ hơn 30 trường tiểu học và nhận biết được những hoạt động trong hình trung học khác nhau. Tổng dữ liệu thu được ảnh. Điều này hỗ trợ các nhà quản lý dễ dàng là 40.000 hình ảnh bao gồm 70.000 mẫu giơ theo dõi và đưa ra các đánh giá xác thực hơn. tay, 20.000 mẫu đứng và 3.000 mẫu ngủ. Kết quả của các hệ thống nhận dạng hoạt - Trong [2] các tác giả thu thập 22.000 hình động được ứng dụng trong nhiều lĩnh vực của ảnh và gán nhãn 77.000 hộp chú thích từ 4 lớp đời sống như: hỗ trợ giám sát an ninh, hỗ trợ trong một trường tiểu học để làm dữ liệu huấn giám sát trong y tế, hỗ trợ giám sát trong giáo luyện trong khi sử dụng 1 video của 23 sinh dục [1] [2] [4]... Tuy nhiên, trong giáo dục, viên trong một phòng họp làm dữ liệu kiểm việc ứng dụng nhận dạng hoạt động chưa được thử. Độ phân giải của tất cả các hình ảnh là khai thác triệt để, một trong các nguyên nhân là 19201080 pixel. Sự khác biệt lớn giữa tư thế do thiếu cơ sở dữ liệu cho bài toán nhận dạng của người trẻ trong bộ dữ liệu huấn luyện và các hoạt động trong lớp học. Nghiên cứu này người trưởng thành trong bộ thử nghiệm gây thực hiện xây dựng một cơ sở dữ liệu phục vụ khó khăn cho bài toán phát hiện. 90 Tuyển tập Hội nghị Khoa học thường niên năm 2023. ISBN: 978-604-82-7522-8 - Các tác giả trong bài báo [3] đã trình bày Với cách lắp đặt như vậy, bộ dữ liệu thu một bộ dữ liệu có 15 lớp hoạt động bao gồm được còn có thể dùng cho bài toán nhận dạng 817 video của 73 học sinh (32 nam và 41 nữ và phát hiện đa góc nhìn. Năm camera này ở các độ tuổi từ 18 đến 27 tuổi) với tốc độ được đồng bộ hóa về thời gian, có độ phân ghi hình là 30 hình trên giây và độ phân giải giải full HD 19201080 pixel, tốc độ ghi hình của camera là 1280720 pixel. là 25fps và đều có nắp che giúp cho người dạy - Trong [4] các tác giả quan tâm đến 6 lớp và người học có trạng thái tự nhiên nhất, hoạt động bao gồm giơ tay phải, tay trái, cả 2 không có cảm giác bị theo dõi. Sau đó chúng tay, ngủ gục, đứng lên và ngồi học. tôi thực hiện ghi hình 20 giờ học của các lớp Tuy nhiên, các bộ dữ liệu đều chưa được học khác nhau, với tổng dung lượng thu được công khai và dữ liệu thường tập trung vào là 45GB video. Từ dữ liệu video thu được đó, từng hoạt động của mỗi cá nhân đơn lẻ. Chưa chúng tôi tiến hành tách thành các khung hình có bộ dữ liệu nào liên quan đến nhiều hoạt để gán nhãn các hoạt động. Do các hoạt động động của nhiều người học trong cùng một trong lớp học được xem xét ở mức giây hoặc khung hình lớp học, nhất là những hoạt động phút để giáo viên có thể nhận biết nên việc đáng quan tâm như đã liệt kê ở trên. tách khung hình được thực hiện ở tốc độ 5fps. Điều này giúp giảm thông tin dư thừa trong 2.2. Xây dựng bộ cơ sở dữ liệu khi vẫn giữ được thông tin cần thiết. Trong Để cung cấp một bộ cơ sở dữ liệu phục vụ mỗi khun ...