Ước lượng tự động số học sinh trên ảnh sử dụng kỹ thuật học sâu ứng dụng trong quản lý lớp học thông minh

Hiện nay các công nghệ nhận dạng và trí tuệ nhân tạo đang được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau của đời sống trong đó có giáo dục. Bài viết trình bày phương pháp ước lượng tự động số học sinh dựa trên việc phát hiện vùng đầu của học sinh trên ảnh/ video phục vụ cho việc đếm tự động số lượng học sinh trong lớp học.
Nội dung trích xuất từ tài liệu:
Ước lượng tự động số học sinh trên ảnh sử dụng kỹ thuật học sâu ứng dụng trong quản lý lớp học thông minh Hội nghị Quốc gia lần thứ 23 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2020) ◊Óc l˜Òng t¸ Îng sË hÂc sinh trên £nh s˚ dˆng kˇ thu™t hÂc sâu ˘ng dˆng trong qu£n l˛ lÓp hÂc thông minh Hà Th‡ Oanh1, 2 , Tr˜Ïng Th‡ NgÂc Ph˜Òng3 , Nguyπn HÁng Quân4, 5 , Tr¶n Th‡ Thanh H£i 1, 4 , Lê Th‡ Lan 1, 4 , VÙ H£i 1, 4 , oàn Th‡ H˜Ïng Giang1, 6 1Viªn nghiên c˘u quËc t∏ MICA - Tr˜Ìng §i hÂc Bách Khoa Hà NÎi 2 Tr˜Ìng §i hÂc Thıy LÒi 3 Tr˜Ìng §i hÂc S˜ ph§m kˇ thu™t Thành phË HÁ Chí Minh 4 Viªn iªn t˚ Viπn thông, Tr˜Ìng §i hÂc Bách Khoa Hà NÎi 5 Khoa Công nghª thông tin, Tr˜Ìng §i hÂc Công nghiªp Viªt - Hung 6 Tr˜Ìng §i hÂc iªn L¸c Tóm t≠t—Hiªn nay các công nghª nh™n d§ng và trí tuª l˛ lÓp hÂc mÎt cách dπ dàng hÏn Áng thÌi nâng cao nhân t§o ang ˜Òc ˘ng dˆng rÎng rãi trong nhi∑u lænh chßt l˜Òng d§y và hÂc. v¸c khác nhau cıa Ìi sËng trong ó có giáo dˆc. Các Bài toán i∫m danh t¸ Îng s˚ dˆng thông tin hình camera ã ˜Òc l≠p ∞t  nhi∑u lÓp hÂc ho∞c khuôn viên £nh trong lÓp hÂc có th∫ th¸c hiªn theo hai h˜Óng ti∏p cıa tr˜Ìng nh¨m phát hiªn nh˙ng bßt th˜Ìng ho∞c nâng cao chßt l˜Òng d§y và hÂc. Trong bài báo này, chúng tôi c™n nh˜: phát hiªn ng˜Ìi và phát hiªn ¶u mÎt cách t¸ trình bày mÎt ph˜Ïng pháp ˜Óc l˜Òng t¸ Îng sË l˜Òng Îng trong khung hình. Sau ó, th¸c hiªn ∏m sË l˜Òng hÂc sinh d¸a trên viªc phát hiªn vùng ¶u cıa hÂc sinh ng˜Ìi ho∞c ¶u phát hiªn ˜Òc. Tuy bài toán phát hiªn trên £nh/video phˆc vˆ cho viªc ∏m t¸ Îng sË l˜Òng ã §t ˜Òc nh˙ng thành công nhßt ‡nh, viªc phát hiªn sinh viên trong lÓp hÂc. Phát hiªn ¶u trên £nh thu th™p ng˜Ìi/ ¶u trong môi tr˜Ìng lÓp hÂc ph£i Ëi m∞t vÓi t¯ lÓp hÂc là mÎt bài toán có nhi∑u thách th˘c do môi nhi∑u thách th˘c nh˜ môi tr˜Ìng ông, sinh viên ngÁi tr˜Ìng ông, có s¸ che khußt lÓn. Trong bài báo chúng che khußt l®n nhau, góc nhìn camera thay Íi, i∑u kiªn tôi áp dˆng m§ng hÂc sâu tiên ti∏n cho bài toán phát hiªn ¶u và th¸c hiªn ánh giá trên mÎt cÏ s d˙ liªu dùng phông n∑n ph˘c t§p, i∑u kiªn chi∏u sáng thay Íi,... chung và mÎt cÏ s d˙ liªu ˜Òc xây d¸ng trong i∑u kiªn MÎt trong nh˙ng vßn ∑ lÓn nhßt c¶n gi£i quy∏t là s¸ che lÓp hÂc cıa Viªt Nam. K∏t qu£ cho thßy ph˜Ïng pháp khußt, nhi∑u Ëi t˜Òng c¶n phát hiªn trong mÎt khung ∑ xußt c£i ti∏n hÏn các ph˜Ïng pháp khác vÓi Î triªu hình, Î phân gi£i nh‰ cıa ng˜Ìi trong khung hình. hÁi §t 0.91 và 0.98 trên cÏ s d˙ liªu SCUT-HEAD và Trong khi yêu c¶u cıa hª thËng c¶n ph£i có thÌi gian sub-MICA-HEAD. áp ˘ng ı nhanh vÓi Î chính xác cao. T¯ khóa—Phát hiªn Ëi t˜Òng, m§ng nÏ ron tích ch™p, YOLOv4. ∫ gi£i quy∏t bài toán này, trong bài báo này chúng tôi ti∏p c™n theo h˜Óng phát hiªn ¶u trong khung hình vì ¶u là mÎt Ëi t˜Òng không b‡ bi∏n d§ng và dπ quan I. GIŒI THIõU sát hÏn trong ng˙ c£nh lÓp hÂc. Chúng tôi s˚ dˆng m§ng Phát hiªn Ëi t˜Òng trên £nh/video là lænh v¸c nghiên neuron tích ch™p YOLO [1] cho bài toán phân lÓp nh‡ c˘u quan trÂng cıa th‡ giác máy tính. Cùng vÓi nhu phân ( ¶u/không ¶u). YOLO là mÎt mô hình phát hiªn c¶u nâng cao chßt l˜Òng d§y và hÂc và s¸ phÍ bi∏n giá Ëi t˜Òng ã và ang ˜Òc s˚ dˆng rÎng rãi hiªn nay thành ngày càng r¥ cıa các thi∏t b‡ thu th™p và l˜u tr˙ nhÌ kh£ n´ng ánh giá và phát hiªn hiªu qu£ cıa nó. Bài thông tin, camera ngày càng ˜Òc cài ∞t rÎng rãi trong báo này s≥ th¸c hiªn ánh giá th¸c nghiªm vÓi YOLOv4 các lÓp hÂc ∞c biªt là  các vùng thành th‡. Tuy nhiên, và so sánh vÓi các m§ng hÂc sâu khác trên cùng mÎt thông tin hình £nh mÓi chø d¯ng  quan sát thı công CSDL. và th˜Ìng ˜Òc l˜u tr˙ trong mÎt kho£ng thÌi gian nhßt óng góp chính cıa bài báo nh˜ sau: ‡nh. Trong khi ó, viªc khai thác thông tin hình £nh • Xây d¸ng và gán nhãn t™p d˙ liªu hình £nh trong mÎt cách hÒp l˛ s≥ có th∫ hÈ trÒ i∫m danh, phân tích lÓp hÂc phˆc vˆ cho viªc hußn luyªn và ánh giá hành vi cıa sinh viên và giáo viên t¯ ó giúp cho qu£n các ph˜Ïng pháp hÂc máy. CSDL này ˜Òc ∞t tên ISBN: 978-604-80-5076-4 142 Hội nghị Quốc gia lần thứ 23 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2020) là sub-MICA-HEAD. qua viªc ∏m sË l˜Òng ¶u phát hiªn vÓi Î tin • Tri∫n khai, ánh giá mÎt ph˜Ïng pháp t¸ Îng c™y cao) ˜Óc l˜Òng sË hÂc sinh trên £nh s˚ dˆng m§ng hÂc sâu YOLO và th¸c hiªn so sánh ánh giá vÓi các B. Ki∏n trúc cıa YOLO ph˜Ïng pháp khác trên cÏ s d˙ liªu dùng chung H¶u h∏t các hª thËng d¸a trên m§ng hÂc sâu khác SCUT-HEAD và t™p cÏ s d˙ liªu do chúng tôi t¸ ∑u s˚ dˆng các bÎ phân lo§i ho∞c bÎ ‡nh v‡ ∫ phát xây d¸ng sub-MICA-HEAD  trên. hiªn mÎt Ëi t˜Òng trong £nh. Nh˙ng mô hình này ˜Òc áp dˆng cho mÎt hình £nh  nhi∑u v‡ trí và t lª khác II. CÁC NGHIÊN CŸU LIÊN QUAN nhau. So vÓi các ph˜Ïng pháp phát hiªn Ëi t˜Òng thông Do ¶u cıa mÈi mÎt ng˜Ìi có hình d§ng khác nhau, th˜Ìng, YOLO t‰ ra có nhi∑u ˜u i∫m. Thay vì s ...