Nhận dạng ngôn ngữ ký hiệu tiếng Việt với cử chỉ động dựa trên hệ tọa độ cầu

Bài viết đề xuất phương pháp nhận dạng ngôn ngữ ký hiệu tiếng Việt cử chỉ động với dữ liệu được thu từ camera Kinect phiên bản 2. Việc xác định mức độ tương đồng giữa hai cử chỉ được thực hiện bởi thuật toán Dynamic Time Warping (DTW) và kết quả phân lớp được đưa ra bởi Nearest Neighbor (NN). Việc thực nghiệm trên 10 từ tiếng Việt mang lại hiệu quả nhận dạng trung bình lên đến 92%, đồng thời hệ thống có thể xử lý theo thời gian thực nhằm phù hợp với ứng dụng thực tế. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
Nhận dạng ngôn ngữ ký hiệu tiếng Việt với cử chỉ động dựa trên hệ tọa độ cầu HộiHội ThảoThảo Quốc Quốc Gia Gia 2015vềvềĐiện 2015 ĐiệnTử, Tử,Truyền TruyềnThông Thông và và Công CôngNghệ NghệThông ThôngTinTin (ECIT 2015) (ECIT 2015) Nhận dạng ngôn ngữ ký hiệu tiếng Việt với cử chỉ động dựa trên hệ tọa độ cầu Võ Đức Hoàng, Huỳnh Hữu Hưng, Nguyễn Hồng Sang Jean Meunier Trung tâm DATIC, Trường Đại học Bách Khoa, Đại học Đà Nẵng. DIRO, Đại học Montreal, Canada. Email: {hoangvd.it, hhhung}@dut.udn.vn, sangnguyenhong@hotmail.com Email: meunier@iro.umontreal.caAbstract—Ngôn ngữ ký hiệu là phương tiện giao tiếp được sử Sự ra đời của camera Kinect là một bước ngoặc lớn trongdụng phổ biến trong cộng đồng người khiếm thính. Ngôn ngữ ký xử lý ngôn ngữ cử chỉ.hiệu có những đặc trưng riêng với các quốc gia khác nhau, đượcbiểu diễn thông qua các cử chỉ và hình dạng bàn tay, khuỷu tay,hay khuôn mặt. Trong bài báo này, chúng tôi đề xuất phươngpháp nhận dạng ngôn ngữ ký hiệu tiếng Việt cử chỉ động với dữliệu được thu từ camera Kinect phiên bản 2. Việc xác định mứcđộ tương đồng giữa hai cử chỉ được thực hiện bởi thuật toánDynamic Time Warping (DTW) và kết quả phân lớp được đưa rabởi Nearest Neighbor (NN). Việc thực nghiệm trên 10 từ tiếngViệt mang lại hiệu quả nhận dạng trung bình lên đến 92%, đồngthời hệ thống có thể xử lý theo thời gian thực nhằm phù hợp với Hình 1. Camera đa năng Kinectứng dụng thực tế. Năm 2010, Microsoft cho ra mắt phiên bản camera Kinect Keywords- Vietnamese sign language, Kinect, Dynamic Time XBOX (hình 1) với nhiều tính năng thú vị như: camera hồngWarping, Nearest Neighbor, so khớp mẫu, khung xương. ngoại, camera chiều sâu, camera màu, nhận dạng giọng nói,… Đặc biệt, ta có thể sử dụng những cảm biến của camera thông I. GIỚI THIỆU qua các API được hỗ trợ trong bộ SDK dành cho Kinect Ngày nay hệ thống thị giác máy tính được áp dụng nhiều XBOX. Với những ưu điểm vượt trội trong tiền xử lý dữ liệu,trong các lĩnh vực như: giám sát, điều khiển công nghiệp, giao nhiều bài báo khoa học sử dụng Kinect XBOX như một thiết bịtiếp người và máy, truyền thông, điều khiển rô bốt... Có hai xu thu nhận dữ liệu trong xử lý ngôn ngữ ký hiệu.hướng nghiên cứu chính về nhận dạng ngôn ngữ ký hiệu tùy Zahoor Zafrulla và các cộng sự [9] có thể coi là người chothuộc vào loại cử chỉ tĩnh hay động. Các nghiên cứu về nhận đặt nền móng cho nhận dạng ngôn ngữ ký hiệu sử dụng Kinect.dạng ngôn ngữ ký hiệu tiếng Việt (Vietnamese Sign Language Nhóm tác giả nhận thấy trò chơi giáo dục cho trẻ em khiếm- VSL) tĩnh [1]-[4] đã cho các kết quả khá cao, ví dụ ở nghiên thính CopyCat rất có tiềm năng và có thể cải thiện hiệu quảcứu nhận dạng VSL tĩnh được H.H.Hưng và cộng sự đưa ra nhận dạng đáng kể bằng cách sử dụng Kinect. Hệ thống mớivào năm 2012 [1], dữ liệu được thu nhận dưới dạng ảnh 2D giúp người dùng thỏa mái hơn khi không phải mang găng taythông qua camera màu. Sau khi trích xuất đặc trưng dựa trên màu, cảm biến gia tốc và phải có dây nối trực tiếp với máyhình dạng và đường bao, mạng nơ-ron nhân tạo được sử dụng tính. Đặc biệt sử dụng Kinect giá thành rẻ hơn so với việc sửđể thực hiện việc phân lớp. Việc thử nghiệm được thực hiện dụng máy ảnh có độ phân giải cao.trên bộ ký hiệu tương ứng với bảng chữ cái tiếng Việt (nhiều Tháng 6/2012 Capilla, D.M. [10] công bố dự án bao gồmký tự hơn so với quốc tế) với độ chính xác lên đến 98%. một hệ thống tự động dịch ngôn ngữ ký hiệu kết nối với máy ...