Nghiên cứu và phát triển cơ sở dữ liệu cử chỉ tay

Bài báo này trình bày một cơ sở dữ liệu cử chỉ tay bao gồm các chữ cái, chữ số trong ngôn ngữ cử chỉ để phục vụ cho việc phát triển, thử nghiệm cũng như triển khai các hệ thống nhận dạng cử chỉ tay. Cử chỉ là một tập các biểu tượng thường được sử dụng trong giao tiếp giữa con người - con người.
Nội dung trích xuất từ tài liệu:
Nghiên cứu và phát triển cơ sở dữ liệu cử chỉ tay Nguyễn Thị Tính và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 99(11): 145 - 150 NGHIÊN CỨU VÀ PHÁT TRIỂN CƠ SỞ DỮ LIỆU CỬ CHỈ TAY Nguyễn Thị Tính*, Nguyễn Thị Thanh Tâm, Nguyễn Văn Tới, Lê Thu Trang Trường Đại học Công nghệ thông tin và Truyền thông – ĐH Thái Nguyên TÓM TẮT Bài báo này trình bày một cơ sở dữ liệu cử chỉ tay bao gồm các chữ cái, chữ số trong ngôn ngữ cử chỉ để phục vụ cho việc phát triển, thử nghiệm cũng như triển khai các hệ thống nhận dạng cử chỉ tay. Cử chỉ là một tập các biểu tượng thường được sử dụng trong giao tiếp giữa con người - con người. Hiện nay,việc nghiên cứu các phương pháp tự động nhận dạng cử chỉ để điều khiển các phương tiện máy móc như điều khiển chương trình máy tính, giao tiếp với robot cũng như ứng dụng trong hỗ trợ giao tiếp cho người khiếm thính đang được nhiều nhà khoa học quan tâm. Việc nghiên cứu, triển khai này đòi hỏi có các cơ sở dữ liệu cử chỉ đa dạng, phù hợp với môi trường ứng dụng thực tế. Trên thế giới đã tồn tại một số cơ sở dữ liệu cử chỉ tay nhằm đáp ứng nhu cầu này. Tuy nhiên, mỗi cơ sở dữ liệu đang tồn tại đó đều có những hạn chế riêng, chưa đáp ứng được sự phát triển nhanh chóng ở thời điểm hiện tại và tương lai. Do vậy, nhóm nghiên cứu xây dựng một cơ sở dữ liệu cử chỉ tay tốt hơn, khắc phục những nhược điểm của những cơ sở dữ liệu đã tồn tại. Cơ sở dữ liệu mà chúng tôi xây dựng dựa trên bảng chữ cái, chữ số của ngôn ngữ cử chỉ ASL (American Sign Language), là một tập cử chỉ chuẩn mực và được sử dụng rộng rãi. Cơ sở dữ liệu cử chỉ tay do chúng tôi xây dựng đa dạng. Chúng tôi tiến hành thu thập trong môi trường thực với những điều kiện chiếu sáng khác nhau. Cơ sở dữ liệu này có thể đáp ứng nhu cầu trong việc nghiên cứu, thử nghiệm các phương pháp cũng như triển khai các ứng dụng nhận dạng cử chỉ tay. Từ khóa: cử chỉ tay, hệ thống nhận dạng, nhận dạng cử chỉ, dữ liệu cử chỉ, American Sign Language GIỚI THIỆU* Bài toán nhận dạng cử chỉ có nhiều ứng dụng [1], như: phát triển các công cụ trợ giúp nói chuyện bằng tay, hệ thống hỗ trợ người khiếm thính, giúp trẻ em có thể thao tác với máy tính, chuẩn đoán các cảm xúc của bệnh nhân, đo mức độ trầm cảm, phát hiện nói dối, tương tác trong môi trường ảo, trợ giúp dạy học từ xa v.v.. Thông thường một cử chỉ có thể là cử chỉ tĩnh hoặc động. Một cử chỉ tĩnh được mô tả bởi một hình trạng duy nhất của cơ thể hoặc một bộ phận của cơ thể. Một cử chỉ động là một chuỗi các hình trạng liên tiếp. Cử chỉ tay được sử dụng phổ biến và đóng vai trò quan trọng trong giao tiếp. Để nhận dạng cử chỉ tay, cần phải biểu diễn cử chỉ tay, phân tích các cử chỉ từ đó cho phép nhận dạng. Thông thường, trong mỗi ứng dụng cụ thể, một tập cử chỉ phải được định nghĩa trước. Việc nhận dạng các cử chỉ thường được làm sau khi đã học các cử chỉ định nghĩa. Hiện nay, việc nghiên cứu các phương pháp tự động nhận dạng cử chỉ đang thu hút sự quan tâm của nhiều nhà khoa học trên thế giới. Việc nghiên cứu, triển khai này đòi hỏi * Tel: 0986 060186, Email: nttinh@ictu.edu.vn có các cơ sở dữ liệu cử chỉ đa dạng, phù hợp với môi trường ứng dụng thực tế để đánh giá khách quan hiệu quả của các phương pháp và đánh giá khả năng ứng dụng trong thực tế. Từ nhu cầu trên, một số cơ sở dữ liệu cử chỉ tay đã ra đời và đang được sử dụng [2]. Tuy nhiên, những cơ sở dữ liệu đang tồn tại còn có những hạn chế như tập cử chỉ chưa đa dạng, phông nền đơn giản, chỉ bao gồm các ảnh đen trắng...ví dự các tập cơ sở dữ liệu được trình bày trong phần 3, chưa đáp ứng được nhu cầu nghiên cứu, phát triển ở thời điểm hiện tại và tương lai. Do đó, cần thiết phải xây dựng một cơ sở dữ liệu mới, tốt hơn đáp ứng nhu cầu nghiên cứu, thử nghiệm cũng như triển khai hệ thống nhận dạng cử chỉ tay. Tập cơ sở dữ liệu do chúng tôi xây dựng có hầu hết các ưu điểm để có thể sử dụng cho bài toán nhận dạng cử chỉ như: ảnh thu được là ảnh màu, với phông nền phức tạp, tập các cử chỉ tay là bảng chữ cái, chữ số trong ngôn ngữ cử chỉ ASL đa dạng, phổ biến, nhiều người biết. Đây là đóng góp chính của chúng tôi được trình bày trong bài báo này. Trong các phần tiếp theo trình bày các nội dung: Phần 2 trình bày các phương pháp thu 145 Nguyễn Thị Tính và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ thập dữ liệu và lựa chọn phương pháp phù hợp để xây dựng tập cơ sở dữ liệu của chúng tôi. Phần 3 giới thiệu một số cơ sở dữ liệu đã tồn tại và ưu nhược điểm của chúng. Phần 4 trình bày quá trình thu nhập dữ liệu cử chỉ tay và kết quả. Cuối cùng là phần kết luận hướng nghiên cứu tiếp theo được trình bày trong phần 5 của bài báo. CÁC PHƯƠNG PHÁP THU THẬP DỮ LIỆU Thu thập dữ liệu là một khâu quan trọng trong bài toán xác định hình trạng của bàn tay (hand posture) và nhận dạng cử chỉ (gesture recognition). Có nhiều cách để thu thập dữ liệu trong đó 2 phương pháp được sử dụng nhiều nhất là: phương pháp dùng găng tay chuyên dụng (glove-based) và phương pháp sử dụng camera để thu nhận ảnh của bàn tay (vision-based) [3], [4]. Phương pháp thu thập dữ liệu sử dụng găng tay chuyên dụng: Phương pháp này đòi hỏi người thử nghiệm phải đeo vào tay một găng tay chuyên dụng. Găng tay có kết nối với thiết bị thu nhận và xử lý dữ liệu ở bên ngoài thông qua các dây cáp hoặc kết nối không dây. Các dữ liệu thu được phải mô tả được góc giữa các đốt tay cũng như vị trí của ngón tay và bàn tay. Kiểu dữ liệu đưa ra phụ thuộc hoàn toàn vào loại thiết bị sử dụng như các thiết bị đo sử dụng từ tính, âm tính, quán tính. Phương pháp thu nhận ảnh bàn tay sử dụng camera: Một trong số những hạn chế lớn nhất của phương pháp thu thập dữ liệu cử chỉ bàn tay sử dụng găng tay chuyên dụng là người sử dụng phải đeo vào một găng tay có tích hợp các bộ phát sóng điện từ, sóng siêu âm, ánh sáng, hoặc các thiết bị đo gia tốc, vận tốc, v.v.. Găng tay sau đó phải được kết nối (có dây, hoặc không dây) với máy tính để xử lý và nhận dạng. Việc đeo thiết bị khiến người sử dụng bị khó chịu vì cồng kềnh, bất tiện. Khi đeo vào một thiết bị như thế, các cử động của bàn ...