Ứng dụng PCA trong nhận dạng cử chỉ tay ngôn ngữ tiếng Việt

Bài báo này đề xuất phương pháp xử lý hình ảnh sau khi thu nhận và áp dụng kỹ thuật phân tích thành phần chính PCA (Principle Component Analysis) để nhận dạng cử chỉ dựa trên các hình ảnh sau khi xử lý đó. Các kết quả thực nghiệm cho thấy hệ thống đề xuất đã đạt được tỉ lệ nhận dạng cao. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
Ứng dụng PCA trong nhận dạng cử chỉ tay ngôn ngữ tiếng Việt Hội Thảo Quốc Gia 2015 về Điện Tử, Truyền Thông và Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 về Điện Tử, Truyền Thông và Công Nghệ Thông Tin (ECIT 2015) Ứng dụng PCA trong nhận dạng cử chỉ tay ngôn ngữ tiếng Việt Nguyễn Thị Hương Thảo, Vũ Hữu Tiến, Nguyễn Ngọc Minh, Vũ Văn San Học Viện Công Nghệ Bưu Chính Viễn Thông Email: {thaonth, tienvh, minhnn, sanvv}@ptit.edu.vn Tóm tắt—Hiện nay, cử chỉ tay là một trong các mối quan dụng kỹ thuật PCA. tâm chính đối với người khiếm thính vì họ sử dụng ngôn Hệ thống nhận dạng cử chỉ tay có bốn giai đoạn: thu ngữ cử chỉ để giao tiếp với nhau và giao tiếp với người nhận dữ liệu, mô hình hóa cử chỉ, trích chọn đặc trưng bình thường. Đối với người bình thường nếu không biết và nhận dạng. Thu nhận dữ liệu có thể thực hiện bằng hoặc gặp khó khăn với ngôn ngữ cử chỉ của người khiếm thính thì cần phải có thông dịch viên hỗ trợ quá trình cách sử dụng găng tay. Găng tay dữ liệu sử dụng cảm giao tiếp. Do đó, một hệ thống nhận dạng ngôn ngữ cử biến (cơ hoặc quang) được gắn vào găng tay để chuyển chỉ bàn tay tự động là rất cần thiết để giúp đỡ những đổi cử chỉ ngón tay thành tín hiệu điện. Từ đó có thể xác người khiếm thính hòa nhập vào cuộc sống bình thường. định được vị trí tương ứng của các ngón tay. Cử chỉ tay Về mặt kỹ thuật, nhận dạng ngôn ngữ cử chỉ là một bài cũng có thể được thu nhận bằng camera/webcam/Kinect toán toàn diện vì phải có sự kết hợp của các giai đoạn 3D. Cách này có giá thành thấp và người sử dụng có thu nhận ảnh, xử lý ảnh, phân tích và nhận dạng ảnh. Bài báo này đề xuất phương pháp xử lý hình ảnh sau khi thu thể tạo ra các cử chỉ một cách dễ dàng. Trong một số nhận và áp dụng kỹ thuật phân tích thành phần chính các công trình nghiên cứu trước đây sử dụng ảnh tĩnh PCA (Principle Component Analysis) để nhận dạng cử chỉ để phân tích và nhận dạng, họ thường sử dụng camera dựa trên các hình ảnh sau khi xử lý đó. Các kết quả thực để bắt giữ hình ảnh. Tuy nhiên, phương pháp này không nghiệm cho thấy hệ thống đề xuất đã đạt được tỉ lệ nhận thích hợp trong thực tế. Đối với các ứng dụng thời gian dạng cao. thực thường sử dụng webcam để bắt giữ một chuỗi video Từ khóa—PCA, nhận dạng cử chỉ, VSL cử động của bàn tay. Trong phương pháp này, các khung hình được phân tích để tách ra ảnh cử chỉ bàn tay. Vấn I. GIỚI THIỆU đề chính trong phương pháp này là tìm ra khung hình Ngôn ngữ cử chỉ là loại ngôn ngữ sử dụng cử chỉ bàn nào chứa cử chỉ cuối cùng. tay, biểu cảm của khuôn mặt và chuyển động của cơ thể Sau giai đoạn thu nhận dữ liệu là mô hình hóa cử chỉ. để truyền đạt ý nghĩa giữa những người khiếm thính với Bàn tay cần được mô hình hoá để xử lý một cách chính nhau và với người bình thường. Ngôn ngữ cử chỉ tay xác. Các mô hình khác nhau được lựa chọn tùy theo cũng được sử dụng trong nhiều các ứng dụng khác như từng ứng dụng cụ thể. Giai đoạn này thực hiện phân tương tác người – máy, hiện thực ảo, trò chơi tương tác. vùng bàn tay và tiền xử lý. Phân vùng bàn tay thực hiện Vì vậy hiện nay nhận dạng ngôn ngữ cử chỉ là một lĩnh tách bàn tay khỏi bức ảnh và tiền xử lý là quá trình cải vực thu hút nhiều các nhà nghiên cứu tập trung tìm hiểu. thiện chất lượng bức ảnh và cắt ra đúng vùng liên quan Điều này giúp cho những người khiếm thính có cơ hội để xử lý tiếp theo. Quá trình phân vùng chính xác sẽ giao tiếp với người bình thường một cách dễ dàng hơn. giúp trích chọn đặc trưng hoàn hảo. Phương pháp trích Nhiều nghiên cứu trước đây đã thực hiện với các ngôn chọn đặc trưng được xem xét kỹ lưỡng tùy vào các ứng ngữ khác nhau như ngôn ngữ cử chỉ Mỹ Latin, ngôn ngữ dụng khác nhau. cử chỉ Ấn Độ, ngôn ngữ cử chỉ Anh. Tuy nhiên chưa có Giai đoạn cuối cùng của hệ thống nhận dạng cử chỉ tay nhiều bài báo đề cập đến ngôn ngữ cử chỉ Tiếng Việt là phân loại cử chỉ. Có rất nhiều phương pháp phân loại VSL (Vietnamese Sign Language). Bài báo này đề xuất như Mô hình Markov ẩn HMM, phân tích thành phần một hệ thống nhận dạng cử chỉ tay mà người sử dụng chính PCA, phân loại theo khoảng cách, mạng neural. không cần phải sử dụng thiết bị chuyên dụng nào như Nhận dạng cử chỉ tay gồm nhiều kỹ thuật khác nhau găng tay mà chỉ thực hiện cử chỉ bằng tay trần trước [1]. Các nhà nghiên cứu sử dụng các kỹ thuật khác nhau camera cố định sẵn. Hệ thống thực hiện nhận dạng các và đạt được độ chính xác khá cao. Phương pháp trong chữ cái Tiếng Việt qua cử chỉ bàn tay tĩnh bằng cách sử tài liệu [2] đề xuất hệ thống nhận dạng ngôn ngữ cử chỉ 136 ISBN: 978-604-67-0635-9 136 Hội Thảo Quốc Gia 2015 về Điện Tử, Truyền Thông và Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 về Điện Tử, Truyền Thông và Công Nghệ Thông Tin (ECIT 2015) Hình 1. Sơ đồ hệ thống nhận dạng được đề xuất Hình 2. Bảng ký hiệu ngôn ngữ cử chỉ tiếng Việt Ấn Độ trong video trực tiếp sử dụng trị riêng và vector A. Thu nhận dữ liệu riêng để trích c ...