So sánh mô hình Bi-GRU và Bi-LSTM với cơ chế chú ý cho bài toán dịch ngôn ngữ ký hiệu

Bài viết "So sánh mô hình Bi-GRU và Bi-LSTM với cơ chế chú ý cho bài toán dịch ngôn ngữ ký hiệu" đề xuất một mô hình dịch máy dựa trên mạng nơ-ron sử dụng cơ chế Bi-GRU và so sánh hiệu quả với Bi-LSTM để dịch từ ngôn ngữ ký hiệu sang một câu tiếng Anh hoàn chỉnh. Mô hình được huấn luyện và đánh giá trên tập dữ liệu song ngữ Anh-ASL bao gồm dữ liệu song ngữ Anh-ASL (ASLGPC12) và những dữ liệu được thu thập thông qua các phiên dịch trực tiếp giữa người thạo ASL và người thạo tiếng Anh. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
So sánh mô hình Bi-GRU và Bi-LSTM với cơ chế chú ý cho bài toán dịch ngôn ngữ ký hiệu Hội nghị Quốc gia lần thứ 26 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2023) SO SÁNH MÔ HÌNH BI-GRU VÀ BI-LSTM VỚI CƠ CHẾ CHÚ Ý CHO BÀI TOÁN DỊCH NGÔN NGỮ KÝ HIỆU Trần Trung Tiến1, Nguyễn Xuân Sâm2 1 Greenwich Vietnam, Đại học FPT 2 Trường Đại học Sư phạm Kỹ thuật TP. HCM Email: tienttgcs200400@fpt.edu.vn, samnx@hcmute.edu.vn Abstract—Trong nghiên cứu này, chúng tôi đề xuất một Những đóng góp chính của nghiên cứu này được tóm tắt mô hình dịch máy dựa trên mạng nơ-ron sử dụng cơ chế như sau: Bi-GRU và so sánh hiệu quả với Bi-LSTM để dịch từ ngôn ngữ ký hiệu sang một câu tiếng Anh hoàn chỉnh. Mô hình  Mở rộng tập dữ liệu song ngữ Anh-ASL (ASLG- được huấn luyện và đánh giá trên tập dữ liệu song ngữ PC12) [5] từ nhiều nguồn khác nhau, bao gồm Anh-ASL bao gồm dữ liệu song ngữ Anh-ASL (ASLG- Handspeak, StartASL và Lifeprint để tạo ra một PC12) và những dữ liệu được thu thập thông qua các tập dữ liệu mới Extended-ASLG-PC12. phiên dịch trực tiếp giữa người thạo ASL và người thạo tiếng Anh. Kết quả thực nghiệm cho thấy. Kết quả cho  Phát triển mô hình dịch Bi-LSTM và Bi-GRU kết thấy mô hình Bi-GRU có tốc độ huấn luyện nhanh hơn hợp với cơ chế chú ý dựa trên tập dữ liệu 14,68% và dự đoán nhanh hơn 17,91% so với Bi-LSTM, Extended-ASLG-PC12. trong khi vẫn duy trì độ chính xác tương đương (điểm BLEU 37,52 so với 38,26 của Bi-LSTM) nhờ cấu trúc đơn  Thực hiện so sánh và đánh giá hiệu năng của hai giản hơn. Nghiên cứu này đã chứng minh được hiệu quả mô hình dịch Bi-LSTM và Bi-GRU bằng cơ chế và tiềm năng của mô hình Bi-GRU đối với việc xây dựng chú ý dựa trên tập dữ liệu Extended-ASLG-PC12. hệ thống dịch ASL sang tiếng Anh thời gian thực. Kết quả cho thấy Bi-GRU có ưu thế về tốc độ xử lý nhanh hơn trong khi vẫn đảm bảo độ chính xác Keywords- Ngôn ngữ ký hiệu Mỹ (ASL glosses), Bi- GRU, Bi-LSTM, dịch máy ngôn ngữ ký hiệu, cơ chế chú ý. tương đương với Bi-LSTM. Phần còn lại của bài báo được tổ chức như sau: Phần I. GIỚI THIỆU II trình bày cơ sở lý thuyết về các nghiên cứu trước đây liên quan đến vấn đề dịch từ ASL sang tiếng Anh bằng Những người khuyết tật, đặc biệt là những người bị các phương pháp học sâu. Phần III cung cấp thông tin câm và khiếm thính, phải đối mặt với nhiều khó khăn và chi tiết về phương pháp xây dựng tập dữ liệu, cũng như thách thức trong cuộc sống hàng ngày của họ. Theo Tổ các mô hình Bi-GRU và Bi-LSTM được sử dụng trong chức Y tế Thế giới (WHO), có khoảng 466 triệu người nghiên cứu. Chúng tôi sẽ trình bày các thiết lập trước khi trên toàn thế giới và là một trong những nhóm lớn nhất thực nghiệm và kết quả thực nghiệm về độ chính xác và và bị lãng quên nhất đang chịu đựng hậu quả của việc tốc độ của hai mô hình trên tập dữ liệu ASL-English mất khả năng nghe với con số dự kiến sẽ tăng lên 630 trong phần IV. Cuối cùng, chúng tôi đưa ra các kết luận triệu vào năm 2030 [1]. Hiện nay, phương thức giao tiếp về ưu nhược điểm của mỗi mô hình và hướng phát triển chủ yếu giữa người khiếm thính và câm điếc thường nghiên cứu trong tương lai. được thực hiện bằng ngôn ngữ ký hiệu. Tuy nhiên, việc tìm kiếm phương tiện giao tiếp với những người không biết hoặc không hiểu ngôn ngữ ký hiệu là vô cùng khó II. CƠ SỞ LÍ LUẬN CÁC NGHIÊN CỨU LIÊN khăn và thử thách. Các nghiên cứu gần đây đã và đang QUAN tập trung vào việc sử dụng các kỹ thuật học sâu và học Dịch ngôn ngữ ký hiệu sang một ngôn ngữ nói là máy để xây dựng các mô hình dịch tự động từ ngôn ngữ việc thu thập video từ người sử dụng ngôn ngữ ký hiệu, này sang ngôn ngữ khác. Trước đó, các mô hình seq2seq xử lý các khung hình để trích xuất và ánh xạ các đặc kết hợp cơ chế chú ý đã giúp nâng cao độ chính xác dịch trưng có ý nghĩa vào câu văn bản tương ứng [5]. Những và chứng tỏ hiệu qu ...