Nghiên cứu thuật toán điều khiển các khớp ngón tay bằng Mediapipe

Công nghệ xử lý ảnh Mediapipe là thư viện phát hiện các cử chỉ của hình thể rất chính xác và nhẹ nhàng. Bài viết Nghiên cứu thuật toán điều khiển các khớp ngón tay bằng Mediapipe trình bày đề xuất thuật toán mới nhằm nhận dạng, và xác định độ gập/duỗi của các ngón tay theo các mức khác nhau.
Nội dung trích xuất từ tài liệu:
Nghiên cứu thuật toán điều khiển các khớp ngón tay bằng Mediapipe Tuyển tập Hội nghị Khoa học thường niên năm 2023. ISBN: 978-604-82-7522-8 NGHIÊN CỨU THUẬT TOÁN ĐIỀU KHIỂN CÁC KHỚP NGÓN TAY BẰNG MEDIAPIPE Ngô Quang Vĩ, Nguyễn Trọng Thắng Trường Đại học Thủy lợi, email: vihoangnq@tlu.edu.vn 1. GIỚI THIỆU CHUNG 2. TỔNG QUAN VỀ MÔ HÌNH TOÁN Công nghệ xử lý ảnh Mediapipe là thư viện 2.1. Biến đổi xạ ảnh phát hiện các cử chỉ của hình thể rất chính xác Xét một điểm P được biểu diễn trong và nhẹ nhàng. Phương pháp này hiện nay được nghiên cứu trên các đối tượng như nhận diện   T Khung c là  p    pcx pcy pcz  . Véctơ này   bàn tay, nhận diện cơ thể con người và nhận  c diện khuôn mặt. Những nghiên cứu đó được cắt một mặt phẳng hình ảnh ở khoảng cách f thể hiện trong các lĩnh vực như y tế, giáo dục, (tiêu cự) dọc theo trục Z của Khung c. Giao đời sống văn hóa và thể thao v.v… Trong lĩnh điểm được coi là Q. Việc xác định tọa độ ảnh vực y tế ở bài báo [1] đưa ra MediaPipe tự Khung I được gọi là Phép biến đổi xạ ảnh, động phát hiện các ngón tay và lấy các thay theo Hình 1. đổi vị trí giữa các khung hình ảnh. Trong giáo dục, xử lý ảnh được áp dụng vào môn Địa lý nhằm tạo cảm hứng cho học sinh thông qua việc phóng to, thu nhỏ bản đồ Atlas [2]. Phương pháp này giúp giáo viên và học sinh sẽ dễ dàng hơn trong quá trình điều khiển bản đồ trái đất, điều chỉnh các vị trí mong muốn mà không cần phải có thao tác chuột, hoặc phải lại gần màn hình cảm ứng. Xử lý ảnh được áp dụng để giao tiếp đối với những người bị khiếm thính, và điếc bẩm sinh. Ngôn ngữ ký hiệu dành cho người bị khiếm thính, điếc bẩm sinh như tài liệu tham khảo [3]. Trong thể thao Hình 1. Mô hình camera chiếu trung tâm như trợ giúp các vận động viên, người tập, và và phép biến đổi tọa độ giáo viên hướng dẫn trong quá trình tập Gym Tiêu cực theo các phương trình tọa độ X và Yoga để có động tác chuẩn, cải thiện kỹ f f thuật luyện tập và ngăn ngừa các chấn thương và Y là f x  và f y  . Ở đây, x và y xảy ra, theo như tài liệu [4]. x y Kỹ thuật MediaPipe phát hiện các ngón tay lần lượt biểu thị chiều rộng và chiều cao của đã được trình bày ở [2,3]. Tuy nhiên, việc từng pixel trên mặt phẳng hình ảnh. Điểm C xác định các độ gập/duỗi khác nhau cho ngón đại diện cho điểm chính trên mặt phẳng hình là một việc khó xác định cũng như thuật toán ảnh, mà lý tưởng nhất là dọc theo trục Z của có sẵn trong MediaPipe chưa hỗ trợ. Bài báo Khung c, trong đó khung hình song song này có đề xuất thuật toán mới nhằm nhận được coi là Khung R (Khung hình võng dạng, và xác định độ gập/duỗi của các ngón mạc). Tọa độ của điểm chiếu Q ở dạng đồng tay theo các mức khác nhau. nhất có thể thu được ở phương trình (1). 322 Tuyển tập Hội nghị Khoa học thường niên năm 2023. ISBN: 978-604-82-7522-8  pcx       qx   f  00 0   pcy  q   M .  .T  p  (5)     I  O q y    0  f0 0   p  (1) q   0 u   f x 0 cx  1 0 0 0  R    pox   z   01 0    cz   t    poy   1  v    0  f y c y  0 1 0 0    C            (6)   poz  Lưu ý rằng tọa độ Descartes của Q trong 1   0    0 1  0 0 1 0 0T   1  1        q  q Khung R, được sử dụng qx  x và q y  y . trong đó: II là ma trận mô hình mô hình chiếu  qz  qz phối cảnh. Hình chiếu đồng nhất của điểm Q có thể được thu nhỏ từ độ dài sang dạng pixel và 3. ĐỀ XUẤT THUẬT TOÁN ĐIỀU KHIỂN sau đó được dịch từ Khung R đến Khung I CHO CÁC NGÓN TAY được thể hiện ở phương trình (2). 3.1. Thuật toán xác định 21 điểm mốc 1 0 cu  trên bàn tay u   x    qx   v    0 1   Để xác định các điểm mốc trên ngón tay ta   cv   q y  (2)    y ...