Ứng dụng cảm biến Camera Kinect trong nhận dạng ngôn ngữ kí hiệu hỗ trợ việc giao tiếp với người điếc

Nhận dạng tự động ngôn ngữ dấu hiệu liên quan đến việc sử dụng máy tính để nhận dạng tự động các câu nói thuộc ngôn ngữ kí hiệu thông qua các kênh thông tin có được từ cảm biến nhằm hỗ trợ cho việc giao tiếp giữa người điếc với người khác hay với máy tính. Bài viết đề xuất một phương pháp nhận dạng ngôn ngữ kí hiệu bằng việc thu nhận dữ liệu từ camera Kinect.
Nội dung trích xuất từ tài liệu:
Ứng dụng cảm biến Camera Kinect trong nhận dạng ngôn ngữ kí hiệu hỗ trợ việc giao tiếp với người điếc ÛÁNG DUÅNG CAÃM BIÏËN CAMERA KINECT T HÖÎ TRÚÅ VIÏÅC GIAO TIÏËP VÚÁI NGÛÚ NGUYÏÎN THÕ PHÛÚNG* Ngaây nhêån baâi: 30/10/2017; ngaây sûãa chûäa: 02/11/2017; ngaây duyïåt àùng: 15/11/2017. Abstract:   Automatic sign language recognition  involves the  use of  a  computer to  automatically identify  speech-language sta information channels derived from the sensor to aid communication between deaf people with others or with computers. Kinect peripheral, integrated depth sensor,  developed by Microsoft for Xbox 360 and Windows. In this paper, we  propose a  method  language by capturing data from a Kinect camera.  Keywords:  Sign language, Kinect camera sensor application, deaf. 1. Àùåt vêën àïì Microsoft  daânh  cho  maáy  console  Xbox  360  vaâ Ngön ngûä kñ hiïåu (NNKH) àûúåc àõnh nghôa nhû laâ Windows. Hiïån taåi, Microsoft àûa ra 2 phiïn baãn Kinect: möåt loaåi hònh ngön ngûä tûå nhiïn, àûúåc xêy dûång phuåc möåt phiïn baãn cho Xbox 360 vaâ 1 phiïn baãn cho PC vuå cho viïåc giao tiïëp trong cöång àöìng ngûúâi Àiïëc, coá (Kinect  for  PC).  Microsoft  ra  mùæt  böå  cöng  cuå  phaát nhiïìu  biïën  thïí  tuây  theo  tûâng  quöëc  gia,  vuâng  miïìn. triïín  phêìn  mïìm  Kinect  cho  Windows  7  (SDK  NNKH cho tiïëng Viïåt àûúåc coi laâ möåt ngön ngûä riïng Software Developer Kit), ngaây 16/06/2011. Böå cöng biïåt, coá nhiïìu àùåc àiïím riïng nïn àoâi hoãi nhûäng nghiïn cuå phaát triïín phêìn mïìm naây cho pheáp caác nhaâ phaát cûáu riïng. Hún nûäa, nhu cêìu höî trúå cho viïåc giao tiïëp triïín viïët ûáng duång cho Kinect úã ngön ngûä C#, C++/ cuãa ngûúâi àiïëc úã Viïåt Nam  laâ khöng nhoã. Theo kïët CLI, Visual Basic 2005. Hiïån taåi, phiïn baãn múái nhêët quaã tûâ baáo caáo töíng àiïìu tra dên söë vaâ nhaâ úã Viïåt Namcuãa böå phêìn mïìm naây laâ SDK 1.8. nùm 2009, nûúác ta coá 6,7 triïåu ngûúâi khuyïët têåt, chiïëm Thiïët bõ caãm biïën Kinect bao göìm nhûäng thaânh khoaãng 7,8% dên söë, trong àoá coá 2,5 triïåu ngûúâi àiïëc. phêìn sau (xem  hònh 1): Nhêån daång tûå àöång NNKH liïn quan àïën viïåc sûã duång  maáy  tñnh  àïí  nhêån  daång  tûå àöång  caác cêu  noái thuöåc NNKH, thöng qua caác kïnh thöng tin coá àûúåc tûâ caãm biïën (thûúâng laâ video maâu) nhùçm höî trúå viïåc giao tiïëp vúái ngûúâi àiïëc. Gêìn àêy, vúái sûå ra àúâi cuãa Camera Kinect, viïåc trñch võ trñ caác khúáp xûúng trïn cú thïí ngûúâi coá thïí àûúåc thûåc hiïån dïî daâng. Nhiïìu cöng trònh liïn quan àïën viïåc ûáng duång dûä liïåu thu àûúåc tûâ Kinect àaä àûúåc Hònh 1. Hònh aãnh vïì Camera Kinect cöng böë nhû:  Nhêån daång tû thïë ngûúâi,  Nhêån daång cûã chó vaâ nhêån daång NNKH. Trong Agarwal vaâ Thakur, - Color  camera. caác taác giaã trònh baây möåt phûúng phaáp àïí nhêån daång - Infrared  (IR)  emitter. caác söë (tûâ 0 àïën 9) trong NNKH. Baâi viïët  giúái thiïåu vïì - IR depth sensor. Camera  Kinect  vaâ  cú  chïë  hoaåt  àöång  cuãa  Camera - Tilt motor. Kinect trong viïåc thu nhêån NNKH höî trúå giao tiïëp vúái -  Microphone  array  (göìm  4  microphone  giöëng ngûúâi àiïëc. nhau hoaåt àöång úã 16bit vúái töëc àöå lêëy mêîu laâ 16KHz). 2. Nöåi dung nghiïn cûáu - LED.  2.1. Thu nhêån dûä liïåu vúái Camera Kinect . Kinect - Caãm biïën gia töëc. laâ thiïët bõ caãm biïën ngoaåi vi thu chuyïín àöång, tñch húåp Daäy microphone: Thiïët bõ Kinect trònh diïîn sûå höî caãm  biïën  chiïìu  sêu,  camera  maâu  vaâ  möåt  nhoám trúå  töët  cho  êm  thanh,  vúái  sûå  giuáp  àúä  cuãa  daäy microphones cuâng nhiïìu vêåt khaác àùåt bïn trong möåt microphone.  Daäy  microphone  göìm  4  microphone höåp nhoã vaâ phùèng. Höåp phùèng naây àûúåc gùæn keâm vúái khaác nhau, àùåt theo thûá tûå (3 microphone àûúåc àùåt úã möåt àöång cú nhoã àïí coá thïí cho pheáp thiïët bõ thay àöíi goác  quay theo  phûúng  ngang.  Àûúåc  phaát  triïín  búãi * Trûúâng Cao àùèng Sû phaåm Trung ûúng (Thaáng 11/2017) Taåp chñ Giaáo duåc SÖË ÀÙÅC BIÏÅT 157 bïn phaãi vaâ 1 chiïëc coân laåi àûúåc àùåt úã bïn traái, phñahònh dung nhû sau: Giaã sûã coá möåt ngûúâi àiïëc vaâ cuöëi cuãa thiïët bõ). möåt ngûúâi khöng biïët NNKH. Giaã sûã ngûúâi àiïëc muöën Muåc àñch cuãa daäy microphone khöng chó laâ thiïët hoãi möåt cêu vúái nöåi dung  “Anh baån laâ ngûúâi nûúác bõ lêëy êm thanh maâ coân xaác àõnh hûúáng cuãa êm thanh naâo?”,  ngûúâi  àoá seä thïí  hiïån  möåt chuöîi  caác haânh túái. Ûu àiïím chñnh cuãa viïåc coá möåt daäy microphone àöång trûúác camera àïí thïí hiïån caác tûâ “anh baån”, hún viïåc chó coá 1 microphone laâ quaá trònh bùæt vaâ nhêån“nûúác naâo”  (úã àêy, viïåc lûåa choån naây chó mang tñnh gioång noái àûúåc höî trúå töët hún, vúái cú chïë giaãm öìn, cùæt minh hoåa, phuå thuöåc vaâo àùåc àiïím NNKH, laâ möåt tiïëng vang vaâ cöng nghïå hònh thaânh chuâm êm thanh. nöåi dung cêìn nghiïn cûáu). Hïå thöëng maáy tñnh thûåc Noá cho pheáp thiïët bõ Kinect coá thïí laâ microphone 2 hiïån nhêån daång: xûã lñ thöng tin thu nhêån àû ...