Kết hợp đặc trưng thị giác và ngữ nghĩa trong truy vấn video số dựa trên mô hình phân cấp dữ liệu

This paper presents a method for automatic structural analysis of digital videos to generate the table of content and the index table of the given videos.These tables allow storing videos by a hierarchy of video, cluster of shots, shots, key-frames of shots, cluster of regions. Then a method for retrieving videos by using the input data as visual feature and semantic concepts is represented.
Nội dung trích xuất từ tài liệu:
Kết hợp đặc trưng thị giác và ngữ nghĩa trong truy vấn video số dựa trên mô hình phân cấp dữ liệu’Tap ch´ Tin hoc v` Diˆu khiˆ n hoc, T.23, S.1 (2007), 27—38ıee.. a `...´ˆ˘´`˜.KET HO P DAC TRU NG THI GIAC VA NGU NGH˜IA....´´´ˆˆ INH PHAN CAP DU. LIEUˆˆ˜ˆˆˆTRONG TRUY VAN VIDEO SO DU A TREN MO H`... .˜´ˆ˜´ˆ´.NGUYEN LAM1 , LY QUOC NGOC2 , DU O NG ANH DU C2.1 Tru.`.ngo´Dai hoc Lu.o.ng Thˆ Vinh, Nam Dinhe. ..2 Tru.`.ng Dai hoc Khoa hoc Tu. nhiˆn - DHQG - Hˆ Ch´ Minh` ıooe. ...Abstract. Nowadays, digital video documents grow in both the number and the size of storingspaces. Therefore, it requires efficient management techniques and methods that allow retrievingvideo documents in an efficient way. This paper presents a method for automatic structural analysisof digital videos to generate the table of content and the index table of the given videos.These tablesallow storing videos by a hierarchy of video, cluster of shots, shots, key-frames of shots, cluster ofregions. Then a method for retrieving videos by using the input data as visual feature and semanticconcepts is represented.The video retrieval is performed by two steps in off-line and on-line modes. The off-line stepconsists of decomposing a video sequence into elementary segments. Then, these elementary segmentsare classified by a hierarchical clustering algorithm. Finally, a table of content and an index tableare generated for the given video sequence. The on-line step consists of retrieving videos based on ahierachical data base using the input data as video clip, shot ,key-frames, representatives of region’sclusters, then the retrieved results are filtered by semantic concepts.The obtained results show that the proposed model is more efficient than the traditional systemswhich are only based on global, local visual features or keywords.’ o o .´´´ou a aea aaT´m t˘t. Hiˆn nay d˜. liˆu video sˆ du.o.c lu.u tr˜. v` ph´t triˆ n v´.i sˆ lu.o.ng ng`y c`ng t˘ng, dooaeu e....c quan l´ h˜.u hiˆu ho.n dˆ phuc vu viˆc truy t`’˜´` a ` o o a’ y uoaaueeımvˆy dˆ n dˆn mˆt nhu cˆu l` cˆn c´ mˆt c´ch th´a a ee.... ....c truy t` Trong b`i b´o n`y ch´ ng tˆi tr` b`y mˆt phu.o.ng ph´p gi´ p phˆnthˆng tin v` c´ch th´oa auım.a a auo ınh aoaua.´´ `’au ’o aa ’ .ut´ tu. dˆng cˆ u tr´ c cua video sˆ nh˘ m tao ra ban muc luc v` chı muc, gi´ p lu.u tr˜. nˆi dung doanıch . ou o... ...´´´’’ınh ınh, l´.p c´co avideo sˆ theo cˆ u tr´ c phˆn cˆ p: video, l´.p c´c doan co. so., doan co. so., khung h` ch´oaua ao a..´v`ng v` truy vˆ n du.a v`o d˘c tru.ng thi gi´c v` ng˜. ngh˜uaaa aıa.... a a u.o.c tiˆp cˆn b˘ ng viˆc dˆu tiˆn l` phˆn t´ tu. dˆng video sˆ th`nh c´c doan co. so.,``´´ a a’e a a ıch . oo aaB`i to´n du .aae .e a....o.ng ph´p phˆn l´.p phˆn cˆ p v` cuˆi c`ng l` r´t gon cˆ u tr´c phˆn´´´aa oa a a o ua u . auasau d´ nh´m ch´ ng lai theo phuo ou.’´´ e .´´’a ’ .eacˆ p dˆ tao bang muc luc v` chı muc. Viˆc truy vˆ n du.o.c thu.c hiˆn du.a trˆn cˆ u tr´ c phˆn cˆ paee aua a. .......i hai giai doan, trong giai doan dˆu, kˆt qua truy vˆ n du.a v`o d˘c tru.ng thi gi´c, trong giai doan`´´’a aaeav´o.. a....´ ´’auıa acuˆi, kˆt qua du.o.c loc lai du.a v`o ng˜. ngh˜ ho˘c ngu.o.c lai.o e. . . ... .´´´’’Kˆt qua thu.c nghiˆm cho thˆ y phu.o.ng ph´p n`y dat kˆt qua cao ho.n so v´.i phu.o.ng ph´p truyeeaa aoa. e..´’ .a aaa .o auıa.vˆ n chı du.a v`o d˘c tru.ng thi gi´c to`n cuc, cuc bˆ ho˘c ng˜. ngh˜a.....´.ˆ1. GIO I THIEU.’`´´´e a aooB`i b´o dˆ xuˆt xˆy du.ng mˆt hˆ thˆng truy vˆ n video sˆ o. dang tˆ ng qu´t, dˆ ng th`.ia a `o e oao ’ .oa.. . ´28. .˜´ˆ˜´ˆ´.NGUYEN LAM, LY QUOC NGOC, DU O NG ANH DU C.’ .’´` o .’a ’ .ac´ thˆ hiˆu chınh dˆ d´p u.ng truy vˆ n o. dang d˘c th` nh˘ m d´p u.ng nhu cˆu c´ thu.c trongo e ee a ´au `aa ´..`.i ta chu.a thˆ xˆy du.ng du.o.c c´c hˆ truy vˆn video d´p u.ng’´e aa eaa ´x˜ hˆi thˆng tin. Hiˆn nay ngu oa ooe.....´ a´´ .` u cua ngu.`.i d`ng do ban chˆt rˆ t da dang cua dang d˜. liˆu video sˆ, dang d˜.’’’o uaouu emoi yˆu cˆ.... e a´´ ˜´ ´e a eao aliˆu mang yˆu tˆ khˆng gian v` th`.i gian.Tuy nhiˆn c´c hˆ truy vˆ n video sˆ vˆn dang du.o.cee o oa o...’`´ . ´e o o o aa ’o oaa ´nghiˆn c´.u v` ph´t triˆ n v´.i tˆc dˆ rˆt nhanh nh˘ m d´p u.ng du.o.c yˆu cˆu cua cuˆc sˆng.e u a a. e `. ´’`´´´´’’ oe a ee uo e u a aoaTrong bˆi canh d´, kˆ th`.a v` ph´t triˆn c´c kˆt qua nghiˆn c´.u cua cˆng dˆ ng truy vˆ no ’.. trong v` ngo`i nu.´.c, d´ng g´p ch´ cua b`i b´o l` phˆn t´ tu. dˆng cˆ u tr´ c´´video sˆ oo ’aaoooınh ’ a a a a ıch . oau.´´ a’’u oocua video sˆ nh˘ m tao ra bang muc luc v` chı muc, gi´p lu.u tr˜. nˆi dung doan video sˆ theoo `a ’ .u.... .´´´´´a a uıaaoacˆ u tr´c phˆn cˆp v` kˆt ho.p d˘c tru.ng thi gi´c v` ng˜. ngh˜ trong truy vˆn video sˆ.aua a a e ....´.ng tiˆp cˆn n`y gi´ p ch´ng tˆi tˆn dung du.o.c c´c u.u diˆm cua truy vˆ n du.a v`o d˘c’´ .´ . a a’e a auuo a .eaHu o.. a.´a aaauıa. uauo ’oatru.ng thi gi´c v` truy vˆn du.a v`o ng˜. ngh˜ D`ng d˘c tru.ng thi gi´c, ch´ng tˆi giam b´.t....´´aoeoc´c kh´ kh˘n trong viˆc diˆn dat b˘ ng l`.i trong cˆu truy vˆ n c´c yˆu cˆu liˆn quan dˆn thˆngao ae ˜ . `eaa a e ` ea.’ e’tin thi gi´c. D`ng t`. kh´a dˆ diˆn dat ng˜. ngh˜ ch´ng tˆi giam b´.t kh´ kh˘n trong viˆcauu o e ˜ıa, uooo aeu....i yˆu cˆu r´t tr´ c´c canh b`˜ . e `´ aaınhaa `oaı . odiˆn dat yˆu cˆu truy vˆ n b˘ ng thˆng tin thi gi´c. V´ du v´ e ` u ıch a ’e.’’ uue ao au o e o ’minh, ho`ng hˆn o. Sapa, ch´ng ta s˜ g˘p kh´ kh˘n khi phai d`ng t`. kh´a dˆ mˆ ta Sapa.ao ’..i yˆu cˆu r´ t tr´ch c´c doan vid ...