Character-net 기반의 의미적 멀티미디어 브라우징 시스템

Title
Character-net 기반의 의미적 멀티미디어 브라우징 시스템
Authors
박승보
Keywords
characternet기반의의미적멀티미디어브라우징시스템
Issue Date
2011
Publisher
인하대학교
Abstract
멀티미디어 브라우징의 주된 접근 방식은 영상·음성적 신호 분석을 활용하는 내용 기반의 분석 방식이다. 그러나 내용 기반의 분석은 사람이 인지하는 의미들에 대한 고려를 하지 못하는 단점이 존재한다. 특히나 영화와 같이 스토리를 갖는 멀티미디어의 경우에 내용 기반의 분석만으로는 의미적 간극을 해결하지 못하여 사용자가 인식하는 스토리 정보를 취급할 수 없다. 이로 인해 내용 기반의 분석 방법은 의미적 유사성을 고려해야 하는 장면 그룹화에 한계를 갖는다. 본 논문에서는 영화와 같은 멀티미디어에 존재하는 스토리와 영상·음성적 특징 사이의 의미적 간극을 해결하고, 주연들 간의 장면을 탐색하면서도 장면 그룹화를 통한 탐색 공간의 감축 방법을 제시한다. 이를 위해 등장인물 간 소셜 네트워크인 Character-net 모델링 방법을 제안하고, 이를 활용한 영화 분석과 브라우징 방법을 제안한다. 제안된 방법은 등장인물 간의 관계를 이용한 Character-net이라는 스토리 모델 구축 단계와 모델로부터 영화를 분할할 수 있는 정보를 추출하여 브라우징에 활용하는 2 단계로 나누어진다. 첫 번째는 영화 내에 출연하는 등장인물들 간의 대화를 이용하여 스토리를 모델링하는 과정이다. 이를 위해 등장인물을 노드로 하고 대화와 대화 시간을 간선과 가중치로 하는 소셜 네트워크 모델을 제안하였다. 대화는 화자에서 청자로 진행되는 방향성과 대화시간이라는 가중치를 갖기 때문에 정교한 정보의 흐름을 표현할 수 있다. 두 번째는 구축된 스토리 모델로부터 소셜 네트워크 분석을 통해 중요인물이나 시퀀스를 추출하여 브라우징 하는 과정이다. 스토리를 갖는 영화의 서사구조에 적합한 등장인물 분류 방법과 시퀀스 추출 방법을 제안한다. 영화의 시퀀스와 장면의 유사도를 사용하여 장면을 그룹화한 후 브라우징 하는 시스템을 구현한다. 제안된 방법들을 18편의 영화와 드라마에 적용하여 실험 평가하였다. 중요도에 따라서 등장인물을 분류하는 성능과, 커뮤니티에 의해 공유되는 시퀀스를 추출하는 성능 평가를 통해 Character-net이 스토리 모델로 사용되기에 효율적이라는 것을 검증하였다. 시퀀스 추출 성능은 기존의 방법에 비해 17.4% 만큼 성능이 향상되었으며, 등장인물 분류 성능은 기존의 방법이 갖는 우수한 분류 성능을 나타내었다. 또한 Character-net 기반의 멀티미디어 브라우징 시스템이 장면의 그룹화를 통해 사용자의 탐색공간을 효율적으로 감소시키는 시스템이라는 것을 검증하였다. 탐색공간은 주연그룹에 대해서는 45.6%, 파당은 26.4%, 주연주변은 24.4%, 조연주변은 2.4%로 효율적으로 감소하는 것으로 나타났다.
Description
요 약 i ABSTRACT iii 목 차 v 그 림 목 차 viii 표 목 차 x 제 1 장 서 론 1 1.1 연구 배경 및 필요성 3 1.2 연구의 목적 및 범위 6 1.3 논문 구성 8 제 2 장 영화 분석에 대한 관련 연구 10 2.1 스토리 구조와 동영상의 계층적 구조 10 2.2 대본과 자막의 구성 12 2.2.1 대본(Script) 12 2.2.2 자막(Subtitles) 14 2.2.3 자막과 대본의 정렬 15 2.3 의미적 멀티미디어 정보 분석 18 2.3.1 의미 기반의 멀티미디어 분석을 위한 연구 분야들 19 2.3.2 스토리 기반의 멀티미디어 정보 분석 22 2.4 등장인물 간 소셜 네트워크 기반의 영화 분석 23 2.4.1 소셜 네트워크 분석 23 2.4.2 등장인물 간 소셜 네트워크 분석 기반의 영화 분석 25 2.4.3 RoleNet 27 제 3 장 Character-net 모델 설계 32 3.1 대화 그래프 33 3.1.1 대화 참여자의 판단기준 35 3.1.2 자막과 대본 정보에서 대화 정보의 추출 40 3.2 Character-net의 구축 44 3.2.1 대화 그래프의 가중치 46 3.2.2 대화 그래프의 누적 46 3.3 Character-net 온톨로지 48 3.3.1 Character-net 온톨로지의 클래스 49 3.3.2 클래스들 간의 관계 53 3.3.3 인스턴스를 사용한 Character-net 53 제 4 장 Character-net 기반의 의미적 멀티미디어 브라우징 시스템 54 4.1 의미적 멀티미디어 브라우징 시스템 구조 54 4.2 멀티미디어 자원 관리 모듈 55 4.3 Character-net의 소셜 네트워크 분석 58 4.3.1 등장인물의 분류 59 4.3.2 커뮤니티 분석을 통한 시퀀스 추출 62 4.3.3 커뮤니티 추출의 계산 복잡도 분석 69 4.4 의미적 멀티미디어 브라우징 70 4.4.1 장면 분류기와 핵심 인물 추출기 70 4.4.2 Character-net 기반의 멀티미디어 브라우징 71 4.5 사용자 인터페이스 72 제 5 장 실험 분석 및 결과 74 5.1. 실험 평가 방법 74 5.1.1 실험 환경 74 5.1.2 성능 측정식 및 검증 자료(ground truth) 76 5.2 Character-net 모델링의 성능평가 77 5.2.1 CBA (Character-net Builder and Analyzer) 77 5.2.2 장면의 추출 성능평가 78 5.2.3 등장인물 분류의 성능평가 80 5.2.4 시퀀스 추출의 성능평가 86 5.3 Character-net 기반의 멀티미디어 브라우징 성능 평가 90 5.4 결과 분석 및 고찰 91 제 6 장 결론 및 향후 연구 96 참고문헌 100 부 록 108
URI
http://dspace.inha.ac.kr/handle/10505/22677
Appears in Collections:
College of Engineering(공과대학) > Electronic Engineering (전자공학) > Theses(전자공학 석박사 학위논문)
Files in This Item:
23694.pdfDownload

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse