「소리 · 영상 찾아 나선」검색엔진들

검색 엔진이 한단계 나아가기 위해서 이런 기술이 필요했다. 아~! 하는 감탄이 나올 정도다.

지금까지 멀티미디어 관련 기획일을 해오던 나나 동료들은 어떻게 해야 동영상으로 좀더 나은 지식을 전달할 것인가, 어떤식의 구성이나 내용이 더 효과적인 것인가, 프레임은 어떻게 잡을 것인가, 몇분의 플레이타임이 적당한가 한느 것에만 신경써왔다. 그러나, 그 반대로는 생각을 전혀 해보지 못했다. 영상정보가 더 풍부하고, 질좋은 지식 정보를 사용자에게 전달하지만, 그 사용자에의 도달률은 텍스트나 이미지보다 훨씬 낮게 나타난다. 그것은 때로는 사용자가 찾는 정확한 정보에 대한 검색이 용이하지 않아서 동영상 전부를 보아야 한다거나 아예 검색 대상에서 제외되거나 하기 때문이다.

요즘 동료들과 이야기하는 것 가운데, 지식(정보)의 아카이빙, 지식(정보)의 공유다. 지식의 아카이빙이라 하면 기존의 텍스트 정보는 그대로 아카이빙되어 검색과 공유가 용이하지만, 이미지나 오디오, 동영상은 용이하지 않다는 것이다. 언젠가는 이런 이미지 정보, 오디오, 동영상 정보의 자동적인 아카이빙이 가능하게 되어 검색과 공유가 가능해질 것이라는 구체적이지 않은 믿음만을 가지고 있었다.

점점 사용자들은 멀티미디어에 대한 소비가 증가하고 있고, 그러므로 포털의 중심축이 되는 검색 기능에 있어서 누가 멀티미디어 정보(텍스트외의 이미지, 오디오, 동영상)를 더 많이 더 정확하게 찾아주느냐가 관건이 될 것이다.

미디어사들은 자신의 콘텐츠의 소비를 증가시키기 위해 경쟁적으로 멀티미디어 파일의 아카이빙을 도입할 것으로 예상된다. 미디어사 특히 공중파의 경우 주 수익원이 ‘광고’에 의한 것이기 때문에 그 소비자 노출 빈도와 그 미디어의 영향력은 곧바로 ‘수익’과 직결되기 때문이다.

…………………………………………………………………. 

미국의 한 라디오 방송국이 자사의 컨텐트를 검색엔진에 등록시키기 위해 방송을 실시간으로 텍스트로 변환하는 방식을 도입했다. 그동안 저작권과 기술적 한계로 기능 구현을 미뤄왔던 검색엔진들도 다양한 방안을 검토하고 있다.

Stefanie Olsen (ZDNet Korea)
원문보기

‘구글 검색에 포함되어야 하나, 말아야 하나’ 미국 공영 라디오 방송인 NPR의 온라인 디렉터인 마리아 토마스는 올해 초 이런 고민에 부딪혔다. 웹 비스니스를 하는 대부분의 사람들에게 이것은 답변이 너무나 뻔한 질문이다. 웹에서 검색결과에 포함되는가 여부는 곧 성공과 실패를 결정하는 중요한 사안이기 때문이다.

그러나 토마스의 경우 이 문제는 그리 단순치가 않다. 현재 웹사이트를 검색해 분류하는 대부분의 검색엔진 ‘스파이더(spiders)’는 오디오나 비디오 컨텐트를 검색하지 못한다. 호평을 받고있는 NPR의 라디오 프로그램이 대부분의 검색엔진에서 검색이 되지 않는 것도 이 때문이다.

구글을 포함한 대부분의 유명 검색엔진들은 현재 오디오 파일 검색기능을 개발하고 있다. 이런 상황에서 NPR은 오디오 방송을 실시간으로 텍스트 파일로 전환해 검색엔진 스파이더가 이를 인식할 수 있도록 하는 새로운 방식을 추진하고 있다.

토마스는 현재 NPR 사이트에 내용이 충실한 오디오 파일이 많이 있다며 사람들이 필요한 파일을 잘 찾을 수 있기를 기대한다고 말했다. 그는 “유명 검색엔진들은 오디오나 비디오 파일의 내용까지 검색하는 기능을 갖추고 있지 않다”며 “현재 NPR이 제공하는 텍스트 형식의 내용 설명만으로는 NPR 프로그램의 내용을 검색해 분류하기에 충분치 않다”고 지적했다.

가정에서 초고속통신망으로 인터넷에 접속하는 사람들이 증가하면서 멀티미디어 컨텐트에 대한 수요도 함께 늘어나고 있다. 그 결과 검색엔진 업체들은 단순한 텍스트 중심의 검색에서 벗어나 더 역동적인 오디오나 비디오 컨텐트를 검색할 수 있는 기술 개발을 서두르고 있다.

검색엔진이 오디오나 비디오 파일을 검색할 수 있는가 하는 문제는 검색엔진 업체만의 고민이 아니다. 정보가 넘쳐나는 온라인 세상에서 새로운 고객을 확보해 앞서가고자 하는 온라인 컨텐트 사업자들에게 이 일은 매우 중요한 일이다. 멀티미디어 파일 검색 경쟁에서 선두를 차지하는 검색엔진은 사람들이 각자 선호하는 미디어 프로그램을 찾아 시간과 장소의 제약없이 즐기는 새로운 미디어 환경을 만드는데 결정적인 문지기 역할을 맡게 될 것이다.

엄청난 인터넷 트래픽을 수십만개의 사이트로 연결하는 검색엔진에 결과를 올려놓기 위해 노력하는 기업은 NPR만이 아니다. 그러나 검색엔진에 오디오 파일을 등재하기 위해 게릴라전과 같은 전략을 채택한 방송사로는 NPR이 최초다. NPR의 이러한 전략은 현재까지 아주 성공적이다. 지난 수주 사이에 NPR의 오디오 사이트가 구글 뉴스와 야후 뉴스의 인덱스 페이지에 정기적으로 뜨기 시작했고, 가령 이라크의 악명높은 ‘아부 그라이브 교도소’ 뉴스 관련 키워드를 입력하면 검색결과에 오디오 파일이 나타나기도 한다.

토마스는 구체적인 사이트 방문자 수를 밝히지는 않았으나 NPR의 오디오 파일이 유명 검색엔진에 뜨고 난 이후에 특히 이라크에서 발생한 닉 버그의 살해와 같은 대중적 관심의 대상이 되는 뉴스를 방송하는 NPR 사이트의 방문자가 기록적인 수준으로 급증했다고 말했다.

NPR의 성공은 곧 ‘구글과 야후의 한계’
NPR의 이러한 전략은 최근 들어 초고속 통신망으로 인터넷에 접속하는 사람이 증가하고 멀티미디어 컨텐트에 대한 수요가 늘어난다는 점을 고려하면 구글과 야후의 한게를 드러내는 것이기도 하다. 컨텐트 회사들은 웹사이트 전용 오디오와 비디오 컨텐트를 점차 늘리고 있다. 교육분야에서도 온라인 교육자료를 스트리밍 비디오로 제공하는 추세다. 방송사들도 방대한 분량의 아카이브를 온라인에서 디지털 포맷으로 제공하고 있다. 중소규모의 컨텐트 회사들도 웹상에서 멀티미디어를 제작해 제공하는 것이 훨씬 비용이 적게 드는 것을 잘 알고 있다. 그러나 이런 이점에도 불구하고 유명 검색엔진에서 이러한 컨텐트를 하나도 검색할 수가 없는 것이다.

유명검색엔진이 소리와 영상을 검색하지 못하자 그 틈새를 비집고 멀티미디어 파일 전문 검색엔진이 등장했다. 현재 싱잉피쉬(SingingFish), 스트림세이지(StreamSage), HP, 비라지(Virage), 넥시디아(Nexidia) 등과 같은 기업들은 오디오, 비디오 파일 검색을 제공하는 틈새시장에 진출했다. 야후와 AOL도 이 분야에서 주목할 만한 대상이다. 야후는 가장 오랜 역사를 가진 오디오ㆍ비디오 검색엔진 알타비스타를 소유하고 있지만 아직 그 기술을 활용지는 않고 있다. 검색엔진 분야의 다크호스인 AOL은 금년 초 싱잉피쉬를 인수ㆍ합병했다.

싱잉피쉬의 상무인 케런 호우는 “현재 인터넷에는 오디오, 비디오 파일의 부하가 급격하게 증가하고 있다”며 “초고속 통신망으로 연결된 기업과 가정에서, 좋은 품질의 컨텐트에 접속하는 일은 더이상 번거로운 일이 아니다”라고 말했다. 싱잉피쉬는 1월에 하루 평균 300만건의 검색을 처리했으나 지금은 600만건으로 늘어났으며, 하루 8만건 이상의 스트림을 검색 데이터베이스에 새로 추가하고 있다.

오디오 비디오 파일 검색에 야후와 구글이 취약하다는 사실은 보다 전문화된 검색엔진의 필요성을 부각하거나 혹은 현재의 유명 검색엔진을 개선하는 계기가 될 수도 있다. 유명 검색엔진 업체들은 더 많은 웹사용자들을 끌어 들여 광고수익을 올리기 위해 거의 매일 새로운 기능을 추가하고 있다. 27억달러로 예상되는 구글의 공개주식모집(IPO)을 계기로 이러한 경쟁은 더욱 치열해질 것으로 보이며, 야후와 구글의 경쟁은 새로운 영역으로 확대되 전망이다.

현재 야후와 구글의 검색기술은 인터넷에서 키워드와 연관된 컨텐트를 텍스트를 검색해 제공하는 방식이다. 즉 사용자가 입력한 한개 도는 몇개의 키워드와 가장 어울리는 웹사이트를 찾기 위해 웝페이지의 헤더와 앵커 텍스트를 주로 분석한다. 야후나 구글에서 점점 인기를 얻고 있는 이미지 검색도 사실은 그 이미지에 연결된 텍스트로 검색하는 것이다.

다른 검색엔진들 역시 이와 비슷하다. 이들은 ‘메타데이타’라고 불리는 멀티미디어 컨텐트에 대한 설명 텍스트나 키워드를 분석해 검색 결과를 제공한다. 예를 들어 싱잉피쉬는 미디어파일에 첨부된 저자, 비트레이트(bit rate), 파일 크기 등 70가지 항목에 대한 설명이 들어있는 자료를 검색과 분류의 자료로 활용하지만 이것만으로 검색을 하기에는 부족한 경우가 많다. 또 다른 검색엔진들은 오디오나 비디오 파일의 내용의 일부를 텍스트로 전환해 그 내용과 주제 등을 검색어와 비교해 적합한 지를 분석하기도 한다.

그러나 가장 정확한 검색방법은 오디오나 비디오 파일의 내용을 직접 검색해 의미와 적합성 면에서 주어진 검색어에 가장 가까운 파일을 찾는 방식이다.

불필요한 검색결과 줄이는 것이 숙제
스트림세이지는 지난해 말 자체개발한 오디오 비디오 검색기술로 주목을 받고 있다. 워싱톤 소재 이 기업은 음성인식기술을 이용해 오디오와 비디오를 텍스트로 전환하는 기술을 3년에 걸쳐 개발했다. 텍스트로 전환된 후 용어를 분석하는 문맥분석기술을 활용해 내용과 주제를 정리하고 이를 다시 파일 내용에 대한 일종의 목차로 구성하는 것이다.

이러한 방식의 단점은 100% 정확한 검색이 매우 어렵다는 점이다. 실제로 전문가들은 언어탐지 방식에 의한 검색 정확도가 보통 80% 수준이라고 한다. 액센트, 속어, 방언과 같은 언어상의 문제가 가장 큰 장애물이라는 것이다.

스트림세이지는 자사의 기술을 선보이기 위해 지난 주 ‘CampaignSearch.com’이라는 웹사이트를 개설했다. 여기에 접속하면 Whitehouse.org이나 CSPAN 또는 Voice of America 등의 대통령 후보 관련 파일에서 오디오와 비디오 클립을 검색할 수 있다. 스트림세이지의 사장 세쓰 머레이는 이 웹사이트를 가리켜 “스트림세이지 기술이 적시적소에 들어맞은 경우다”라고 말했다. 예를 들어 이 기술을 이용하면 민주당 대선후보인 존 케리의 한 시간 짜리 연설 가운데 의료문제에 관해 언급한 4분간의 연설을 찾아 들을 수 있다.

스트림세이지는 거액을 들여 이 기술을 개발한 지난 4년간 외부에 거의 알려지지 않았다. 이 회사의 수석 연구원 팀 시블리는 컴퓨터 언어 연구의 권위자다. 스트림세이지는 NIST의 최첨단 기술 프로그램을 포함해 몇 가지 연구비 지원을 받기도 했다. 하버드 대학에서는 스트림세이지의 기술을 이용해 의대생들이 주제별로 이전의 강의를 검색해 들을 수 있도록 하고 있으며, AOL은 AOL 초고속인터넷으로 서비스되는 동영상 및 오디오 스트리밍에 이 기술을 활용해 상세한 캡션을 제공한다.

NPR도 스트림세이지를 이용하고 있다. NPR은 이 기술을 통해 프로그램이 방송되는 것과 동시에 그 내용을 텍스트로 전환, 신속하게 검색엔진에 등록한다. NPR은 현재 외부 용역을 통해 많은 프로그램을 텍스트로 전환하고 있지만 대부분 수작업이어서 신속하게 뉴스 검색을 하기가 매우 어렵다. 스트림세이지는 음성 인식 기술을 이용해 더 빨리 오디오로부터 텍스트를 만든 다음 구글이나 야후에 전송한다.

그러나 NPR의 토마스는 스트림세이지로 작성한 텍스트 버전은 나중에 다시 수작업에 의한 텍스트로 대체된다고 말했다. 수작업으로 작성한 텍스트는 오디오나 비디오 컨텐트를 더 정확하게 반영하지만, 스트림세이지의 텍스트는 때때로 알아볼 수 없는 경우가 있기 때문이다. NPR은 또한 싱잉피쉬에서 라이선스한 기술을 이용해 ‘메타데이터’라는 오디오 파일 관련 정보를 오디오 파일에 첨부하는 작업을 하고 있다.

캘리포니아 마운틴뷰에 위치한 구글은 멀티미디어 검색 기능의 첫번째 단계로 일단 구글의 별도 종합뉴스 서비스인 구글 뉴스에 NPR 오디오 파일을 등록했다. 예를 들면 ‘토크 오브 더 네이션(Talk of the Nation)’과 같은 오디오 전용 NPR 프로그램에서만 토론되는 헤드라인 토픽을 검색하면 프로그램에서 해당하는 부분을 검색할 수 있다.

구글의 관계자는 NPR과의 관계를 인정하기는 했지만 이 기술에 대한 자세히 밝히기를 거부했다. 현재까지 구글은 멀티미디어 파일의 소유자에 의해 저작권이 설정된 멀티미디어 파일을 인덱스해 링크하는 하는 것이 합법적인지 확실치 않기 때문에 검색결과를 등록하지 않고 있다. 그러나 이러한 이유 외에도 오디오와 동영상 파일 검색 기능은 일반 웹사이트 검색에 비해 기술적으로 훨씬 더 어렵다.

스트림세이지의 머레이는 자사가 검색된 파일에 관한 정보를 저장해 두지 않기 때문에 저작권 문제로부터 자유롭다고 주장했다. 스트림세이지의 방식은 구글이나 야후처럼 웹상에 있는 오디오나 동영상 파일의 위치만을 검색자에게 알려준다는 것이다. 그러나 검색엔진이 어느 정도까지 멀티미디어 파일을 링크할 수 있는지 여부는 법정에서 정확하게 판가름이 날 것으로 보인다. MP3board.com의 변호사 아이라 로쓰켄은 지난해 음반업계가 MP3Board.com을 상대로 제기한 음악 파일 불법 링크와 관련된 오래된 분쟁에서, 양자가 보상금 없이 합의에 이르렀다고 말했다.

아직까지는 수작업 인덱싱 필수
야후는 지난 2월에 ‘컨텐트 인수’ 프로그램을 통해 NPR과 계약을 맺기로 했다고 밝혔다. 컨텐트 인수 프로그램이란 야후의 검색용 데이터베이스에 좀더 가치가 있는 정보를 포함시키기 위한 체계적 프로젝트를 말한다. NPR의 보스톤 지역방송사인 WBUR.org도 HP가 개발한 스피치봇(Speechbot)이라는 유사 기술을 활용하고 있다. WBUR의 뉴미디어국장인 로빈 러복은 WBUR이 스피치봇을 이용해 오디오를 텍스크로 변환한 후 웹사이트에서 직원이나 방문자들이 컨텐트를 검색할 수 있도록 지원하고 있다고 말했다.

현재 오토노미(Autonomy) 社가 소유하고 있는 비라지(Virage) 社도 스트리밍 오디오나 비디오 파일을 분석해 검색자가 원하는 부분을 바로 찾아낼 수 있는 기술을 보유하고 있으나 이 방식은 기업용으로는 매우 많은 비용이 소요된다.

온라인 에이전시인 패덤 온라인(Fathom Online)의 기술책임자 제이 웹스터는 방송사가 자사의 오디오나 비디오 파일을 검색엔진의 상위 순위에 등재하려면 수작업 인덱싱을 먼저 해야 한다고 지적했다. 그는 “가장 이상적인 것은 오디오 파일을 찾기 위해 검색어를 입력하면 파일이 검색결과에 바로 뜨는 것”이라며 “그러나 현재 기술은 그 정도까지 발전하지 못했다”라고 말했다. @

발행일
카테고리 기타

글쓴이 남반장

#동네서점지도 운영자 | 1998년 인터넷 라디오 '무차별 방송국'을 시작한 이래, 15년 이상 웹서비스 기획자로 일해오고 있습니다.

댓글 1개

댓글 달기