국내 연구진이 눈이 인식하는 것처럼 입체 영상을 만들고 편집할 수 있는 기술을 개발했다. 본 기술은 가상현실(VR), 증강현실(AR), 홀로그램 등 차세대 콘텐츠를 만들고 더욱 실감나게 즐기는 데 많은 도움이 될 전망이다.

한국전자통신연구원(ETRI)는 비전문가도 멀미 없는 3D 영상을 만들고 편집까지 할 수 있는 ‘비정형 플렌옵틱(Plenoptic) 콘텐츠 획득, 생성, 저작 및 가시화 플랫폼 SW’ 기술을 개발했다.

플렌옵틱 기술은 빛 정보를 고차원적으로 획득해 컴퓨터 연산으로 사람이 인식할 수 있는 다양한 입체 영상을 만들 수 있는 기술 중 하나다.

실감형 콘텐츠 관련 시장이 점점 커지고 있지만, 현재 사용되는 기술들은 해상도가 낮거나 사람의 눈과 작동 방식이 달라 완전한 입체감을 제공하지 못한다. 이로 인해 사용자가 어지러움이나 멀미를 호소하는 등 온전한 체험을 하는 데 한계가 많았다.

ETRI는 멀미를 줄이면서도 사람의 눈처럼 자연스럽게 고해상도 입체 영상을 얻는 기술을 개발했다. 연구진은 전용 플렌옵틱 카메라로 촬영한 뒤, 고성능 컴퓨터에서 데이터를 처리하는 방식을 적용했다. 특히, 이미 촬영한 영상과 사진도 초점과 시점을 자유롭게 바꿀 수 있다는 큰 장점이 있다.

예를 들어 판소리 공연에 본 기술을 활용하면 영상을 편집할 때는 북을 치는 고수와 소리꾼 쪽 등 원하는 곳으로 초점을 자유롭게 바꿀 수 있다. 시점도 기본 화면에서는 촬영 장비나 마이크에 가려져 보이지 않던 등장인물을 비추도록 바꿀 수도 있다.

특히, 연구진의 기술은 플렌옵틱 기술로 사람의 눈과 유사하게 양안 시차, 운동 시차, 초점 조절, 6자유도 등을 모두 구현하며 입체감을 실질적으로 표현할 수 있다.

ETRI는 지난 4년간 카메라 위치와 촬영 대상이 거의 움직이지 않는 상태에서 이뤄져야 하는 ‘정형 플렌옵틱’기술 연구를 진행하며 얻은 노하우를 바탕으로 한 단계 나아간 이번 성과를 낼 수 있었다고 설명했다.

이번에 개발한 기술은 위치와 이동성 제약 없이 자유롭게 촬영이 가능한 ‘비정형 플렌옵틱’기술로 동일 용량 대비 품질도 정형 기술보다 성능이 높다. 영상 해상도도 FHD에서 4K까지 높였다.

ETRI 기술은 비전문가도 영상을 손쉽게 편집하고 VR 헤드 마운티드 디스플레이(HMD), AR 글래스, 무안경 입체 영상 등 원하는 디스플레이 형태로 결과물을 만들 수 있다.

덕분에 창작자들의 접근성을 높여 부족했던 실감형 콘텐츠 생산을 늘리는 데 많은 활용이 이뤄질 전망이다.

본 기술은 카메라, 디스플레이 제조 회사뿐 아니라 CG/VFX, 콘텐츠 창작 및 편집회사, 이미지/영상 툴 SW 및 앱 개발사, 내시경 등 의료장비, 반도체 등 공정 감사 장비, 홍채인식 및 CCTV 등 보안회사, 천문, 군사 등 다양한 분야에서 활용 가능성이 커 상용화에도 유리하다.

실제로 ETRI는 본 기술을 활용해 2020년 아시아문화전당에서 봉산탈춤, 판소리 등 무형 문화재를 촬영하고, 2021년 유네스코 국제무예센터에서 택견 무술 시범을 촬영하기도 했다.

이를 바탕으로 2020년에는 ‘소프트웨이브’, 2021년에는 ‘ICT 사업화 페스티벌’전시회에서 일반에 공개하였으며 관련 기업 등에 기술을 이전하는 성과를 올렸다.

기술 개발을 주도한 ETRI 김도형 홀로그래픽연구실 책임연구원은“이번 기술 개발로 우리나라가 차세대 실감콘텐츠 기술 관련 산업과 서비스를 선도하고 독자적인 디지털영상콘텐츠 생태계를 구축할 수 있기를 바란다.”고 밝혔다.

연구진은 향후 입체 영상 해상도를 8K로 늘리고, 사용자의 가상 체험 재현 공간을 확장하거나 멀미도를 저감하는 등 성능을 높이기 위한 후속 연구를 진행한다. 또한, 개인 스마트 디바이스를 사용한 개인 방송 등에서 사용 가능할 정도로 본 기술을 고도화할 예정이다.

본 연구는 과학기술정보통신부 『홀로그램 핵심기술 개발사업』에 속한 『중대형 공간용 초고해상도 비정형 플렌옵틱 동영상 저작/재생 플랫폼 기술 개발』과제의 일환으로 진행되었다.

연구진은 본 성과와 관련하여 기술이전 3건, 특허 출원 32건, SCI 논문 9건 및 표준화 기고서 7건을 발표하였다.