하루가 다르게 발전하는 인공지능 기술은 새롭고 놀라운 시도를 가능하게 하고 있다. 컴퓨터그래픽 역시 그 중 한 분야로 꼽을 수 있다. 인공지능 기술을 기반으로 한 디지털 휴먼을 개발하거나 보다 편리하고 쉽게 영상을 편집할 수 있는 기술들이 다양한 기업, 스타트업을 통해서 시도되고 있다.
그런 와중에 놀라운 기술력을 바탕으로 한 스타트업이 시도하고 있는 인공지능 기반 영상 립싱크-더빙, 디지털 휴먼 관련 3D 매쉬피팅 기술이 주목을 받고 있다. 지난해 4월 창업한 애니그마테크놀로지스가 그 주인공이다.
이들이 사업화를 추진하고 있는 기술은 실사와 3D, 애니메이션을 포함한 영상에 등장하는 인물의 얼굴에 집중돼 있다. 쉽게 말하자면 인공지능 기술을 적용해 인물의 얼굴 표정을 바꾸거나 입모양을 자유자재로 바꿀 수 있게 하는 것이다. 하지만 여기까지 들으면 앞서 이른바 ‘디지털 휴먼’ 혹은 ‘딥페이크’ 등의 기술과 크게 다른 점이 느껴지지 않는다. 그렇다면 이렇게 설명해 보는 것은 어떨까?
수많은 국가의 영화와 드라마가 제공되고 있는 넷플릭스 서비스에 이 기술이 적용될 경우, 기존 자막, 더빙 방식으로 제공되는 다국어 서비스가 더욱 고도화될 수 있다. 이는 기존 더빙 버전의 시청할 시 자연스러움을 극대화할 수 있다는 것이 특징이다. 외국 배우의 발화에 맞춰 한국 성우의 목소리만 입히는 것이 아니라 이미 촬영된 실사 영화에 등장하는 배우의 입모양까지 한국어에 맞춰 변환이 가능하다는 것이다.
우리나라의 경우 자막을 통해 해외 영화를 보는 것이 익숙한 문화지만, 영어권을 비롯해 다른 나라의 경우 더빙 버전을 더 선호하는 국가들이 적지 않다는 점에서 사업화 성공 시 글로벌 시장을 대상으로 한 전략이 가능하다. 애니그마테크놀로지스의 기술 확장성은 여기에 그치지 않는다. 빠르게 발전하는 인공지능 기술의 추이를 감안했을 때, 이 기술이 줌과 같은 실시간 화상 서비스에 적용될 경우, 서로 다른 나라 사람들끼리 그 나라 언어로 더빙된 동시 통역 기술과 함께 입모양까지 일치하는 경험을 할 수도 있다. 더 나아가 소리와 더불어 입모양으로 언어를 배우는 영유아 교육용 영상에 적용할 경우 그 효과는 기대 이상이 될 수도 있다.
이러한 비전을 바탕으로 기술 상용화에 총력을 기울이고 있는 애니그마테크놀로지스의 조경민 대표를 만나 창업 과정에 얽힌 스토리와 기술 개발 현황, 향후 계획 등을 들어봤다.
카이스트 석/박사가 뭉친 스타트업은 어떻게 시작됐나?
“2021년 박사 과정에 있을 때 처음 교내 창업 경진대회를 나가게 됐는데, 그 때 지은 팀명이 ‘애니그마’였어요. 컴퓨터그래픽스를 연구하는 학계에서는 애니메이션, 실사를 포함해 그래픽스로 구현할 수 있는, 움직이는 캐릭터를 모두 애니메이션이라고 하거든요(웃음). 그에 맞는 팀 이름을 생각하다가 나온 거죠. 그 경진대회에서 우수상을 수상하고, 뜻밖에 몇몇 기업들에게 기술 도입 제안을 받았어요. 당시에는 메타버스가 한창 붐이었던 시기였으니 관심을 받은 거죠. 그런데 기업과 협업을 하기 위한 계약 시에는 법인 설립이 필수였고, 그렇게 ‘애니그마테크놀로지스’라는 법인을 지난해 4월 만들게 된 거죠. 물론 창업 멤버는 함께했던 팀원들이 주축이 됐고요.”
독특한 사명에 얽힌 창업 순간을 털어 놓는 조경민 대표의 첫인상은 사람 좋은 느낌으로 다가왔다. 누가 봐도 공부를 잘 할 것 같은, 이를테면 ‘똑똑이 스머프’ 같은 스타일. 그 역시도 “한 번도 크게 특별하지 않고 공부만 열심히 했다”고 털어 놓는다. 그래서 더욱 정해진 길 대신 창업에 도전하게 됐다고 한다. 그 계기가 된 것은 ‘엔비디아 인턴’ 시절의 경험이다.
“석박사 과정을 거치면서 창업을 꿈꾸기 시작했어요. 박사 과정을 밟으면서 연구만 하다가 2021년 말경에 엔비디아 인턴으로 일할 수 있는 기회를 얻었죠. 인턴으로 있던 팀에서 만든 기술이 음성에 맞춰 3D 영상의 입모양을 만들어 주던 것이었어요. 굉장히 퀄리티가 높았고, 특히 아티스트 분들이 엄청난 관심을 보이며 쓰고 싶어하더군요. 그때 이런 기술에 니즈가 있다는 것을 처음 깨달았죠. 그러면서 ‘실사 영상에도 적용할 수 있지 않을까’라는 생각을 처음 하게 됐어요. 물론 당시에도 디지털 휴먼이나 딥페이크 기술을 적용해 뉴스 앵커 등의 입 모양을 바꿔주는 기술로 솔루션을 만든 기업들이 있었는데, 그 조차도 굉장히 성공적으로 시장의 반응을 얻고 있었고요.”
알면 알수록 욕심이 생겼다는 그. 아니나 다를까 넷플릭스 조차도 그가 구상하고 있는 기술과 유사한 서비스 도입을 준비하고 있다는 소식을 들었다. 이미 이를 개발하고 있는 해외 스타트업도 생겨나고 있었다.
‘우리나라도 K-콘텐츠가 세계로 수출되고 있는 상황이니 해 볼만 하겠는데?’
“제 생각을 설명하니 경진대회에 함께했던 애니그마 팀원들이 모두 동의하더군요. 저는 지난해 8월에 졸업했지만, 나머지 팀원들은 휴학을 하고 창업을 선택했죠. 엔비디아에 입사할 기회도 있었지만, 이렇게 마음에 맞는 사람들끼리 창업할 기회는 또 없다고 생각했어요. 그때부터 경진대회 이후 기업들의 제안을 받다가 메타버스에 대한 관심이 줄며 정체돼 있던 사업을 다시 제대로 추진하기 시작했어요. 그렇게 개발한 것이 ‘애니그마 페이스 스튜디오’죠.”
애니스마테크놀로지스의 기술 사업화는 이후 다양한 VC(벤처캐피탈) 심사역과 멘토들을 만나면서 더욱 정교하게 다듬어졌다. 그 과정에서 초기 ‘버추얼 유튜버’에 초점을 맞췄던 개발도 솔루션 개발을 중심으로 하는 B2B 서비스로 변화를 거쳤다. 그리고 이미 큰 규모로 형성 돼 있는 영상 시장에 인공지능 기술을 적용한 ‘애니그마 페이스 스튜디오’를 보급하는 것을 목표로 설정했다.
“이미지나 사진에 적용되는 인공지능 기술은 이미 완성됐다고 할 수 있어요. 반면 영상에 인공지능이 도입되는 것은 초기 단계에 불과하죠. 그 중에서도 저희가 잘 할 수 있는 것을 찾아보니 ‘얼굴 변환’이었어요. 사진에서는 굉장히 잘 되지만 실사 영상에서는 아직 불가능한 영역이었죠. 그렇게 시장을 조사하며 대기업들이 더빙 음성에 맞게 입모양을 바꿀 수 있는 기술, ‘AI 립싱크 서비스’ 도입을 고민하고 있다는 것을 알게 됐어요.”
이후 애니그마테크놀로지스는 ‘1~2년 후 글로벌 서비스들이 실제 더빙 립싱크를 도입할 때 우리 소프트웨어를 쓰도록 하겠다’를 목표로 정하고 기술 고도화에 집중했다.
이제까지 없었던 기술, 무한대의 가치 지녀
앞서 언급된 ‘애니그마 페이스 스튜디오’의 소프트웨어 자체는 개발이 된 상황이다. 현재는 영상 분야의 감독 등 실수요층을 대상으로 테스트를 추진하고 있다. 우선은 짧은 영상을 먼저 테스트하고 점차 드라마 등 장편 영상 등으로 테스트를 확대한다는 계획이다.
“저희의 목표는 소프트웨어를 판매하는 것이지만, 우선 일종의 외주 형식으로 입모양 등의 변환을 대행하고 있어요. 이미 소프트웨어는 있지만, 아직 인터페이스 등은 외부 공개용이 아닌 저희가 쓸 수 있는 수준이죠. 오는 12월까지는 베타 버전으로 공개하는 것을 목표로 하고 있어요. 현재는 신뢰 관계가 있는 영상 감독님들 몇몇과 NDA(NonDisclosure Agreement, 비밀유지서약서)를 작성하고 사용 피드백을 받고 있죠.”
소수를 대상으로 테스트 중이지만 현재까지 현장 반응은 ‘놀라움’으로 표현할 수 있다. 애니그마테크놀로지스의 소프트웨어를 사용해 본 영상 감독들이 공통적으로 하는 말이 “이게 된다고?’일 정도다. 그도 그럴 것이 막대한 비용과 인력, 높은 개런티의 배우를 한 자리에 모아 촬영한 영상은 이제까지 편집 외에 다른 수정은 불가능한 상황이었다. 그런데 애미그마테크놀로지스의 기술을 적용하니 재촬영 없이도 배우의 입모양을 바꿀 수 있다는 점이 놀라움을 선사하고 있는 것이다.
“테스트를 진행해 보면서 이 기술의 가치를 다시 한 번 확인하고 있죠. 배우의 입모양과 표정을 수정할 수 있다는 것 자체를 상상조차 하지 못하셨던 경우가 많았어요. 가령 대사가 안 맞거나 바뀌었을 경우 기존에는 재촬영을 하거나 불가피하게 편집을 해 촬영본을 쓰지 못했지만, 저희 소프트웨어를 적용해 변형하면 활용을 할 수 있게 되는 것이니, 막대한 비용을 아낄 수 있게 되는 거죠. 그 정도의 가치라면 사실 상용화 된 소프트웨어의 가격은 저희가 정하기 나름이 됩니다. 우선 12월 정식 출시 가격은 1년 구독료 100달러로 생각하고 있어요. 자주 사용해야 하는 것은 아니지만 지금까지 풀 수 없었던 문제를 해결하는 소프트웨어라는 점에서 그 정도 가격이면 부담없이 쓸 수 있다고 생각하고 있습니다.”
이런 기술적 가치를 알아본 VC들의 관심도 커지고 있다. 창업 1년도 안돼 카이스트청년창업투자지주 등에서 시드 투자를 유치했으며 현재도 후속 투자 유치와 관련된 협의가 진행되고 있다.
하지만 역시 스타트업을 이끌어 간다는 것은 쉬운 일이 아니다. 조 대표의 최근 고민은 어느 새 자신이 개발보다는 지속가능성을 위한 IR발표와 서류 작업에 매몰되어 가고 있다는 것이다.
“아무래도 기술 스타트업이 초기에 매출을 발생시키기는 쉽지 않아요. 지금도 개발할 것이 산더미 같이 많고 그러다 보니 돈도 많이 필요하죠. 그래서 투자유치나 정부 지원을 위한 작업들이 제 주업무가 돼 버렸어요(웃음). 그래도 제일 행복한 것은 저희가 개발한 기술이 적용된 영상이 쓰이는 것을 볼 때예요. 원활한 제품 개발을 위해 다른 일을 해야 하는 상황이 아이러니하지만, 대표로서 회사를 운영하는 입장이 되는 건 어쩔 수 없죠.”
그럼에도 불구하고 조경민 대표는 “미래는 바뀔 것”이라고 자신한다. 국내보다 더 큰 미국, 유럽의 더빙 시장은 K-콘텐츠가 성공할수록 더욱 커질 것이고, 콘텐츠 시장이 확대될수록 동반 성장할 것이기 때문이다. 더구나 애니그마테크놀로지스의 기술은 B2B를 넘어 B2C 시장도 확장이 가능하다는 점에서 그 성장성은 무궁무진하다. 인터뷰를 마치며 미래를 이야기하는 조 대표의 말에서 넘치는 기대감이 느껴졌다.
“지금 글로벌 더빙 시장은 약 3조원 정도로 추정하고 있어요. 미래에는 모든 언어가 더빙 되는 시대가 올 거고요. 또 그와 동시에 각 지역에 현지화 시장도 새롭게 열릴 거라고 봅니다. 그렇게 되면 B2B를 넘어 B2C 서비스도 가능하겠죠. 이미 실시간 번역 서비스가 등장한 상황이니까요. 특히 금융권에서도 니즈가 있는 것을 확인하고 있습니다. 콘텐츠 시장의 국경이 사라진 상황에서 저희 기술은 콘텐츠 크리에이션 분야에 빠질 수 없는 이전과 다른 몰입감을 제공하는 필수 AI 기술이 될 겁니다.”
