2018년 설립된 클레온은 카이스트 석·박사 출신의 연구진을 중심으로 자체 영상·음성 생성 기술을 개발하며 두각을 보였다. 차별화된 경쟁력은 단 1장의 사진과 30초 정도의 음성 입력 데이터만으로도 생생한 딥휴먼을 만들어 낼 수 있다는 점이었다.
이러한 기술력을 바탕으로 클레온은 지난 2021년 B2C(고객 대상 비즈니스) 서비스인 ‘카멜로’ 앱을 개발하는가 하면 KT, LG전자, 웅진씽크빅, CJ ENM 등 굵직한 기업들과 업무협약을 맺으며 B2B(기업 대상 비즈니스) 영역에서도 가능성을 보였다. 당시 테크42는 한창 성장세에 접어든 클레온을 방문해 진승혁 대표를 만난 바 있다. 당시 진 대표를 비롯해 구성원 대부분이 30세 이하의 밀레니얼 세대였다는 점도 인상적이었다.
그로부터 1년 반 가량이 지난 현재, 클레온은 초기 스타트업의 풋풋함을 벗어나 이제 글로벌 진출을 본격화하는 기업으로 주목받고 있다. 30명 남짓하던 직원 수도 어느 새 60명을 훌쩍 넘어섰고, 진 대표가 공언했던 미국 본사 이전도 현실로 이뤄 냈다.
최근에는 한국은 물론 아시아 스타트업 최초로 글로벌 빅테크, 메타의 신규 서비스 기획과 실험에 초점을 둔 조직 ‘NPE(New Product Experimentation)’에 참여해 프로젝트를 진행하고 있다는 깜짝 소식이 알려졌다. 1년 가량의 기간을 두고 진행하는 프로젝트를 통해 향후 어떤 방식의 서비스를 선보일지는 아직 알려지지 않았다. 다만 예상 가능한 부분은 클레온의 특기인 딥휴먼 기술이 메타의 서비스에 적용될 수 있다는 점이다. 이러한 궁금증을 가지고 그 사이 놀랍도록 발전한 클레온을 다시 방문해 여러가지 질문을 던졌다. 이번 인터뷰의 주인공은 클레온의 공동 창업자인 김성곤 부대표다.
B2B 사업으로 재편, 프로덕트 다양성 확보했다
클레온이 등장하기 이전, 인공지능(AI)를 활용한 영상, 음성 생성을 구현하기 위해서는 적어도 3000장 이상의 사진과 방대한 음성 데이터가 필요했다. 하지만 클레온은 단 1장의 사진과 30초 정도의 짧은 음성 데이터만으로도 생생한 딥휴먼을 만들어 내는 기술력을 선보였다. 이러한 클레온의 기술력은 교육, 엔터테인먼트 분야 기업들의 관심을 모았다. 특히 지속적인 기술 개발을 통해 구축한 ‘제로샷 러닝(zero-shot learning)’은 AI가 추가적인 데이터 학습을 하지 않아도 목소리, 얼굴, 체형 등 인간을 구성하는 여러 요소를 곧바로 만들어낼 수 있는 기술로 주목받고 있다.
Q 1년 반 사이 변화가 적지 않은 듯 합니다. 당시에는 B2C 서비스인 ‘카멜로’를 선보이기도 했는데, 최근에는 B2B 사업에 더 초점을 맞추고 있다고 알고 있습니다.
김성곤 부대표(이하 김)_ 당시 카멜로는 SNS 서비스 형태로 선보였죠. 적은 데이터만으로 딥휴먼을 만들 수 있다는 기술에 포커스가 맞춰져 있었고, 이를 바탕으로 대중 대상 프로덕트로 선보였습니다. 이후 몇 차례 PMF(Product Market Fit, 제품과 시장이 부합된 상태)를 찾아가는 과정을 거치며 대중이 바라보는 기술의 허들이 훨씬 더 높다는 것을 확인하게 됐습니다.
반면에 산업 쪽, 특히 디지털 트랜스포메이션 관련 부서들에서는 명확한 수요가 확인됐죠. 이에 저희도 수요가 있는 쪽에 먼저 집중하자는 판단으로 B2B에 집중하는 방향 전환을 하게 됐습니다. 현재 저희가 B2B 타깃으로 개발한 프로덕트는 ‘클론’이라는 디지털 휴먼 제작 플랫폼, ‘클링’이라는 AI 더빙 솔루션 두 가지로 기업고객에 조금 더 특화된 서비스를 운영을 하고 있습니다.
Q 기술적인 변화를 비롯해 직원 수 등 규모의 변화도 있는 듯 한데요?
김_ 클레온 설립 당시부터 굉장히 소수 데이터만을 가지고 높은 수준의 딥휴먼을 생성한다는 큰 틀은 변하지 않았습니다. 다만 지금은 좀 더 이제 퀄리티를 월등히 올리는 기술 개발에 집중하는 단계라 할 수 있죠. 그래서 지속적으로 연구개발 인력을 확보해 나가고 있고요. 1년 반 전에는 저희 구성원이 한 30명 내외였죠. 지금은 60명 내외로 2배 정도 조직이 커진 상태입니다. 연구개발 및 제품 개발, 디자인 등의 조직이 특히 강화됐고, 그 외에 최근에는 세일즈 조직도 확대해 나가는 중입니다.
이어진 글로벌 빅테크와 협업, 이르면 올해 말 가시적 성과 나올 것
클레온의 지속적인 기술 개발과 조직 확대는 이어진 투자유치 성공의 영향도 적지 않았다. ‘스타트업 투자 혹한기’라는 시기, 클레온 역시 어려움은 있었지만 팁스 등의 정부지원 사업과 기관투자 등으로 약 50억 규모의 투자 유치에 성공했고, 현재는 약 90억 규모의 시리즈 A 완료를 앞두고 있다. 이렇듯 지속적인 투자와 연구개발 인력 확대를 바탕으로 한 기술력은 지난해와 올해 CES 혁신상 수상이라는 성과로 돌아오기도 했다. 이와 관련 김 부대표는 “기술 개발을 넘어 하나의 표준화된 제품, 서비스로 다양한 기업들에게 공급하고 있다는 점이 수상 요인 중 하나”라고 강조했다. CES에서 이어진 혁신상 수상은 클레온의 기술력을 글로벌 무대에 선보이는 계기가 됐다. 여러 글로벌 기업들이 주목을 했고, 그 중에서도 글로벌 빅테크인 메타와 엔비디아 등이 특히 관심을 보였다. 급기야는 클레온이 메타의 NPE에 참여했다는 소식까지 들려왔다.
Q 글로벌 무대에 선보이는 기회가 적지 않았던 만큼 다양한 제안도 있었다고 알고 있습니다. 현재 진행되는 프로젝트는 어떤 것들이 있나요?
김_저희의 기술 수준 및 제품 수준이 올라감에 따라서 말씀처럼 우연찮은 기회로 글로벌 대기업들과 협력 관계를 맺게 됐습니다. 대표적으로는 메타와 엔비디아, 중국계 기업인 센스타임 등을 꼽을 수 있죠. 일본 역시도 대기업, 중견기업 등과 현재 활발한 사업 및 연구 협력을 진행 중인 상황이고요.
Q 메타의 NPE에 참여해 진행하는 프로젝트 소식이 특히 흥미로운데요. 미국 액셀러레이터 ‘플러그앤플레이’의 추천을 통해 시작됐다고 알고 있는데, 메타와 협업이 가지는 의미가 클레온에게는 남다를 듯 한데요?
김_ 가상 인간 혹은 디지털 휴먼 비즈니스에서 ‘좋은 기업이 무엇이냐’라고 했을 때는 여러가지 척도가 있을 수 있습니다. 이와 관련해 클레온은 굉장히 소수의 데이터와 저렴한 비용으로 기술 보급화에 방점을 두고 사업을 진행해 왔습니다. 퀄리티는 두말할 것도 없고요. ‘클레온이 세계 최고의 기업이냐’고 했을 때, 좀 오만하게 들릴 수도 있지만 적어도 기술력과 그 기술을 바탕으로 제품화에 성공했다는 점에서는 세계 최고, 혹은 수위권이라고 단언해서 말씀드릴 수 있습니다. 특히 저희 기술은 그간 공신력 있는 국제 학회 등에서 지속적으로 논문 발표를 통해 성과를 인정받아 왔습니다. 그런 사업적인 성과, 학술적인 성과, 앞서 말씀드린 조직의 성장 속도 등이 메타에 어필이 됐다고 봅니다. 또 페이스북이나 인스타그램 등 B2C 서비스를 운영하는 메타 입장에서 ‘일반인도 접근이 가능하다’는 클레온의 기술적 장점이 중요한 협력 포인트로 여겨졌다고 생각합니다.
Q 엔비디아 같은 경우는 어떤가요? 기술적으로 클레온의 비즈니스와 상당히 밀접한 연관성이 있을 듯 한데요?
김_ 맞습니다. 엔비디아는 GPU(Graphic Processing Unit, 그래픽 처리장치)를 생산하는 기업으로서 저희와 광장히 밀접하게 관련이 있습니다. 또 대외적으로 알려진 것 외에도 다양한 기술을 보유하고 있는 기업이기도 하고요. 엔비디아는 그런 요소 기술 중 일부를 저희에게 전략적으로 공개하고 협력을 진행하고 있습니다. 이를 통해 저희는 기술 고도화 속도를 높일 수 있고 AI 측면에서 추가적인 상용화 가능한 수준의 제품을 개발할 수도 있게 됩니다. 물론 엔비디아 역시 그런 협력을 통해 그들의 사업 기회를 발전시켜 나가는 형태로 협업이 진행되고 있죠.
Q 이러한 글로벌 빅테크와의 협력이 가시적인 성과로 나오는 시기는 대략 언제로 예상할 수 있을까요?
김_ 메타의 경우는 사명을 바꿀 정도로 메타버스, 가상 인간 쪽에 집중을 하고 있습니다. 프로젝트 협력은 메타가 운영하는 페이스북, 인스타그램, 릴스 등의 서비스에 클레온의 기술을 도입하는 것을 콘셉트로 해서 PoC(개념 검증)을 진행하고 있습니다. 엔비디아 역시 마찬가지고요. 두 프로젝트 모두 올해 초 착수를 한 상태로 약 1년 정도 기간을 잡고 PoC를 진행하고 있습니다. 동시에 추가적인 투자 등도 논의 중이고요. 이르면 올해 말부터 가시적인 결과물을 두고 서비스 접목이나 상용화와 관련된 논의가 있지 않을까 예상하고 있습니다.
실리콘밸리에서 시작하는 글로벌 시장 공략
과거 진승혁 클레온 대표와 인터뷰 당시, 진 대표는 미국에 법인을 등록하고 혁신적인 글로벌 제품을 선보이겠다는 계획을 밝힌 바 있다. 일본에는 현지 지사 설립도 추진하고 있다고 했다. 그러한 계획들을 클레온은 실제 하나 둘 씩 현실화 시키고 있다. 현재는 미국 법인 설립은 물론 일본 지사를 통한 매출 성과까지 나오는 상황이다. 이어지는 진행 상황에 대한 김 부대표의 말을 더 들어봤다.
Q 미국 법인 설립은 어느 정도 단계인지 상황을 말씀해 주신다면?
김_미국 법인 설립은 사실상 지난해 11월 완료됐습니다. 현재는 미국 법인이 모회사, 한국 클레온은 자회사가 된 상황이죠. 물론 실질적인 사업 진행이나 기타 연구개발 등은 아직까지 한국 클레온에서 이뤄지고 있지만, 올해 하반기부터 북미시장을 타깃으로 영업 파트가 돌아갈 예정입니다. 연구개발과 제품개발, 전략 파트 등은 점진적으로 미국으로 이전될 예정이고요.
Q 한편으로 ‘굳이 왜 미국으로 본사를 이전할까’하는 의구심도 생기는데요. 나름의 이유가 있을 듯 합니다.
김_한국도 선도시장이라고 할 수 있지만, 아무래도 디지털 휴먼 분야를 봤을 때 북미 시장은 규모도 가장 크고 상업적으로도 정착된 시장이라 할 수 있습니다. 또 미국으로 갔을 때 좀 더 확고한 점유율을 이뤄낼 수 있다고 판단했죠. 또 실리콘밸리라는 환경적 이점을 충분히 활용해 높은 수준의 연구 인력과 원활히 협력하기 위한 목적도 있고요.
Q 일본 지사는 어떤가요? 실질적인 성과가 나오고 있다고 알고 있는데요?
김_일본 지사는 지난해 3월 경 법인 설립을 완료한 이후 실질적인 영업 기능부터 돌아가고 있습니다. 후쿠오카를 거점으로 사업을 진행하고 있는데, 지난 1년 간 굉장히 많은 일이 있었습니다. 일본 내 기업 행사를 통해 다양한 중견, 대기업과 밋업을 진행한 것이 성과가 좋았습니다. 이 행사에서는 스타트업들을 대상으로 기술적인 우수성을 평가하고 수상도 진행되는데, 총 100개 기업 중 해외 기업은 5개였죠. 그 중 하나가 저희 클레온이었습니다. 그 덕분에 도요타, NTT 도코모 등과 같은 일본 대기업과 접촉을 할 수 있었고, 몇몇 중견 대기업들과는 실질적인 계약까지 진행한 상황이죠. 현재는 매출이 발생하는 단계로 지속적인 증가세를 보이고 있습니다.
기술 고도화는 지속적인 과제, 예상 가능한 미래는?
앞서 언급된 바와 같이 클레온은 초기 B2C 서비스인 ‘카멜로’에 이어 현재는 B2B 서비스에 초점을 맞춘 디지털 휴먼 솔루션인 ‘클론’과 자동 더빙 솔루션 ‘클링’을 선보이고 있다. 이러한 기술들은 최근 등장한 챗GPT 등의 기술과 연계돼 더 고도화된 솔루션으로 진화할 가능성이 적지 않아 보인다. 이와 관련 지속적인 기술 고도화에 나서고 있는 클레온이 예상하는 미래에 대해 김 부대표이 의견을 들어봤다.
Q 클론과 클링 개발로 사업 방향을 전환하는 과정은 쉽지 않았을 듯 한데요.
김_PoC 등을 통해 수요확인을 비롯한 검증 기간이 4~5개월 정도 걸렸습니다. 그 과정에서 여러 기업들이 동일한 수요가 있다는 점을 발견했죠. 이런 수요에 대응해야 한다는 내부적인 방향을 정한 뒤에는 개발에 착수해 약 6개월 정도의 시간이 더 소요됐습니다. 현재는 상용화 서비스로 운영을 하면서 한편으로 기술 고도화를 지속하는 중입니다.
Q 기존 ‘카멜로’ 서비스와 어떤 차이가 있을까요?
김_카멜로 프로덕트의 최우선 가치는 ‘얼마나 빠르고 편하게’ 딥휴먼을 보여줄 수 있느냐였습니다. 기술 고도화 보다는 속도를 빠르해 대중화 서비스로 제공하는데 포커스를 맞춘 거였죠. 반면 ‘클론’ 같은 경우에는 스스로를 닮은 딥휴먼, 혹은 아예 존재하지 않은 딥휴먼을 만들 수 있도록 하고, 언어를 입력했을 때 실제 언어에 맞는 입 모양까지 만들어서 발화하는 영상을 스스로 제작할 수 있다는 것이 특징입니다. 예컨대 PPT 발표가 어려우신 분들은 저희 솔루션을 통해서 자신의 모습과 닮은 딥휴먼이 발표하는 영상도 만들 수 있죠. 특히 한국어뿐만 아니라 중국어, 일어, 영어, 스페인어 등 다국어 기능까지 포함돼 있어 즉시 언어를 바꾼 영상을 만들 수 있게 하고 있습니다.
또 ‘클링’의 경우는 여기서 한 발 더 나아가서 유튜브와 틱톡 등을 비롯해서 이종 언어로 제작된 수많은 영상을 손쉽게 한국어 혹은 각 국가 사용자들의 언어로 변화하는 더빙 솔루션이라고 할 수 있습니다. 그 과정에서 원래 화자의 음색을 그대로 유지하며 자막과 더빙 작업을 원스톱으로 진행을 해주는 자동화 솔루션이죠.
Q 진승혁 대표님께서는 향후 사람의 외형 뿐 아니라 두뇌까지 소규모 데이터로 집약시키는 디지털 ME 혹은 디지털 아인슈타인을 만들고 싶다는 꿈에 대해 말씀하신 적이 있는데, 부대표님 역시 가능하다고 보시나요?
김_ 최근 챗GPT에 이어 GPT-4까지 나오고 있는데요. 외형을 재현하는 저희 클레온의 솔루션과 그런 기술들을 접목하는 방법에 대해 검토하고 있습니다. 그런 면에서 ‘디지털 아인슈타인’과 같은 기술의 등장은 가능하리라고 보고 있습니다. 오히려 지금은 그 것을 실현하는데 걸리는 타임라인이 더 짧아졌다고 생각을 하고 있고요.
Q 당장 현실화는 어렵겠지만, 미래 딥휴먼 기술 산업의 방향성을 어떻게 전망하시나요?
김_크게는 딥휴먼 기술을 어느 정도까지 고도화를 하느냐가 하나의 축이라고 생각해요. 또 다른 하나는 사람을 둘러싸고 있는 요소를 또 어느 정도로 고도화를 할 수 있을 것이냐인 것 같습니다. 여기서 사람을 둘러싸고 있는 요소는 인공지능 영역 부분이죠. 이 부분은 사실 이미 여러 글로벌 기업들이 집중하는 분야라는 점에서 빠르게 발전할 거라고 기대하고 있습니다. 또 그와 별개로 딥휴먼 기술로 사람의 얼굴을 만들고 입 모양을 만드는 저희 연구 부분도 여전히 더 많은 고도화가 이뤄져야 한다고 생각합니다.
현재까지는 표정의 다양성 등 얼굴 영역의 구현까지는 일정 수준의 기술력을 확보했지만, 몸동작 등에서는 아직 어느 기업도 게임 수준을 넘어 현실적인 수준으로 고도화를 이뤄내지 못하는 상태예요. 영화의 특수효과에서 구현되기도 하지만 막대한 비용이 들기 때문에 접근성이 떨어지죠. 따라서 향후에는 얼굴의 세밀한 표현을 재현하는 것을 넘어 몸동작을 재현하는 부분도 저희 분야에서 하나의 큰 도전 과제라고 생각하고 있습니다. 또 사람을 둘러싼 영역에서 조금 더 나아가자면 의상 등 부수적인 부분을 다양하게 컨트롤할 수 있는 기술도 점진적으로 발전이 될 거라고 봅니다. 메타버스라는 공간 요소의 컨트롤 등도 중요한 화두라고 할 수 있고요. 대부분의 유명한 메타버스 플랫폼들을 보면 사실 아직 게임과 같은 어색한 오브젝트 수준을 벗어나지 못했거든요. 이 부분에도 생성AI가 적용되면 굉장히 사실적인 수준의 3D 공간 툴까지도 결합이 가능할 거라고 생각합니다.
소셜댓글