M세대 중심의 스타트업, 글로벌 시장 공략 나선다

세계 어디에도 없는 독보적 영상, 음성 생성 기술 자체 개발

교육, 엔터테인먼트 분야 즉각적인 접목 이뤄 내

이제 막 세상의 온갖 사물에 관심을 보이는 영유아 시기 아이의 시선을 사로잡는 것이 얼마나 어려운지, 아이를 키워본 사람이라면 누구나 공감한다. 아이가 조금 더 자라 유치원에 갈 때가 되면 많은 부모들이 맞벌이를 하며 전투와 같은 하루 하루를 보낸다. 주말이 돼야 비로소 아이와 함께하는 시간을 갖지만 그 마저도 쌓인 스트레스와 피로를 어쩌지 못해, 안된다는 것을 알면서도 어쩔 수 없이 보채는 아이의 손에 스마트폰을 건네 주게 된다. 

이럴 때 엄마나 아빠 혹은 할머니의 얼굴과 목소리로 아이에게 책을 읽어줄 수 있는 기술이 있다면 어떨까? 클레온의 인공지능 딥러닝 영상·음성 생성 기술로 만들어진 딥휴먼은 그런 꿈 같은 이야기를 현실로 만들어 내고 있다.

2018년 스타트업으로 시작한 클레온은 카이스트 석·박사 출신의 연구진을 중심으로 자체 영상·음성 생성 기술을 개발하고 이를 바탕으로 B2B, B2C 사업들을 병행하고 있다. 놀라운 것을 구성원의 상당수가 30세 이하의 밀레니얼 세대라는 점이다.

창업 후 3년, 비교적 짧은 업력에도 불구하고 이들의 기술은 교육, 엔터테인먼트 분야 기업들에게 화제가 되고 있다. 그 이유는 클레온이 자체 개발한 기술이 인공지능(AI) 딥러닝에 대한 선입견을 철저하게 부수고 있기 때문이다.

이제까지 인공지능을 활용한 영상, 음성 생성을 구현하기 위해서는 적어도 3000장 이상의 사진과 방대한 음성 데이터가 필요했지만, 클레온의 기술은 단 1장의 사진과 30초 정도의 음성 입력 데이터만으로도 생생한 딥휴먼을 만들어 낼 수 있다.

더욱 놀라운 것은 이 데이터를 가지고 텍스트 베이스의 콘텐츠까지도 음성과 영상으로 구현할 수 있다는 사실이다. 이는 외국어도 걸림돌이 되지 않는다. 즉 일본어나 영어로 돼 있는 책에 이 기술을 적용하면, 그 나라 아이들에게 익숙한 모습과 목소리를 가진 딥휴먼이 등장해 자연스럽게 이야기하는 영상을 만들 수 있다는 말이다.

클레온, 기술과 문화를 융합하다

클레온은 테크컬처 스타트업을 표방하고 있다. 확고한 기술 기반 솔루션을 통해 기업들이 즉시적으로 필요한 분야에 바로 적용이 가능하다는 것이 가장 큰 경쟁력이다. 기존 인공지능 딥러닝 기술에 비해 경량화 돼 있다는 점도 빼 놓을 수 없다. 사진 1장, 30초의 음성 데이터로 솔루션이 구동되는 점은 분야를 막론하고 적용된다. 이러한 클레온의 기술은 이미 KT, LG전자, 웅진씽크빅, CJ ENM 등 굵직한 기업들에서 주목하고 있다. 진승혁 클레온 대표는 최근 웅진씽크빅과 체결한 업무 협약을 예로 들며 자사 서비스의 장점을 설명했다.

“웅진씽크빅 AR(증강현실)미디어팀과 함께 해외 진출 사업에 대해 협의하고 있어요. 기업이 이미 마련해 둔 콘텐츠를 바탕으로 해외 상황에 맞게 저희 기술을 적용하는 거죠. 예를 들어 제가 일본어를 할 수 없지만 저희 기술을 적용하면 30초 분량의 제 음성을 입력하고 웅진씽크빅의 콘텐츠 텍스트를 연결해 제 음성으로 일본어를 읽는 콘텐츠로 만들 수 있어요. 영어도 마찬가지고요. 성우의 목소리를 활용할 수도 있겠죠. 효과적인 외국어 교육도 가능하다는 의미예요. 그 밖에도 프로토 타입으로 이북(e-book)에 적용하는 것을 준비 중이에요. 아이들이 친밀감을 가지는 사람, 어머니나 할머니의 음성과 얼굴로 형성된 딥휴먼을 등장시켜 책을 읽어주는 기술이죠.”

기술을 이용해 언어와 문화의 장벽을 넘을 수 있다는 것은 생각만해도 멋진 일이다. 더구나 그 나라에 최적화된 딥휴먼이 등장한다면 어느 나라 건 아이들의 관심을 사로잡는 것은 그리 어려운 일이 아니다. 웅진씽크빅의 사례처럼 이미 보유하고 있는 콘텐츠를 활용할 수 있다는 것은 현지화를 위한 비용이 절감된다는 측면에서 기업에게 여간 매력적인 요소가 아닐 수 없다. CJ ENM의 경우도 마찬가지다. 클레온과 CJ ENM 소속 다이아 티비는 ‘다국어 더빙 멀티 콘텐츠’ 협약을 맺었다. 다이아 티비가 보유하고 있는 콘텐츠에 외국어 더빙을 입혀 크리에이터들의 글로벌 진출을 돕고 있다. 지난 4월에는 BTS가 소속된 하이브와 챗봇 3D 개발 계약도 체결했다.

“문화와 기술을 따로 생각하시는 경우가 대부분이죠. 맞는 부분도 있고, 요즘에 와서는 꼭 그렇지 않기도 해요. 저희 회사 인원들이 대부분 카이스트 출신 연구원이라 문화 분야는 취약한 게 사실이에요. 반대로 우리나라 컬처 산업을 리딩하고 있는 하이브, SM 같은 엔터테인먼트 기업들은 기술을 잘 알지 못하죠. 이 기술과 문화를 제대로 융합할 수 있다면 더욱 다채로운 것들을 보여줄 수 있거든요. 저희가 지향하는 방향이고요. 그래서 저희는 스스로를 테크 컬처 스타트업이라고 하고 있어요.”

클레온이 사업을 진행하는 방식은 보통의 기술 기반 기업들과 달랐다. 학업을 진행하던 학생들이 주축이 됐기에 오픈 소스 등이 제공되는 정형화된 기술보다는 새롭게 등장한 기술에 집중했다. 그리고 독자적인 방법을 고민했다. 때로는 도전적이었고, 때로는 엉뚱했다. 그런 방식이 기존 기술과 차별화된 클레온만의 색깔을 만들었다.

“처음 사업 아이디어는 제가 인터넷 강의로 공부를 하고 있을 때 떠올랐어요. 강의가 지루하게 느껴지던 순간 문득 ‘내가 좋아하는 연예인이 강사로 나온다면 정말 열심히 할 수 있을텐데’하는 생각이 들더군요. 우연히 든 생각이지만 이후로 얼굴합성과 음성합성 등을 공부하며 향후 10년 내에 이 기술이 세계적으로도 많은 혁신을 이루겠다는 예감이 들었어요. 지인들을 모아 아이디어를 얘기하고 공부를 하다 보니 최신 기술인 GAN(Generative Adversarial Network, 생성모델과 판별모델이 경쟁하면서 실제와 가까운 이미지, 동영상, 음성 등을 자동으로 만들어 내는 기계학습 방식)을 알게 됐고 그때부터 연구가 시작됐다고 보면 되요. 운이 좋았죠. 저희 회사 대부분의 연구원이 당시에 대학원에서 석·박사 과정을 밟고 있었기 때문에 그 시기에 가장 집중도도 높고 기술력이 뛰어났거든요. 그래서 빠르게 기술을 확보하고 방향성을 가질 수 있었다고 생각해요.”

테크 컬처의 시작, 그리고 3년만의 성과

진 대표가 처음 사업을 시작한 것은 스물 한 살 무렵이었다. 여전히 서른 살이 채 안됐지만 따지고 보면 그는 대략 세 번의 창업을 했고 꽤 성공을 거두기도 했다. 또래보다 일찍 경험한 사업가의 삶은 그의 오늘이 있게 해 주었다. 그렇다면 그의 첫 사업은 뭘까? 예상을 뛰어 넘는 엉뚱한 답이 돌아 온다.

“커피 판매 사업이었어요(웃음). 대학교 2학년 무렵에 휴학을 하고 인도네시아에 8개월 정도 봉사활동을 하러 간 적이 있었는데, 거기서 인연이 된 분이 루왁커피를 아주 저렴하게 줄 테니 한국에서 팔아보라고 하더군요. 그래서 두 달 정도 유통거래사와 관세 공부를 하고 커피숍을 운영하는 개인 사업자 분들을 대상으로 영업을 했는데, 시스템화하니 굉장히 잘됐어요. 물론 지금 사업 방식과는 전혀 달랐죠. 궤도에 오르니 아무것도 하지 않고도 월 500만원 정도는 벌었던 것 같아요. 계속 그 일을 할 수도 있었지만, 나름 꿈이 있었던 시절이라(웃음) 이렇게 돈을 벌다가는 내가 원래 하고 싶었던 것을 못하겠다 싶어 과감하게 접었죠.”

그가 다음으로 택한 사업 아이템은 대학중고서적을 사고 파는 온라인 플랫폼이다. 이를테면 알라딘의 사업 방식과 비슷했다. 전공 서적 등이 필요 없어진 졸업생들에게는 저렴하게 책을 구입해 다시 책을 필요로 하는 신입생에게 싼 가격에 되파는 방식이었다. 하지만 전자 전공이었던 그가 플랫폼을 운영하는 것은 여간 어려운 일이 아니었다.

“그때 플랫폼으로 돈을 벌기가 정말 어렵다는 것을 알게 됐어요. 또 플랫폼 비즈니스를 하려면 개발을 잘 이해해야 한다는 것도 알게 됐죠. 그 배움을 바탕으로 코딩을 공부하기도 하고 한양청년협동조합이라는 회사를 지인들과 만들어 푸드트럭 플랫폼과 서비스 기획을 담당하는 기술이사로 일하기도 했어요. 이런 저런 경험을 하고 난 뒤에 비로소 제대로 사업을 할 수 있겠다는 자신감이 생기더군요.”

한번의 성공과 한번의 실패를 경험한 후 그가 택한 것은 인테리어 맞춤 자동화 플랫폼을 기반으로 한 ‘그리다집’이었다. 오프라인에서 주먹구구식으로 진행되던 인테리어를 온라인에서 시스템화하고 자동화 시켜 규모의 경제화해 보겠다는 구상으로 시작한 사업은 3년만에 50억원의 매출을 올리는 기업이 됐다. 하지만 그는 또 한 번 쓰라린 실패를 맛봐야 했다.

“투자와 관리, 계약 등에 대한 것을 너무 몰랐어요. 솔직히 말하자면 투자를 잘못 받아서 회사를 넘겨야 하는 상황이 된 거예요. 그런 경험 역시 저한테는 배움이 됐어요. 팀 구성을 어떻게 해야 하는지부터 조직구조가 얼마나 중요한지도 깨닫게 됐죠. 그 모든 경험이 클레온을 창업할 때 적용됐어요.”

클레온을 창업하며 그가 중점을 둔 것은 세 가지다. 첫째는 사람, 두 번째는 그 사람들이 제대로 일할 수 있는 조직구조를 확립하는 것, 마지막으로는 어디에도 빼앗기지 않을 핵심 기술이었다. 처음 7명으로 시작한 클레온은 이제 30명이 넘는 직원이 함께하는 회사가 됐다. 그리고 그 원칙을 적용해 각 분야 최고라 할 수 있는 실력자를 중심으로 조직을 구성했다. 특히 진 대표가 자신감을 보이는 것은 확고한 기술력이다. ‘대외비’를 이유로 말을 아끼는 그에게 다른 방식으로 질문을 던져봤다. ‘이 기술이 세계에서 유일하다고 생각하세요?’ 돌아오는 답이 명확했다.

“네 이걸 구현할 수 있는 다른 기업은 없다고 자신해요. 저희는 오픈 소스 개념이 전혀 없이 자체알고리즘을 구축했기 때문에 일부러 특허 출원도 안하고 있어요. 음, 솔직히 핵심 기술을 모두 설명 드리기는 좀 어려워요. 다만 최고의 실력자들이 모여 하나의 명확한 목표를 갖고 집중을 한 결과라고 할 수 있을 것 같아요.”

이렇듯 확고한 기술을 내세운 클레온에 기업들의 투자와 기술 제휴 요청은 이어졌다. 특히 콘텐츠 IP(지적재산)를 보유하고 있는 기업들의 관심이 컸다. 진 대표에 따르면 “코로나19는 달갑지 않은 상황이긴 하지만, 비대면 교육이 증가하며 교육 대상의 참여율을 높이고 능동화 시키는 방식으로 적용을 요청하는 기업이 많았다”고 한다. 해외에 영화, 드라마 등의 콘텐츠를 수출하는 기업의 경우도 더빙을 선호하는 중국 및 영미권 시장 진출에 있어 클레온의 바로 적용하기에 더할 나위 없이 최적화 돼 있는 것이었다.  

B2B를 넘어 글로벌 시장을 두드리는 B2C 비즈니스 ‘카멜로’

클레온이 진행하고 있는 사업은 기업 대상만이 아니다. 지난 7월부터 론칭한 ‘카멜로(KAMELO)’는 SNS 영상 공유 플랫폼으로 주목을 받고 있다. 역시 클레온의 영상·음성 생성 기술이 적용됐다. 특이한 현상은 국내보다 해외의 반응이 뜨겁다는 점이다.

“국내 반응은 얼마전 문제가 된 ‘딥페이크’로 그렇게 높지는 않아요. 민감한 이슈를 피하는 경향이 있는 거죠. 다만 해외에서는 폭발적인 반응을 보이고 있어요. 전환율도 굉장하고 심지어 메일까지 보내오는 경우도 있어요. 그래서 우선은 해외 시장 공략을 먼저 할지를 두고 협의 중에 있어요.”

진 대표 스스로 말한 것처럼 얼마전 사회적인 우려를 낳은 딥페이크 기술은 사실 클레온이 선보이는 딥휴먼과 굉장히 유사한 특징을 가지고 있다. 신기술은 때로 인류의 미래를 바꿔 놓기도 하지만 엄청난 재앙으로 돌아오기도 한다. 이른바 기술의 양면성이다. 진 대표 역시 이를 회피하지 않았다.

“너무 중요한 지적이라고 생각해요. 저는 굳이 클레온의 기술은 그것과 다르다고 반론하지 않으려해요. 오히려 맞는 얘기일 수도 있어요. 다만 기술은 어떻게 사용하느냐에 따라 정의가 바뀔 수 있다고 생각해요. 새로운 에너지원으로 개발된 원자력이 대량살상무기로도 쓰이게 된 것처럼요. 저를 포함한 클레온은 이 딥휴먼 기술을 사람들에게 도움이 되는 방향으로 풀어가려 해요. 교육과 엔터테인먼트 분야도 있지만 돌아가신 분들의 모습을 딥휴먼으로 만나도록 할 수도 있어요. 잘 활용하는 방법은 그 외에도 무궁무진하다고 생각해요. 그리고 저희는 딥페이크를 방지하는 방안도 핵심 기술로 개발 중이예요. 포르노를 검출하거나 다른 방식으로 악용하는 것을 탐지하는 기술이죠.”

B2B 분야는 기업들이 즉시 적용할 수 있는 기술 제휴를 중심으로 진행이 되고 있다면 카멜로를 내세우는 B2C 사업은 ‘누구나 편하게 영상을 만들 수 있게 한다’는 데 목적을 두고 있다. 자신의 얼굴에 원하는 화장을 입히거나 재미있는 소리를 녹음해 넣거나 가상의 얼굴을 생성할 수도 있다. 진 대표는 “시장의 반응을 살피며 지속적으로 개선 보완해 나가는 것이 현재의 계획”이라며 더 큰 비전을 이야기했다.

“클레온을 창업하고 기술의 혁신에 대해 다시 생각하게 됐어요. 새삼 느낀 것은 기술이라는 것이 점진적으로 발전하지 않는다는 거예요. 한동안의 정체기가 있고 어느 순간 새로운 기술이 완성되며 계단식으로 발전하더군요. 그럴 때는 이루 말 할 수 없이 행복감을 느껴요. 클레온이 보유하고 있는 기술도 마찬가지였어요. ‘이게 말이 되나’ 싶을 정도로 발전을 느낀 경우가 두 번 정도 있어요. 처음 10명이 채 안되는 연구팀으로 시작해 이제는 사업화팀도 생기고 엔지니어팀도 붙으면서 좋은 회사를 만들어 갈 수 있는 밑거름이 갖춰지고 있다는 생각을 해요. 처음 구상했던 회사의 문화가 점차 자리잡히는 것을 보는 것도 보람이 있죠. 스타트업을 한다는 건 도전도 필요하지만 꾸준함도 중요다는 걸 느껴요.”

해외시장 반응이 좋은 카멜로를 통해 가능성을 발견한 클레온은 해외 진출을 모색하고 있다. 국내외 어디서든 기술로 승부할 수 있는 자신감이 있기 때문이다. 이미 일본에는 현지 지사 설립이 추진 중이다. 더 나아가 1년 후에는 미국에서 법인을 등록하고 혁신적인 글로벌 스탠드 제품을 내 놓을 예정이다. 클레온이 여는 미래는 이제 시작일 뿐이다.