인공지능(AI)역사에 있어서 가장 뜨거웠던 2023년이 저물면서, AI를 둘러싼 기념비적인 발전과 윤리적 논쟁에 대한 성찰의 시간이 됐다. 빙 챗과 구글 바드와 같은 챗봇의 출시는 인상적인 자연어 능력을 보여주었고, 달리3와 미드저니 V6와 같은 생성 AI 모델은 창조적인 이미지 생성으로 사람들을 깜짝 놀라게 만들었다. 동시에 AI의 잠재적 해악에 대한 우려도 제기됐다. 대표적으로 유럽연합(EU)의 AI법(AI Act)은 그 기술의 특정한 사용을 제한하려고 했고, 미국 바이든 행정부는 그것의 개발에 대한 지침(가이드라인)을 발표했다.

새해에도 급속한 혁신이 계속될 것으로 예상되는 가운데 많은 사람들은 AI의 다음단계에 대해 궁금해 하고 있다. 이에 대해 알아보기 위해 벤처비트는 지난해 말 AI 스타트업에 투자하는 선도적 벤처투자가(VC)들을 대상으로 한 2024년 새해의 AI전망에 대한 가장 대담한 설문 조사를 실시해 그 결과를 소개했다. AI 과대광고가 현실과 맞닥뜨리면서 또 다른 ‘AI겨울’을 보게 될지, 아니면 새로운 돌파구가 산업 전반에 걸친 채택을 가속화할지, 그리고 정책 입안자들과 대중들은 어떻게 반응할지 등에 대한 궁금증에 대한 답이 윤곽을 보여주는 내용이다. 지난해 말 주요 벤처캐피털(VC)들을 대상으로 실시한 이 치밀한 VC들의 분석적인 응답 내용을 따라가 본다.

설문 대상자에는 베인 캐피털 벤처스(BCV), 사파이어 벤처스, 마드로나, 제너럴 카탈리스트 등을 포함한 최고 기업의 VC들이 포함돼 있다. 이들은 올해 두드러질 변화 전망으로 ▲그 어느때보다도 급속한 AI스타트업의 부침 ▲멀티 모드 검색 및 추론으로 AI 제품 중심 전환 ▲GPU 부족에 따른 다양한 자구책 ▲입력, 훈련, 모델 생성 및 출력에 걸친 멀티모드 AI가 혁신의 핵심 영역 ▲더많은 오픈소스 AI모 출시 ▲잠깰 거인으로 애플과 구글 등을 예상하는 등 다양한 주제와 흐름에 대한 통찰력을 제시했다. 그 위험과 일정에 대한 관점은 다르지만 대다수가 동의한 부분은 ‘2024년은 AI를 (새로이)정의하는 해가 될 것’이라는 것이었다. 이를 소개한다.

어느 때보다도 많은 생성 AI 스타트업들 부침

마샤 부커 데이원 벤처스(Day One Ventures) 창업자이자 총괄파트너는 2024년에는 그 어느 때보다도 AI스타트업의 부침이 많을 것이라고 말한다. 그는 “많은 생성 AI 회사들이 죽을 것이다. 만약 여러분이 올해 거대한 투자행사를 연 스타트업들 중 하나가 아니라면 미래는 불확실할 것이다. 많은 (생성 AI) 회사들은 서로 경쟁할 것이고, 오픈AI 기반으로 만들어진 스타트업들은 플랫폼 위험을 경험할 것이고, 이 회사들에 대한 자금 조달이 고갈될 것이다. 나는 생명공학, 유전체, 기후 및 산업용 AI에 대해 흥분된다. AI는 과학자와 연구자들이 인간의 유전체 데이터를 기반으로 새로운 치료 및 진단법을 개발하는 데 도움을 줌으로써 생명을 구할 것이다. 사이키델릭 산업에서 우리의 포트폴리오 회사인 마인드스테이트(Mindstate)는 AI를 사용해 치료에 내성이 있는 외상후스트레스(PTSD) 치료를 돕기 위해 그들의 가장 큰 포괄적 여행 보고서의 데이터세트를 기반으로 새로운 ‘마음의 상태’를 만들고 있다. (사이키델릭은 현실에 대한 사람의 인식을 바꾸고, 존재하지 않거나 왜곡된 것을 보거나 듣도록 하는 약물로서 합성적으로 제조되거나 식물에서 유래한다.) 생식력, 생식 및 장수에 있어 AI는 인간의 수명과 우리가 아이를 갖는 방법의 패러다임을 완전히 바꿀 것이다. 기후에서 기업들은 바이브런트 플래닛(Vibrant Planet)이 전 세계적으로 일어나고 있는 재앙적 산불을 막기 위해 인공지능/기계학습(AI/ML)을 사용하듯이 AI를 사용해 우리의 생태계를 보호하고 있다. AI는 또한 사람들의 마음에서 무슨 일이 일어나고 있는지 읽을 수 있고 그들의 생각 이미지를 투사할 수 있다. 그것은 매우 흥미로우며, 나는 그것이 인간의 의식과 무의식에 대한 지식을 어떻게 풀어낼지 궁금하다”라고 말했다.

텍스트·이미지·오디오 융합한 멀티모드 AI 모델시대···LLM 스타트업 도전 직면

캐시 가오 사파이어 벤처스 파트너는 올해 AI에서는 서로 다른 데이터 모드들이 융합되면서 멀티모드 모델로 융합하며, 이에따라 대규모언어모델(LLM) 스타트업은 새로운 경쟁에 직면하게 될 것으로 봤다. 그는 “2024년에는 텍스트, 이미지, 오디오와 같은 데이터 모드(양식)들이 멀티모드 모델로 융합해 AI 기능을 재정의할 것이다. 이러한 AI 모델을 활용하는 스타트업은 더 나은 의사결정을 가능하게 하고 개인화를 포함한 사용자 경험을 향상시킬 것이다. 우리는 제조, 전자상거래 및 헬스케어와 같은 산업 전반에 걸쳐 새롭고 혁신적인 사용 사례를 볼 것이다. 인프라 측면에서 AI 워크로드는 더욱 까다로워질 것이며, 나는 멀티모드 데이터베이스를 중심으로 혁신을 이룰 것으로 기대한다. 모든 사용 사례가 멀티모드 AI 모델을 필요로 하는 것은 아니지만, 많은 부문에서 1세대 LLM 스타트업은 새로운 경쟁에 직면할 것이며, 계속 혁신하고 방어력을 구축해야 하는 압박은 심할 것이다”라고 말했다.

락 가그 베인 캐피털 벤처스 책임자도 “우리는 2024년에 멀티 모드 검색 및 멀티 모드 추론이 AI 제품의 중심이 되는 것을 볼 것이다. 오늘날 AI 제품은 대부분 텍스트다. 그러나 사용자들은 음성에서 비디오, 오디오, 코드 등 모든 모드에서 이를 충족하는 보다 표현력 있는 소프트웨어(SW)를 선호한다. 이러한 아키텍처를 규모에 맞게 작동시킬 수 있다면 훨씬 더 정확하고 인간적인 결과를 제공하는 SW를 잠금 해제해 당신의 음색과 음성으로 전화 답변을 도출해 주고 전화를 거는 것까지 할 수 있으며 이를 통해 다른 AI 및 인간 개체와의 협력을 통해 올바른 결과를 수렴하기 위한 회의에 덜 참석할 수 있다. 이를 뒷받침하기 위해 언스트럭처드(Unstructured)와 같은 ETL(Extract, Transform, and Load) 제공업체가 새로운 데이터 소스를 다양화함으로써 메타의 세그먼트 애니씽 아키텍처를 사용하는 더많은 스타트업들, 그리고 컨텍스추얼(Contextual)과 같은 스타트업들이 멀티 모드 검색을 위한 본격적 솔루션이 될 것으로 기대한다”고 말했다.

아미트 가그 타우 벤처스 관리파트너는 “우리는 AI가 특히 규모가 크고 러스트(rust) 산업 분야에서 더 많은 사용 사례로 꽃을 피우는 것을 계속 보고 있다. 의료 분야에서 우리는 컴퓨터 비전을 사용해 암을 감지하고, 기계학습을 사용해 더 나은 진단을 돕고, 문서 작업을 줄이기 위해 생성 AI를 사용할 수 있는 가능성에 대해 흥분하고 있다. 미국에서만 4조 3000억 달러(약 5586조 원)의 의료비를 지출하는데, 이는 경제협력개발기구(OECD) 국가들의 평균 국내총생산(GDP)의 거의 2배이며, 그것의 거의 3분의 1이 관리비에 불과하다는 것을 고려해 보라…그리고 채팅은 2023년의 주요 유행어였지만, 회사들은 2024년에는 채팅을 넘어 생각해야 한다. 입력, 훈련, 모델 생성 및 출력에 걸친 멀티모드 AI가 혁신의 핵심 영역이다”라고 말했다.

제스 레오 데시벨 벤처캐피털의 파트너는 “멀티 모드 모델은 AI 에이전트와의 흥미로운 상호작용을 만드는 것을 훨씬 쉽게 만들 것이고 AI 품질은 특정 사용 사례에서 인간이 컴퓨터와 인간의 차이를 식별하는 것을 거의 불가능하게 만들 것이다. 우리는 이미 캐릭터닷에이아이(Character.AI)와 인스타그램 같은 곳에서 이것을 볼 수 있고 이것이 훈련, 고객 지원 및 마케팅/판매와 같은 분야의 일터에서 확고히 자리잡을 것으로 기대한다. 당신은 당신이 아는 것보다 더 빨리 기계와 관계를 형성하게 될 것이다”라고 말했다.

오픈소스를 통한 AI 민주화···더많은 오픈소스 AI모델 출시

비벡 라마스와미 마드로나앤사브리나우 파트너는 “우리는 2024년에 더 많은 오픈 소스 모델이 출시될 것으로 예측하고 있으며, 특히 큰 기술 회사들이 주요 기여자 중 하나가 될 것으로 보고 있다. 이러한 예로는 테슬라, 우버 및 리프트(역사적으로 오픈 소스 프로젝트에 크게 기여한 두 회사), 심지어 스노우플레이크(Snowflake)와 같은 회사가 포함될 수 있다. 이러한 모델 중 일부가 회사로 분사해 대규모 자금 조달 행사를 받았다 해도 놀라지 않을 것이다”라고 말한다.

크리스 카우프먼 제너널 카탈리스트 파트너는 “나는 2024년 2분기까지 멀티모드가 LLM 제공업체들에게 사실상의 표준이 될 것이라고 본다. 역사적으로 독점 모델을 유지해 온 주요 모델 제작자는 AGI 벤치마킹에 대한 대화를 재설정하기 위해 새로운 벤치마크를 출시하는 동시에 선별된 IP를 오픈 소스화하기 시작할 것이다”라고 말했다.

지미 칸 안주 파트너스의 파트너는 “오픈 AI, 미스트랄, 구글 등 오픈소스 모델을 제공하는 업체들 간에 생성AI 가격 인하 경쟁이 치열하다. 대부분의 기존 하드웨어(HW) 인프라(토큰당 입출력 비용에서 증명됨)를 활용하면서 손실을 보고 있으며, 이를 물량공세로 메우기를 희망하고 있다. 생성 AI 기업들에게 필요한 것은 수익성과 확장성을 위한 경로를 찾는 것이다. 이러한 필요성을 바탕으로 VC 투자는 효율적인 모델을 개발하고 새로운 AI 컴퓨팅 HW를 활용하며, 산업별로 특화된 모델 미세 조정 및 컴플라이언스와 같은 부가가치 서비스를 제공하는 데 사용될 것이라고 믿는다”고 밝혔다.

GPU 부족···지속적 문제가 될까, 아니면 일시적 차질일까

슬레이터 스티치 베인 캐피털 벤처스 파트너는 “2024년은 실시간 확산 응용 분야의 해가 될 것이다. 2023년에는 원본 일관성 모델 논문과 잠재일관성모델(Latent Consistency Models· LCMs)과 같은 확산 모델 추론 속도에서 몇 가지 주요 이론적 개선이 있었다···2024년에는 더 많은 실시간 이미지, 오디오 및 비디오 생성 확산 응용 분야를 볼 수 있을 것이다”라고 말했다.

락 가그 베인 캐피털 벤처스 책임자는 “GPU 부족으로 인해 스타트업 생태계가 계속 황폐화하고 있어 새로운 기업들의 제품 출시를 어렵게 만들고 있다. 이 문제를 해결하는 두 가지 방법이 있다. 엔비디아의 AI칩 독점에서 벗어날 새로운 컴퓨팅 옵션이 등장하거나 컴퓨팅 리소스에 더 효율적인 새로운 모델/아키텍처가 등장하는 것이다. 나는 대규모 자금이 트랜스포머 기반의 LLM에 대한 빠르고 저렴하며 성능이 뛰어난 대안으로 확산 모델과 액체 신경망을 중심으로 구축된 플랫폼 외에도 카르테시아 AI(Cartesia AI)의 맘바(Mamba)와 같이 2차 시간이 아닌 선형시간으로 실행되는 새로운 모델 아키텍처에 투입되기를 기대한다”고 말했다.

크리스 카우프만 제너럴 카탈리스트 파트너는 “우선 GPU 부족이 반드시 모든 사람들이 생각하는 것처럼 심각하거나 확실한 것은 아니다. 더 큰 문제는 기존 인프라의 활용도가 부족하다는 것이며, 이는 지속적인 공급망 제약과 함께 2024년에도 지속될 것으로 생각한다. AI용 하위 SW를 고치는 것이 혼란 속의 GPU 부족과 훨씬 더 많은 실제 활용도 문제를 해결하는 열쇠가 될 것이다. 그 전까지 우리가 가진 유일한 단기 해결책은 단순히 더 많은 계산이다. 즉, 전 세계 엔비디아는 지속적인 재고 부족을 겪고 있는 반면 경쟁사(즉, AMD와 인텔 등)는 수요 측의 자포자기로 인해 각각 GPU 시장의 1~2%를 점유할 것으로 예상된다”고 전망했다.

제스 리오 데시벨 VC 파트너는 “나의 반대의견은 우리가 결국 GPU 부족을 겪지 않을 것이라는 점이다. 시장은 소수의 구매자와 공급자들에게 수렴될 것이다. 엔비디아와 다른 회사들은 예측된 수요를 충족시키기 위해 확장할 것이고, 마이크로소프트(MS), 구글, 아마존, 페이스북 및 많은 대형회사들은 여전히 대규모 구매자가 될 것이다. 우리들 중 나머지는 클라우드 공급자들로부터 그것들을 임대하겠지만, 임대할 수 있는 용량은 충분히 있을 것이다. 부자들은 더 부유해질 것이지만, ‘GPU 빈곤층’들의 삶의 질은 향상될 것이다”라고 봤다.

지미 칸 안주 파트너스 파트너는 “TSMC 회장에 따르면, ‘AI 칩 부족이 아니다. 그건 바로…우리의 COWOS(첨단 칩 패키징) 용량 문제이며, 고급 메모리와 패키징 용량은 증가할 것이다. 그러나 생산에서 장기적 AI 지속 가능성은 엔비디아의 H100 및 AMD MI300X와 같은 범용 GPU에 의존하지 않을 것이다. VC들의 투자는 훈련이 아닌 추론에 특화된 HW에 초점을 맞출 것이다. 근접메모리/인메모리 컴퓨팅을 활용하는 d-매트릭스(d-Matrix) 및 엔차지 AI(EnCharge AI)와 같은 혁신적 NPU는 비용 효율적이고 환경 친화적 솔루션으로 부상하고 있으며, 이는 로컬 AI PC 및 데이터 센터 내 구축에 적합하다”고 말했다.

애플과 구글은 잠자는 거인?

비벡 라마스와미 마드로나와 사브리나 우의 파트너는 “우리는 2024년레 애플이 자신들만의 GPT라는 큰 발표를 할 것으로 믿는다. 내부적으로 에이잭스 GPT로 알려진 애플 LLM에 대한 보고가 있었다. 이 모델은 애플 내부용으로 만들어졌지만, 2024년에 우리는 애플이 에이잭스 또는 관련 모델을 더 공개하거나 자사 앱(예: X코드, 애플 뮤직)과 기기(예: 맥, 비전 프로)에 걸쳐 생성 AI 기능을 통합하는 것을 볼 수 있게 될 것이다. 그리고 이것은 AI보다는 기계학습이었지만, 애플은 지난해 말에 ‘애플 실리콘을 위해 특별히 설계된 효율적인 기계 학습 프레임워크’인 MLX를 출시했다. 이는 소비자 기기 제조업체로서 애플의 중요한 역할을 고려할 때 기존 모델뿐만 아니라 미국이 규제에 접근하는 방법에 막대한 영향을 미칠 수 있다”고 말했다.

제소 리아오 데시벨 VC파트너는 “만약 2023년이 오픈 AI의 해이고 MS가 (이에 대해 떠들어 댈)공중파를 소유했다면, 2024년에 우리 모두는 구글에 대해 이야기할 것이다. 제미나이와 독보적인 데이터 및 컴퓨팅 자원에 대한 구글의 막대한 투자는 개발자들에게 모든 형태와 크기에서 GPT-4+ 역량을 제공함으로써 모든 기초 모델 제공자을 위한 경계선을 확장할 것이다. 아직 그들을 배제하지 말라”고 말한다.

AI, 엣지-투-클라우드로 장기적 전환 시동

크리스 카우프먼 제너럴 카탈리스트 파트너는 “2023년 한해 AI에 뛰어든 모든 사람들은 칩릿(chiplet)이 무엇인지 알고 2024년을 떠날 것이다. 무어의 법칙의 한계와 계속 씨름해 감에 따라 우리는 또한 칩릿과 같은 새로운 핵심 반도체 아키텍처뿐만 아니라 첨단 패키징 및 상호 연결과 같은 새로운 아키텍처 패러다임이 작동하는 것을 보게 될 것이다. (*칩릿은 프로세서를 구성하는 서브프로세싱 유닛, 즉 작은 구성단위다. 레고 블럭처럼 반도체 기판을 구성하는 기술이다. 이는 필요에 따라 칩을 고성능 파트와 저비용 파트로 나눠구성할 수 있게 해 준다.)

지미 칸 안주 파트너스 파트너는 “클라우드와 엣지 기기(스마트폰, 노트북, 차량, 사물인터넷(IoT) 기기등)를 모두 통합하는 ‘엣지 투 클라우드’ 또는 ‘하이브리드 AI’는 성능, 개인화, 개인 정보 보호 및 보안 측면에서 이점을 제공한다. 생성 AI 모델이 축소되고 기기 내 성능이 향상됨에 따라 이 접근 방식은 점점 더 실현 가능해지고 장기적으로 글로벌 기업 및 소비자 요구를 충족시키기 위해 AI를 확장하는 데 필수적인 요소가 될 것이다”라고 말했다.