인공지능(AI)에 의해 구동되는 ‘챗GPT’같은 혁신적 채팅 AI 서비스 모델이 최근 IT업계는 물론 전세계 기업과 사용자들을 강타하고 있다. 챗GPT는 그 뛰어난 성과로 인터넷과 스마트폰에 이어 ‘AI혁명’ 시대를 예고하고 있다. 이에 자극받은 마이크로소프트(MS)와 구글 같은 회사는 이같은 AI 기능을 검색엔진에 통합하기 위한 기술 및 투자 경쟁을 벌이고 있다. 특히 두 회사의 경우 이 시장을 빼앗느냐 유지하느냐가 기업 핵심사업의 흥망과 직접 연결된 문제가 된다. 지난해 말부터 최근까지 이어지고 있는 ‘생성 AI’ 열풍은 멀리는 1990년대 인터넷, 가까이는 지난 2007년 애플의 아이폰 등장 이후 십수년 만에 보는 기술 혁신이다. 전 산업계가 AI기술 혁명에 열광하고 있지만 IT업계에서 가장 큰 힘을 받는 회사로 엔비디아를 빼놓을 수 없다. 엔비디아는 AI 개발에 필수적인 개당 1만달러(약 1300만원)나 되는 그래픽칩(GPU)은 물론 소프트웨어(SW)와 알고리즘 기술을 가진 AI혁명의 가장 중요한 동력 공급처로 떠올랐다. 게다가 AI용 컴퓨팅 파워가 필요한 회사들을 대상으로 한 AIaaS(AI as a Service)까지 제공하기 시작했다. AI 시대의 동력이 왜 GPU 기술회사인 엔비디아에서 나오게 됐는지, 이 회사가 어떻게 AI 생태계를 좌지우지하게 됐는지, 그리고 이 ‘AI시대의 총아’의 향배를 3회에 걸쳐 점검해 본다. CNBC, 벤처비트, IE, 넥스트 플랫폼을 참고했다.

①게임 GPU 기술로 AI시대 총아가 되다

②‘GPU+범용 연산기술’, AI 생태계 지배

③아이폰 이후 첫 변곡점···‘진격의 엔비디아’ 향배

엔비디아, AI 총알 열차를 타다

엔비디아는 최고의 AI SW를 내놓기 위해 경쟁에 들어간 기업들에 개당 1만달러(약 1300만원)나 되는 그래픽칩(GPU)을 판매하는데, AI개발 회사들은 이런 칩 수백, 수천개 용량의 컴퓨팅(연산)능력을 필요로 한다. 엔비디아는 이 칩 가격조차도 CPU에 비해 엄청난 컴퓨팅(연산) 능력을 제공한다는 점에서 비싸지 않다고 말한다. 투자자들은 한창 달아오른 챗GPT를 비롯한 AI산업의 장래를 장밋빛으로 보면서 이 회사 기술과 주식에 열광한다.

젠슨 황 엔비디아 창업자이자 최고경영자(CEO)는 지난달 22일 분기 실적 발표 자료에서 “AI는 모든 산업에 광범위하게 적용될 수 있도록 준비되면서 변곡점에 있다. 스타트업에서 주요 기업에 이르기까지 ‘생성 AI’의 다양성과 기능에 대한 관심이 가속화되고 있는 것을 보고 있다”고 말했다. (‘생성 AI’는 단순히 콘텐츠의 패턴을 학습해 추론한 결과로 새 콘텐츠를 만들어내는 것을 넘어 콘텐츠의 생성자와 만들어진 콘텐츠를 평가하는 판별자가 끊임없이 서로 대립하고 경쟁하며 새로운 콘텐츠를 생성해 내는 기술이다.)

엔비디아는 지난달 22일(현지시각) 발표한 4분기 실적 집계에서 전체 매출이 21% 감소했지만 이튿날 투자자들은 뜨거운 AI 열풍 속에 주가를 약 14% 끌어올렸다. 주로 데이터 센터로 보고된 이 회사의 AI 칩 사업이 분기 동안 11% 증가한 36억 달러 이상의 매출을 기록하며 지속적인 성장을 보여주었기 때문이다.

엔비디아 주가는 올들어 지금까지 65% 상승해 S&P 500과 다른 반도체 주가를 모두 앞질렀다.

젠슨 황 엔비디아 최고경영자(CEO)는 실적 발표 다음날 분석가들과의 통화에서 AI에 대한 이야기를 멈추지 않음으로써 최근 AI 붐이 이 회사 전략의 중심에 있음을 시사했다.

젠슨 황은 “우리가 구축한 AI 인프라 주변의 활동과 호퍼(Hopper)GPU와 암페어(Amper)GPU를 사용해 대형 언어 AI 모델에 영향을 미치는 추론 주변의 활동은 지난 60일 동안 최고치를 기록했다. 올해 접어들면서 우리의 견해가 무엇이든 간에 지난 60, 90일의 결과로 상당히 극적으로 변화했다는 것은 의심의 여지가 없다”고 말했다.

AI 개발엔 1300만원짜리 엔비디아 GPU가 수백~수천개

암페어(Ampere)는 엔비디아 A100 칩의 코드명이다. 호퍼(Hopper)는 최근 출하를 시작한 H100을 포함한 더 향상된 신세대 GPU의 코드명이다.

엔비디아는 자사의 다양한 솔루션이 언어 모델링, 추천 시스템, 이미지 분할, 번역, 객체 감지, 자동 음성 인식, 텍스트-음성 변환 및 고성능 컴퓨팅과 같은 애플리케이션에 이상적이라고 말한다.

이 회사는 자사의 1만달러(약 1300만원) 짜리 A100 칩이 이전 세대보다 최대 20배 높은 성능을 제공하며, 변화하는 수요에 동적으로 적응하기 위해 7개의 GPU 인스턴스로 분할될 수 있다고 주장한다. 고급 A100 버전은 40GB 및 80GB 메모리 버전으로 제공된다. 엔비디아는 A100 80GB가 “가장 큰 모델과 데이터 세트를 실행하기 위해 초당 2테라바이트(TB/s, 1테라=1조)가 넘는 속도로 세계에서 가장 빠른 메모리 대역폭을 제공한다”고 말하고 있다.

엔비디아는 자사의 다양한 컴퓨팅 솔루션은 “현대 하이브리드 클라우드에서 AI 워크로드의 신속한 배치, 관리 및 확장을 보장한다”고 말한다.

현재 A100을 사용하는 일부 슈퍼컴 목록을 포함해 AI 산업을 다루는 뉴스레터와 보고서를 발행하는 투자자인 네이선 베나이치는 “현재 A100은 AI 전문가들의 ‘부지런한 일꾼’이 되고 있다”고 말했다.

AI 훈련에는 엄청난 컴퓨팅 용량이 든다

이미 알려졌다시피 인간이 창조한 것처럼 텍스트를 작성하거나 그림을 그릴 수 있는 AI SW는 IT 산업에 골드러시를 일으켰다. 대표적으로 MS와 구글과 같은 회사들은 오픈AI와 같은 수십억 달러 규모의 경쟁자로 등장해 검색 엔진에 최첨단 AI를 통합하기 위해 싸우고 있다. 오픈AI와 스테이블 디퓨전도 서로 경쟁하면서 그들의 AI SW를 대중에게 공개하면서 다양한 언어 능력과 예술력 능력을 갖춘 AI의 놀라운 실력을 과시한다.

그런데 챗GPT, 빙 AI, 또는 스테이블 디퓨전 같은 AI의 실력은 거저 얻어진 것이 아니다. 그런 실력을 갖추도록 하기 위해 엄청난 학습(기계학습)량이 필요하다. 여기에 이상적인 도구로 등장하는 것이 엔비디아의 A100같은 GPU다. 이 칩은 신경망 모델을 훈련하고 사용하는 데 중요한 많은 간단한 계산을 동시에 수행할 수 있다.

GPU는 처음에는 컴퓨터 게임에서 정교한 3D 그래픽을 렌더링하는 데 사용됐지만 요즘 나오는 엔비디아 최신 A100 같은 칩은 기계학습(ML) 작업을 대상으로 구성돼 있으며, 게임 PC 내부가 아닌 데이터 센터 내에서 실행된다.

챗봇과 이미지 생성기와 같은 AI SW를 개발하는 대기업이나 스타트업은 수백 또는 수천 개의 엔비디아 칩을 필요로 하며, 이를 자체적으로 구입하거나 클라우드 제공업체에서 컴퓨터에 안전하게 액세스할 수 있도록 해야 한다.

대형 언어 모델과 같은 AI 모델을 훈련시키려면 수백 개의 GPU가 필요하다. 훈련량 자체가 엄청나기 때문이다. 칩은 패턴을 인식하기 위해 테라바이트(1테라=1조)의 방대한 데이터를 빠르게 자동분석할 수 있을 정도로 강력해야 한다. 그 후 A100과 같은 GPU가 ‘추론’을 위해, 또는 텍스트를 생성하고, 예측을 하거나, 사진 안의 물체를 식별하기 위한 모델을 사용하는 데에도 필요하다.

이는 AI 기업들이 A100같은 강력한 칩에 많이 접근해야 한다는 의미다. 이 AI사업 공간에 있는 일부 기업가들은 심지어 자신들이 접근할 수 있는 A100의 수를 진보의 신호로 본다.

스터빌리티 AI만도 1300만원짜리 A100 칩 5400여개 사용

스타빌리티 AI는 지난해 가을 주목을 받았던 이미지 생성기인 ‘스테이블 디퓨전’ 개발에 도움을 준 회사로서 회사 평가액이 10억 달러(약 1조3000억 원)가 넘는 것으로 알려진다.

에마드 모스타크 스터빌리티 AI 최고경영자(CEO)는 지난 1월 트위터에 “1년 전에는 32대의 A100이 있었다. 꿈을 크게 꾸고 더많은 GPU를 쌓아보세요...”라고 썼다.

가장 많은 A100 GPU 컬렉션 보유 회사와 대학을 차트화하고 추적하는 ‘스테이트 오브 AI’가 발표한 한 보고서 추정치에 따르면 스터빌리티 AI는 5400개 이상의 A100 GPU에 액세스할 수 있다.

웹 페이지 서비스와 같이 때때로 마이크로(1마이크로=100만분의 1) 초 동안 엄청난 프로세싱파워를 사용하는 다른 종류의 SW와 비교할 때 기계학습 작업은 때때로 몇 시간 또는 며칠 동안 전체 컴퓨터의 처리 능력을 차지할 수도 있다. 이는 히트한 AI 제품을 가진 회사들이 종종 피크 기간을 처리하거나 모델을 개선하기 위해 더 많은 GPU를 구입해야 한다는 것을 의미한다.

그런데 이 GPU들은 결코 싸지 않다. 기존 서버에 슬롯으로 연결할 수 있는 카드의 단일 A100 외에도 많은 데이터 센터에서는 8개의 A100 GPU가 함께 작동하는 시스템을 사용한다.

엔비디아의 이 시스템은 ‘DGX A100’으로 불리며 칩과 함께 제공되는데 거의 20만 달러(약 2억6000만 원)에 판매된다.

예를 들어 뉴스트리트 리서치의 추정치에 따르면 오픈AI는 빙의 검색에 포함된 AI 기반 챗GPT 모델은 질문에 대한 응답을 1초 이내에 전달하기 위해 8개의 GPU가 필요할 수 있다. 이 속도라면 MS는 빙에 챗GPT 모델을 배치해 모든 이에게 서비스하는 데만 2만개 이상의 8개로 된 GPU 서버가 필요할 것이며, 이는 MS가 인프라 지출에만 40억 달러(약 5조 2000억원)를 들였을 수 있음을 시사한다.

안트완 츠카이반 뉴스트리트 리서치 기술분석가는 “MS에서 빙의 규모로 확장하고 싶다면 40억 달러에 이를 수 있다. 매일 80억 또는 90억 개의 쿼리를 제공하는 구글의 규모로 확장하려면 실제로 DGX에 800억 달러(약 104조 원)를 지출해야 한다”고 말했다. 그는 “우리가 계산해서 도달한 숫자는 엄청나다. 그러나 이는 단순히 사용자가 대규모 언어 모델을 사용할 때마다 대형 슈퍼컴이 필요하다는 사실을 반영한 것일 뿐이다”라고 덧붙였다.

스터빌리티 AI가 온라인에 올린 정보에 따르면 이 업체의 이미지 생성기인 스테이블 디퓨전의 최신 버전은 256개의 A100 GPU, 즉 각각 8개의 A100이 장착된 32개의 기계로 교육을 받았으며, 총 20만 시간의 컴퓨팅 시간이 소요됐다.

지난달 23일 엔비디아는 DGX 시스템 클라우드 액세스 서비스를 직접 제공할 것이라고 발표했는데 이는 AI 연구원들의 AI사업 참여 진입 비용을 줄일 것으로 보인다.

“CPU로 구축하면 10억달러, GPU로 구축해 1억달러”

그렇다면 왜 AI모델 교육에 엔비디아의 A100같은 GPU만이 그리 뛰어난 성능을 보여주는 걸까. CPU는 안되는 걸까.

왜 인텔의 CPU보다 엔비디아의 GPU가 AI 기계학습에 사용될까.

한마디로 기계학습에 있어서는 심지어 매우 기본적인 GPU조차도 CPU를 능가하기 때문이다.

CPU는 순차적인 작업을 수행하는 반면 GPU는 동시에 여러 작업을 수행하는 병렬 컴퓨팅으로 강력한 성능을 발휘한다. 이를 통해 훈련 프로세스를 처리할 수 있으며 이는 기계학습 활동 속도를 크게 높일 수 있다. 효율성이나 전력 손실 없이 더 적은 리소스를 소비하는 GPU로 많은 코어를 구축할 수 있다.

GPU는 CPU로부터 이미지 기하학, 색상, 질감 등의 그래픽 정보를 받아 실행해 화면에 이미지를 그린다. 화면에 최종 이미지를 생성하기 위한 지시를 받는 이 전체 프로세스를 렌더링이라고 부른다. 예를 들어 비디오 그래픽은 다각형 좌표를 비트맵으로 변환한 다음 화면에 표시되는 신호로 변환해 만들어진다. 이 변환 능력은 GPU를 복잡한 계산을 필요로 하는 기계 학습, AI 및 기타 딥 러닝 작업을 유용하게 만드는 GPU를 필요로 하게 만든다.

게다가 엔비디아의 딥 러닝 GPU는 설정이 거의, 또는 전혀 없는 텐서플로 및 파이토치와 같은 최신 기계 학습 프레임워크를 지원하면서 단일 칩에서 고성능 컴퓨팅 성능을 제공한다.

그런데 이 AI훈련용으로 필요한 GPU의 총 비용은 만만치 않다.

모스타크 스터빌리티 AI CEO는 트위터에서 “AI 모델을 훈련하는 데만 60만 달러(약 7억8000만원)가 든다”고 밝히며 이 가격이 경쟁사에 비해 비정상적으로 저렴하다고 시사했다. 여기에는 ‘추론’이나 모델 배치 비용을 계산되지 않았다.

반면 젠슨 황 엔비디아 CEO는 CNBC의 케이티 타라소브와의 인터뷰에서 자사 제품은 실제로 이러한 종류의 AI모델에 필요한 컴퓨팅 양에 비해 저렴하다고 말했다.

그는 “CPU로 구축했다면 10억 달러(약 1조300억 원)가 들었을 데이터 센터를 1억 달러(약 1300억원) 규모로 축소해 구축했다”며 “이제 클라우드에 1억달러를 들여 100개 기업이 공유하는 것은 거의 아무것도 아니다”라고 말한다. 그는 엔비디아의 GPU는 스타트업들이 전통적인 컴퓨터 프로세서를 사용하는 것보다 훨씬 저렴한 비용으로 모델을 교육할 수 있게 해준다고 말했다. 그는 “이제 GPT와 같은 대형 언어 모델 같은 것을 1000만~2000만 달러(약 130억~260억 원) 정도면 만들 수 있다”며 “그것은 정말로 저렴하다”고 강조했다.

이처럼 AI 개발용으로 소요되는 GPU칩은 자연히 엔비디아의 매출 증가로 이어진다. 가히 AI시대의 ‘총알탄 기업’이랄 수 있다.

뉴스트리트 리서치에 따르면 엔비디아는 머신러닝에 활용할 수 있는 그래픽 프로세서 시장의 95%를 점유하고 있다. 서스퀘한나의 크리스토퍼 롤랜드는 AI가 엔비디아 매출 성장의 촉매제라고 말한다.