①AI 붐이 낳은 최고 슈퍼스타...세계 IT업계 요동

②AI업계 사활건 칩 확보전

③대안을 찾아 나선 기업들

지난달 23일 엔비디아 2분기 실적 발표로 전세계는 AI시대의 슈퍼스타 기업에 또다시 환호했다. 이 회사는 올초 시총 1조 달러를 달성하더니 증권가의 사상 최고 실적 전망을 훌쩍 뛰어넘는 놀라운 실적, 테슬라의 3배에 이르는 주가수익률 등으로 도다시 놀라움과 부러움의 대상이 되고 있다. AI시대의 기린아 엔비디아의 놀라운 실적, 한번 맛들이면 빠져나오기 힘들다는 성공적인 GPU 확산의 비결과 품귀 현상의 향배, 그리고 다양한 엔비디아칩 대체 노력 등을 세차례에 걸쳐 소개한다. 세계 반도체 역사상 몇 손가락 안에 들 만한 엔비디아 칩의 인기 비결은 AI시대의 흐름과 맞물린 점과 떼놓고 생각할 수 없다. 하지만 고객 편의 위주로 조성된 칩 사용자 생태계 형성 노력도 간과할 수 없다. 이는 추격자 구글, 인텔, AMD가 안간힘을 쓰면서도 쉽사리 따라잡지 못하는 이유로 꼽힌다. 현재 AI붐이 이어진다면 엔비디아 GPU 전성시대는 꽤 오래 갈 것 같다. CNBC, 더레지스터, 디코더, 비즈니스 인사이더, 뉴욕타임스, 비주얼 캐피털리스트 등을 참고했다.

“파운드리에 의존해 ‘완벽하게 안전하다’고 느꼈다”

젠슨황 엔비디아 CEO는 지난 6월 세계 1위 반도체 파운드리(위탁생산업체)인 TSMC의 모리스 창 회장과 저녁식사를 한 후 이같이 말했다.

누가 봐도 지나치게 과열돼 품귀현상을 보이고 구하려면 1년이나 기다려야 한다는 칩 구매 고객과 시장을 안정시키기 위한 제스처임을 알 수 있다. 물론 최근 파이낸셜 타임스(FT) 최근 엔비디아의 H100 생산량이 올해 55만대에서 내년에 150만대까지 늘어날 것이라고 전했지만 내년 얘기일 뿐이다.

현재 외신들은 엔비디아의 칩을 구매하고자 하는 기업들 입장에선 상황이 별로 좋지 않다고 일제히 전한다.

그리고 이 세계적인 엔비디아 GPU 품귀 파장은 우리나라라고 비껴가지 않았다.

지난달 18일 김재수 한국과학기술정보연구원(KISTI) 원장은 기자회견을 자청, 내년말까지 구축하기로 했던 국가 초고성능컴퓨터(슈퍼컴퓨터) 6호기가 엔비디아 GPU 가격 인상으로 두 차례 유찰을 겪으면서 실제 구축에 어려움을 겪고 있다고 털어놓았다. (슈퍼컴 6호기는 600페타플롭스(1페타플롭스·1PF=초당 1000조 회 연산 처리)급 성능을 갖추며 최근 AI 연구 등에 주로 활용되는 GPU를 주력칩으로 채운다는 목표아래 약 3000억원을 들여 도입을 추진중이다.) KISTI 관계자의 “엔비디아 A100의 경우 지금 주문하면 받는 데 52주가 걸린다고 한다”는 말이 엔비디아 칩 품귀 현상과 칩 수급 상황을 단적으로 보여준다.

이같은 수급 불균형 사태는 AI 모델 훈련에 최적화된 엔비디아 칩의 성능과 활용 생태계에 익숙해진 고객들을 더욱 안달나게 만들고 있다. 전세계 슈퍼컴퓨팅, AI 산업계는 기업 사활을 건 엔비디아 GPU 확보전에 나섰다. 미국 정부의 대 중국 첨단 기술 통제 조치와도 겹쳐버린 중국 AI 기업들의 어려움은 더욱 말할 나위도 없다.

생성AI 붐이 엔비디아 A100·H100 확보 경쟁 부채질···내년 물량까지 동났다

지난해 11월 오픈AI의 챗GPT 발표는 인공지능(AI)시대의 진입과 AI개발 붐의 신호탄이 됐다.

AI붐은 전례없는 차세대 챗GPT 개발 경쟁을 이끌었다. 이에 폭스콘과 같은 회사들이 AI 가속기 시장이 2027년까지 1500억 달러의 가치에 이를 것이라고 예측하고 있을 정도다.

AI 훈련을 위해 엔비디아의 고급 GPU를 사려는 대량 구매 고객군에는 특히 미국 마이크로소프트(MS), 구글, 오픈AI, 그리고 중국과 걸프 지역의 거대 기술 기업 등이 꼽힌다.

이들이 연산에 굶주린 생성AI 모델들을 교육하고 가동하기 위해 원하는 칩은 엔비디아의 H100이다. 이들은 엔비디아 제품에 대한 전례 없는 수요를 주도하고 있다. 불행히도 이 칩은 제한적으로 공급되고 있는데다 기본적으로 내년 물량까지 매진됐다.

게다가 정작 공급자인 엔비디아가 품귀를 부채질 하는 상황까지 나오고 있다.

엔비디아의 대대적 AI기업 협력 투자도 칩 수요 부채질

엔비디아는 또한 AI 모델을 가지고 일하는 회사들에 대한 연료(GPU) 공급에 초점을 맞추면서 벤처 세계의 거물급 스타트업 투자자로 변신했다. 이또한 엔비디아 GPU칩 수요를 늘리는 동시에 품귀를 부채질하는 요인이 되고 있다.

피치북 자료에 따르면 엔비디아는 올들어 지난달까지 일부 유명 AI 기업을 포함해 최소 12개 스타트업에 투자했다. 여기에는 AI 기반 비디오 편집기를 만드는 런웨이(Runway), 전직 딥마인드 창업자가 세운 인플렉션AI(Inflection AI), 엔비디아 GPU에 대한 액세스를 판매하는 클라우드 제공업체 코어위브가 포함된다.

엔비디아는 이러한 투자를 통해 점점 더 많은 고객을 확보할 수 있게 된다. 고객들은 엔비디아의 매출을 올릴 뿐만 아니라 GPU를 구매할 더 다양한 고객을 제공받게 될 것이다.

일부 스타트업은 엔비디아의 기술에 대한 천정부지 수준의 수요를 단적으로 보여주는 수치를 제시하고 있다. 예를들면 투자은행 파이퍼 샌들러의 쿠마르 분석가는 코어위브 경영진의 의견을 인용, 이 회사가 지난해 3000만 달러의 매출을 올렸지만 내년에는 20억 달러의 사업 계약을 맺었다고 밝혔다. 쿠마르 분석가는 “이것은 생성 AI 유형 애플리케이션, 음성 검색 애플리케이션, 또는 일반적으로 말하면 GPU 애플리케이션에 대한 수요를 나타낸다”고 말했다.

미국VC들, 칩 사서 투자기업에 나눠주는 현상까지

대형 IT회사들은 회사 규모, 막대한 자금 및 시장 지위 때문에 GPU를 더 쉽게 손에 넣을 수 있다. 이는 일반적으로 관계나 지출 능력이 없는 스타트업과 연구원들을 당황하게 만들고 있다. 이들의 절박함은 분명하다.

이렇게 되자 이같은 부담을 해소하기 위한 독특한 노력들이 나타나고 있다.

스타트업 창업자와 투자자들은 소셜미디어(SNS), 블로그 게시물 및 컨퍼런스 패널에서 부족한 부분을 탐색하기 위한 고도의 기술적 팁을 공유하기 시작했다. 일부는 엔비디아의 대기자 명단을 정리하는 데 얼마나 걸릴 것으로 생각하는지 게임을 하고 있을 정도다.

지난 6월 비즈니스 인사이더는 냇 프리드먼 깃허브 전 CEO, 그리고 깃허브와 우버 등 성공한 벤처를 후원한 대니얼 그로스가 힘을 합쳐 자체 AI클라우드 서비스를 만들었다고 보도했다. 이 VC는 자사의 안드로메다 클러스터로 불리는 이 시스템에 2512개의 H100 GPU가 들어가며 10일 안에 650억개의 변수를 가진 AI모델을 훈련시킬 수 있다. 이는 가장큰 AI훈련용 클라우드 모델은 아니지만 상당한 규모다.

다만 한가지 문제는 이 두 벤처 캐피털리스트가 후원하는 기업만이 사용할 수 있다는 점이다. 그럼에도 이 모델은 칭찬받으며 또다른 확산 사례까지 낳고 있다.

이달초 뉴욕타임스(NYT)는 인덱스 벤처스(Index Ventures) 같은 VC가 자사의 커넥션을 사용해 칩을 구입한 다음 투자한 회사(포트폴리뉴오)에 제공하고 있다고 보도했다.

VC가 아닌 기업가들이 GPU 품귀에 따른 문제를 해소하려는 노력도 있다. 이 가운데는 스타트업과 연구 그룹을 하나로 모아 GPU을 대량으로 구입해 나누는 경우도 눈에 띈다.

NYT는 샌프란시스코에 사무실을 둔 창업자 에반 콘래드와 알렉스 가예프스키 두 명이 창업자와 연구원들에게 소용량으로 GPU에 액세스할 수 있도록 하는 프로젝트인 ‘샌프란시스코 컴퓨팅 그룹’ 시작 사례를 소개했다.

이 두 사람은 창업자와 연구원들에게 소용량으로 GPU에 액세스할 수 있도록 하기 위해 이 그룹을 창업해 컴퓨팅 용량 사용 부담 해소에 나섰다. AI 기업가와 연구원들이 GPU에 소용량으로 액세스할 수 있도록 하려는 것이다.

이들은 클라우드 회사, 장비 제조업체 및 브로커에게 수백 통의 이메일과 12통의 전화를 보낸 후, 지난달 엔비디아 H100 칩 중 512개를 확보하고 관련 업체에 임대하겠다고 발표했다.

콘래드는 “이 발표가 놀랍게도 입소문이 났고 설립자, 대학원생 및 기타 연구 기관으로부터 수백 건의 메시지를 받았다”고 말했다.

콘래드와 가예프스키는 현재 컴퓨터 칩을 담보로 하는 특수 부채로 2500만 달러(약 334억 원)를 조달할 계획이다. 이름을 밝히기를 거부한 그들의 자금 공급자는 약 한 달 안에 접촉하기로 약속했다. 이 두 사람은 스타트업들이 수년에 걸친 큰 약속을 하는 대신 실험에 필요한 컴퓨팅 능력만 구입해 비용을 절감하는 데 도움이 되기를 바란다고 말했다

지난 1년간 AI칩 확보에 어려움을 겪은 AI 스타트업 도큐가미의 장 파울리 CEO는 “이 시점에서 나는 GPU를 희토류 금속으로 생각한다”고 말했다.

NYT는 “올해 IT 회사들은 돈, 엔지니어링 인재, 광고, 심지어 이익보다도 GPU를 더 절실히 필요로 하고 있다”고 쓰고 있다.

중국기업들, 성능 낮춘 GPU라도 없어서 못사

미국정부가 첨단 H100A100 수출을 금지하자 AI연구용 칩 부족에 시달릴 것을 우려한 중국의 행보도 가빠지고 있다. 하지만 결과는 알 수 없다.

얼마 전 외신은 중국기업들이 엔비디아에 H800 등을 긴급 수입하겠다고 예약주문해 놓았다는 소식을 전했다.

최근에는 알리바바, 바이두, 바이트댄스, 텐센트가 약 10억 달러 상당의 엔비디아 A800 GPU 10만 대를 일괄 주문했다는 보도가 더해졌다. 첫 출시된 지 3년 째인 A100를 약화시킨 버전인 A800은 대중 수출시 미국산 AI 가속기 성능 제한을 피하기 위해 개발됐다.

파이낸셜타임스(FT)는 이 문제에 정통한 사람들을 인용, 이 중국 회사들이 내년에 40억 달러 상당의 GPU를 추가로 구입해 납품받기로 돼 있다고 덧붙였다.

하지만 현재로서는 중극기업이 어떤 GPU 카드를 얻으려 하는지 확실치 않다. 하지만 좀더 새롭게 만든 중국향 호퍼100(H100)인 H800이나 엔비디아의 에이다 러브레이스 세대의 GPU가 될 것으로 관측되고 있다.

바이두의 한 직원은 이 칩들이 없으면 웹대기업은 생성 AI의 생명선인 어떤 실질적인 대형 언어 모델(LLM)도 훈련시킬 수 없을 것이라고 말했다. 여기에는 오픈AI의 GPT-4, TII의 팰컨–40B, 메타의 라마 시리즈 등이 포함된다. 몇몇 중국 조직은 경쟁 서비스를 가동하기 위해 자체 LLM을 개발하는 과정에 있다.

지난해 시행된 미국의 수출 규제로 인해 해당 국가에 판매되는 AI 가속기의 입출력(IO) 대역폭이 초당 600GB 이하로 제한됐다. 이러한 제한은 네트워크 연결 시 가속기의 성능을 방해해 매개 변수가 많은 AI 워크로드에 대한 유용성을 제한하기 위한 것이었다.

이 규정에 따라 엔비디아, AMD 및 인텔은 중국에서 최신 세대의 GPU 및 가속기를 판매할 수 없게 됐다. 하지만 이후 몇 달 동안 GPU 제조업체들은 규정을 준수하기 위해 기존 GPU카드 개조작업을 해 왔다. 엔비디아는 그런 회사 가운데 처음으로 메모리를 절반으로 줄이고 인터커넥트 대역폭을 3분의 2로 줄인 앞서 언급한 A800을 개발해 지난해 11월 출시했다.

최근 인텔은 중국에서 판매할 중국향 가우디2 AI 가속기 버전을 발표했으며, AMD는 지난달 초 있었던 2분기 실적 보고회에서 미국 수출법을 준수하는 대중 수출용 GPU를 개발 중이라고 밝혔다.

중국으로선 미국에서 제조되거나 개발된 실리콘을 대체할 수 있는 완전히 자체 생산된 중국 칩은 여전히 찾기 어렵기에 이마저도 아쉬운 입장이다.

중국의 룽선은 자체 CPU 개발을 주도하고 있으며, 성능 면에서 인텔에 4년 정도 뒤지고 있는 것으로 평가되고 있다. 알리바바 클라우드는 128개의 CPU코어를 가진 서버급 이티안(Yitian) 710 프로세서를 내세우고 싶어하지만 이 코어들은 ARM의 라이선스를 받는 칩이다. GPU는 AI 훈련에서 그 역할로 많은 관심을 받지만 CPU는 여전히 기계언어 훈련뿐 아니라 추론의 역할을 수행한다.

미국정부가 미국 지재권이 들어간 주요 위탁 생산(파운드리)업체들(TSMC 등)에 대해서도 제약을 가하면서 중국의 GPU 개발도 차질을 빚고 있다.

TSMC에서 칩을 위탁생산키로 하고 데이터 센터용 GPU를 개발중인 중국 팹리스 업체 바이렌 테크놀로지(Biren Technology)도 그런 예다. 이 회사 역시 TSMC로부터 칩을 위탁생산받기 위해서는 미국 칩 제조업체와 동일하게 초당 600GB 상호 연결 제한을 준수토록 설계를 변경해야 했다.

엔비디아칩이 뭐길래...엔비디아가 설명하는 A100 대비 H100 성능은

엔비디아의 인공지능(AI) 훈련용 최신 H100 그래픽칩(GPU)은 수요가 많아 회사에 상당한 이익을 창출하고 있다. 이 AI 칩은 차세대 AI 모델을 구축하기 위해 경쟁하는 연구원들과 기술 회사들로부터 전례 없는 관심을 받고 있다.

H100의 결합된 기술 혁신은 대형 언어 모델(LLM)의 속도를 이전 세대(A100)보다 30배 이상 향상시켜 업계 최고의 대화형 AI를 제공할 수 있다.

최대 1750억 개의 매개 변수가 있는 LLM의 경우, NV링크 브리지가 포함된 PCIe 기반 H100 NVL은 트랜스포머 엔진, NV링크 및 188GB HBM3 메모리를 사용해 모든 데이터 센터에서 최적의 성능과 쉬운 확장을 제공해 LLM을 메인스트림으로 제공한다.

H100 NVL GPU가 장착된 서버는 NVIDIA DGX A100 시스템보다 GPT-175B(1750억개의 변수를 가진 GPT) 모델 성능을 최대 12배 향상시키는 동시에 전력 제한이 있는 데이터 센터 환경에서 대기 시간을 단축한다.

세계적으로 심각한 엔비디아 GPU 부족 사태 속에서 미국 의원들은 AI 가속기의 중국 수출에 대한 더 엄격한 제한을 요구하고 있으며, 성능 상한선을 더 낮춰야 한다는 의견까지 나오고 있기 때문이다. 바이든 행정부가 중국기업의 미국 칩에 대한 접근 억제는 물론 자금 지원까지 억제하기 위한 더 강력한 추가 조치를 모색하고 있다는 징후도 나오고 있다.

조 바이든 대통령은 지난달 9일 390억 달러의 미국 반도체 지원법 자금을 사용기업에게 10년간 중국 기업용 칩 개발을 금지하는 외에도 특정 기술을 개발하는 중국 기업에 대한 미국의 투자를 제한하는 행정 명령에 서명했다. 이 명령은 미국 투자자들이 군사 및 정보 수집 용도를 가진 중국 양자 컴퓨팅, 네트워킹 및 AI 기술 개발을 지원하지 못하도록 하는 내용으로 돼 있다.

전세계는 엔비디아 H100 물량이 소진된 내년 이후까지도 엔비디아의 고급 GPU 확보전을 치러야 할지 모른다. 이대로 엔비디아 칩 품귀에 손발 묶인 채 있을 수 밖에 없는 걸까.