“애플이 지난달 발표한 ‘플래시 내 LLM’(LLM in a flash)라는 기술은 AI 모델 추론 지연 시간을 최소화하면서 메모리 소비를 크게 줄인다···자연어 명령에 기초해 이미지를 수정할 수 있는 모델인 ‘MLLM-가이드 이미지 편집’(MGIE)은 이미지 전체 수정에서 특정 이미지 영역에 대한 편집, 또는 이미지 내 특정 물체에 대한 작업에 이르기까지 다양한 작업을 수행한다···애플이 매사추세츠공대(MIT)의 라이선스를 받아 개발해 내놓은 소프트웨어(SW) 개발 도구인 MLX는 익숙한 파이썬 라이브러리 인터페이스를 사용하므로 머신러닝 개발자들이 쉽게 사용할 수 있으며 M2나 M3와 같은 애플 프로세서에 최적화돼 있다···모든 징후는 애플이 기기 내 생성 AI의 주요 플레이어가 될 수 있는 플랫폼 전환의 기반을 만들고 있다는 것을 가리킨다···따라서 애플은 (클라우드 AI서비스를 하는 오픈AI의)GPT-4나 그 후속 제품에 직접적 경쟁자가 될 수 없을 수 있지만 휴대폰(스마트폰)이나 시계(스마트워치) 등에서 실행되는 차기 LLM에 파워를 공급하는 데 필요한 모든 것을 갖추고 있다.”

벤처비트는 지난 15일(현지시각) 애플이 ‘생성 AI’ 열풍이 부는 가운데 조용히 보낸 빅테크 중 하나지만 지난 수개월 간의 연구 성과를 보면 기기내 생성AI(온보드 AI)분야에서 ‘플랫폼 전환’의 기반을 만들고 있다며 위협적 기술의 잠재력을 높이 평가했다.

이는 최근 구글의 제미나이 AI 내장형(온디바이스 AI) 스마트폰인 갤럭시 S 24를 내놓은 삼성전자를 긴장시키기에 충분해 보인다. 올가을 나올 아이폰16에 이러한 기술들이 대거 적용될 가능성도 배제하기 어렵다. 애플의 생성형 AI 기술 성과를 바탕으로 한 무기는 크게 ▲기기내 추론 ▲오픈소스 모델 ▲SW 개발 도구 3가지로 나뉜다. 애플의 발표논문과 기술을 바탕으로 이 테크 거인이 확보한 온보드 생성형 AI 기술의 파괴력을 짚어 본다.

기기 내 추론(On-device Inference)

애플은 하이퍼 스케일러(대형 클라우드 서비스 제공업체)가 아니며 클라우드에서 실행되는 대규모 언어 모델(LLM)에 대한 액세스 판매를 기반으로 비즈니스 모델을 구축할 수 없다. 하지만 애플은 운영체제(iOS)부터 개발 도구, 그리고 모든 애플 기기에서 실행되는 프로세서에 이르기까지 스택 전체를 완벽하게 제어하면서 기술 업계에서 가장 강력한 수직 통합 기능을 보유하고 있다.

이것은 애플을 기기 내 추론을 위한 생성 모델을 최적화할 수 있는 독특한 위치에 놓는다. 최근 몇 달 동안 발표한 몇몇 연구 논문에 따르면 애플은 이 분야에서 큰 진전을 이루고 있다.

애플은 지난 1월 스마트폰이나 노트북 등 메모리에 제약이 있는 기기에서 LLM을 실행하는 기술을 담은 ‘플래시 내의 LLM’(LLM in a flash)이라는 제하의 논문을 발표했다. 이 기술은 모델의 일부를 D램에 로딩하고 나머지는 플래시 메모리에 저장한다. 특히 애플 실리콘에서 실행되는 경우 추론 지연 시간을 최소화하면서 메모리 소비를 크게 줄이는 방식으로 플래시 메모리와 DRAM 간의 모델 가중치를 동적으로 교환한다.

‘플래시 내 LLM’ 논문뿐만이 아니다. 애플은 이에 앞서 LLM의 아키텍처를 조정함으로써 ‘최소한의 성능 절충만을 통해 추론에 필요한 계산량을 최대 3배까지’ 줄일 수 있는지 보여주는 또다른 논문들을 발표했다

더 많은 개발자들이 소비자 기기에 적합한 소형 LLM으로 앱을 구축하려 하면서 기기 내 추론을 최적화하는 기술은 점점 더 중요해질 수 있다. 실험은 수백 분의 1초가 사용자 경험에 상당한 영향을 미칠 수 있음을 보여준다. 그리고 애플은 자사의 기기들이 속도와 품질 사이에서 최상의 균형을 제공할 수 있도록 하고 있다.

오픈 소스 모델

애플은 또한 지난 몇 달 동안 여러 오픈 소스 기반의 생성 AI 모델을 출시했다.

애플은 지난해 10월 조용히 페렛(Ferret)을 출시했는데 이 AI모델은 70억개의 매개 변수와 130억개 매개 변수를 가진 두 가지로 출시된 멀티 모드 LLM이다.

이 모델은 오픈 소스 LLM인 비쿠나(Vicuna)와 시각 언어 모델(VLM)인 LLaVA 위에 만들어졌다. 멀티 모드 모델은 통상적으로 입력된 이미지를 전체적으로 분석하지만 페렛은 이미지내 특정 영역에 기반해 응답을 생성할 수 있도록 하는 특별 메커니즘을 가지고 있다. 페렛은 특히 이미지 내의 작은 물체와 세부 사항을 다루는 데 능숙하다. 이는 잠재적으로 사용자가 아이폰 카메라나 비전 프로 헤드셋을 통해 보는 물체와 상호 작용할 수 있도록 하는 모델의 기초가 될 수 있다.

이어 최근 애플은 자연어 명령에 기초하여 이미지를 수정할 수 있는 모델인 ‘멀티모드 대규모언어모델(MLLM)-가이드 이미지 편집’(MGIE)을 발표했다. MGIE의 능력은 밝기와 대비를 바꾸는 것과 같은 이미지 전체의 수정에서부터 “하늘을 더 파랗게”와 같은 특정 이미지 영역에 대한 편집, 또는 이미지의 특정한 물체에 대한 작업에 이르기까지 다양하다. 이러한 특징들은 다음 세대의 iOS 기기(아이폰, 아이패드 등)에 들어갈 좋은 추가물이 될 수 있다.

애플은 오픈 소스 문화를 받아들이는 것으로는 잘 알려지지 않은 회사다. 페렛에 대한 라이선스에 대해 그것이 연구 목적으로만 사용될 수 있다고 말한다.

그러나 그 모델들의 출시는 애플의 미래 제품 출시를 위한 견인력을 만들고 개발자 커뮤니티가 애플의 제품용 앱을 만들도록 준비하는 것을 도울 수 있다. 일단 모델이 대중에게 공개되면 개발자들은 보통 그것을 그 창조자들이 생각지 못했던 방식으로 사용하는 방법을 찾아내고 그것을 개선하거나 기존의 제품들에 통합하는 방법에 대한 중요한 지침을 제공한다.

SW 개발 도구

애플은 지난해 12월 기계학습(ML) 모델 작업을 위한 라이브러리인 MLX를 출시했다.

MLX는 넘파이(NumPy), 파이토치(PyTorch)와 같이 익숙한 파이썬 라이브러리 인터페이스를 사용하므로 머신러닝 개발자들이 쉽게 사용할 수 있다.

하지만 MLX는 M2나 M3와 같은 애플 프로세서에 최적화돼 있다. MLX는 기계학습(ML) 모델들을 CPU나 GPU 메모리에서 실행하는 것이 아니라 여러 종류의 메모리로 분할되는 이른 바 ‘공유 메모리’ 개념을 사용한다.

또한 다른 기술들을 사용해 속도 페널티를 발생시키지 않고 AI 모델이 더 메모리에 효율적이 되게 만든다. 이는 애플이 메모리가 제한된 장치에서 대형 모델을 실행하기 위해 수행해 온 연구와 일치한다.

애플은 개발자들이 다른 인기 있는 라이브러리의 코드를 쉽게 포팅하고 이를 애플 기기에 맞게 최적화할 수 있도록 하는 방식으로 라이브러리를 만들었다. MLX는 또한 MIT 라이선스 하에 발표됐는데 이는 MLX가 상업적 목적으로 사용될 수 있다는 것을 의미한다

모든 징후는 애플이 기기 내 생성 AI의 주요 플레이어가 될 수 있는 플랫폼 전환의 기반을 만들고 있다는 것을 가리킨다.

애플은 애플의 프로세서에 대한 모델을 최적화하고 애플의 모델과 개발자 도구에 더 적합한 차세대 칩을 만들기 위해 협력할 수 있는 강력한 연구 및 엔지니어링 팀을 가지고 있다.

따라서 애플은 GPT-4나 그 후속 제품에 직접적인 경쟁자가 없을 수도 있지만 휴대폰(스마트폰)이나 시계(스마트워치) 등에서 실행되는 차기 LLM에 파워를 공급하는 데 필요한 모든 것을 갖추고 있다.