글로벌 오픈소스 솔루션 전문기업 레드햇이 레드햇 오픈시프트(Red Hat OpenShift) 기반의 개방형 하이브리드 인공지능(AI) 및 머신러닝(ML) 플랫폼인 ‘레드햇 오픈시프트 AI(Red Hat OpenShift AI)’의 업데이트 내용을 발표했다.
레드햇에 따르면 오픈시프트 AI는 기업이 하이브리드 클라우드 전반에 걸쳐 AI 지원 애플리케이션을 대규모로 생성하고 제공할 수 있도록 돕는다. 이번 업데이트는 기본 하드웨어부터 주피터(Jupyter)나 파이토치(PyTorch)와 같이 플랫폼 구축에 사용되는 서비스 및 도구에 이르기까지 지능형 워크로드에 대한 고객의 선택권을 보장하고자 하는 레드햇의 AI 비전을 담았다.
레드햇 측은 “클라우드 환경 사용 여부에 관계없이 예측형 및 생성형 AI 모델을 모두 지원하는 보다 유연하고 확장 가능하며 적응력이 뛰어난 오픈소스 플랫폼”이라며 “고객에게 더욱 빠른 혁신 및 생산성 향상과 더불어 일상적인 비즈니스 운영에 AI를 적용할 수 있는 역량을 제공할 계획”이라고 설명했다.
레드햇의 AI 전략은 하이브리드 클라우드 전반에서 유연성을 지원하고, 고객 데이터로 사전 학습되거나 선별된 파운데이션 모델을 강화할 수 있는 기능 및 다양한 하드웨어 · 소프트웨어 가속기를 자유롭게 사용할 수 있는 기능을 제공한다.
새롭게 업데이트된 레드햇 오픈시프트 AI는 최신 AI/ML 혁신에 대한 액세스와 AI 중심의 광범위한 파트너 에코시스템 지원을 통해 이러한 요구 사항을 충족한다. 해당 플랫폼의 최신 버전인 레드햇 오픈시프트 AI 2.9는 아래와 같은 기능을 제공한다:
▲엣지에서의 모델 서빙: 엣지에서의 모델 서빙은 단일 노드 오픈시프트를 통해 AI 모델 배포를 원격으로 확장한다. 이는 외부와 연결이 끊겼거나(air-gapped) 간헐적(intermittent)인 네트워크 액세스 등 리소스의 제약이 있는 환경에 추론 기능을 제공한다. 이 기술 프리뷰는 조직에 코어부터 클라우드, 엣지에 이르기까지 확장 가능하고 일관된 운영 환경을 제공하며, 즉시 사용 가능한 통합 가시성을 포함한다.
▲향상된 모델 서빙: 여러 모델 서버를 사용해 예측형 및 생성형 AI를 모두 지원할 수 있게 한다. 지원되는 내용으로는 모든 유형의 모델에 대한 서빙을 오케스트레이션하는 쿠버네티스(Kubernetes) 커스텀 리소스 정의인 K서브(KServe), vLLM 및 텍스트 생성 추론 서버(TGIS), LLM용 서빙 엔진, 자연어 처리(NLP) 모델과 작업을 다루는 Caikit-nlp-tgis 런타임 등이 포함된다. 향상된 모델 서빙을 통해 사용자는 단일 플랫폼에서 여러 사용 사례를 위한 예측형 및 생성형 AI 실행이 가능해, 비용을 절감하고 운영을 간소화할 수 있다. 이는 즉시 사용할 수 있는 모델 서비스를 LLM에 제공하고 주변 사용자 워크플로우 또한 간소화한다.
▲레이(Ray)로 워크로드 분산: 더 빠르고 효율적인 데이터 처리와 모델 학습을 위하여, 여러 클러스터 노드를 사용하는 코드플레어(CodeFlare)와 큐브레이(KubeRay)를 통해 레이로 워크로드를 분산한다. 레이는 AI 워크로드 가속화를 위한 프레임워크이며, 큐브레이(KubeRay)는 쿠버네티스에서 이러한 워크로드 관리를 돕는다. 코드플레어는 레드햇 오픈시프트 AI의 분산 워크로드 기능의 핵심으로, 작업 오케스트레이션 및 모니터링 간소화에 도움이 되는 사용자 친화적인 프레임워크를 제공한다. 또한 중앙 큐잉 및 관리 기능으로 최적의 노드 활용이 가능하고 GPU와 같은 리소스를 적절한 사용자 및 워크로드에 할당할 수 있다.
▲모델 개발 개선: 프로젝트 작업 공간과 추가 워크벤치 이미지를 통해 모델 개발을 개선하여, 데이터 과학자가 다양한 사용 사례와 모델 유형에 대해 현재 기술 프리뷰로 제공되는 VS Code 및 RStudio, 향상된 CUDA를 포함한 IDE와 툴킷을 유연하게 사용할 수 있도록 한다.
▲모델 모니터링 시각화: 성능 및 운영 메트릭에 대한 모델 모니터링을 시각화하여 AI 모델의 성능에 대한 가시성을 개선한다.
▲새로운 가속기 프로필: 관리자가 모델 개발 및 모델 제공 워크플로우에 사용 가능한 다양한 유형의 하드웨어 가속기를 구성할 수 있도록 새로운 가속기 프로필이 추가됐다. 사용자는 이를 통해 특정 워크로드에 적합한 가속기 유형에 셀프서비스 방식으로 간단히 접근할 수 있다.
이어 레스햇 측은 “현재 IBM의 왓슨x.ai(watsonx.ai) 뿐만 아니라 AGESIC과 오텍 파이낸스(Ortec Finance) 등 다양한 산업 분야의 기업들이 더욱 큰 AI 혁신과 성장을 추진하기 위해 레드햇 오픈시프트 AI를 도입하고 있다”며 다양한 파트너들과 협업을 통해 에코시스템을 확장하고 있음을 강조했다.
이와 관련 아셰시 바다니(Ashesi Badani), 레드햇 최고 제품 책임자 겸 수석 부사장은 “엔터프라이즈 AI를 도입하는 것은 이제 '만약'의 문제가 아니라 '언제'의 문제로 기업은 생산성을 높이고 수익을 창출하며 시장에서 차별화될 수 있도록, 보다 안정적이고 일관되며 유연한 AI 플랫폼이 필요하다”며 “레드햇 오픈시프트 AI는 엔터프라이즈 AI를 향한 대규모 수요에 대한 해답이 된다”고 강조했다.
