[AI 요약] 올해 빅테크의 핵심 키워드는 인공지능으로 고객에게 제공되는 기업들이 AI 기술을 적용해야 하는 수준이다. 하지만 대부분의 AI 서비스는 빅데이터를 기반으로 하기 때문에 필요한 충분한 데이터가 있어야 풍부하고 원활한 서비스가 이뤄질 수 있다.

AI 분석을 위한 '데이터 준비' 작업과 AI 앱 성능 좌우하는 '스토리지'

2021년 새해가 시작됐다. 올해 빅테크의 핵심 키워드는 누가 뭐라고 해도 인공지능(AI)이다. 어떤 식으로든 온라인 서비스를 소비자와 고객에게 제공하는 기업이라면 AI 기술을 적용해야 하는 수준이다. 다양한 AI 기술과 서비스가 나오고 있는데, 좀 더 깊이 AI 서비스를 완성해 주는 기술 요소를 들여다 보고자 한다.

대부분의 AI 서비스는 빅데이터를 기반으로 한다. 서비스를 위해 필요한 충분한 데이터가 있어야 풍부하고 원활한 서비스가 이뤄진다. 또한 AI 애플리케이션 성능을 좌우하는 중요 요소로 스토리지와 같은 기본 인프라가 잘 갖춰져 있어야 한다. AI 서비스를 위한 여러 요소들 가운데, 이 2가지 요소에 대해 알아보자.

AI 분석을 위한 데이터 준비작업...어떻게 해야 할까

인공지능(AI), 그리고 AI를 활용한 데이터 분석은 이제 기업들이 반드시 갖춰야 할 기술 목록 중 가장 윗자리에 존재한다. AI의 중요성이 커지면 커질 수록, 그 뒷단에서 필요한 AI 시스템 완성을 위한 도구들이 있다.

바로 데이터 준비 도구다. 이러한 도구는 데이터 시각화, 통계, 분석, 머신러닝과 관련된 도구들이다.

과거에는 개발자가 직접 기업 내 IT부서의 도움을 받아서 데이터 분석을 했다. 개발자에 요구를 받은 IT부서는 데이터 세트를 ETL 작업을 통해 전달했는데, 데이터가 그리 많지 않았던 시절이였기에 이런 구식 데이터 분석 작업에 큰 불편함은 없었다.

그러나 빅데이터 시대가 돼버린 오늘날의 현실은 사뭇 달라졌다. AI 기술 적용을 위해 필요한 기업의 데이터 분석 작업을 뒷받침 하려면, 방대한 데이터의 양 탓에 전통적 방식으로는 작업 자체가 불가능해졌다.

이 때문에 최근에는 머신러닝 기반의 데이터 준비 작업 솔루션이 등장했을 정도다. 전통적 방식으로 데이터 분석을 위한 사전 준비작업을 하거나, 셀프서비스 방식으로 사용자가 직접 데이터 준비 작업을 했을 할 경우 분석 결과의 품질에 큰 영향을 끼치게 되기 때문이다.

이에 대해 유클릭 AI사업본부 김광정 상무는 "AI 적용을 통한 비즈니스 분석이 중요해 지고 있다"면서, "데이터 준비에 터무니 없이 많은 시간을 허비하고 있어 정작 개발 등 중요한 일에 쓸 시간이 줄어들고 있다"고 설명했다.

데이터 과학자나 데이터 분석가, 그리고 개발자가 데이터 준비 작업과 같은 단순업무에 시간을 낭비하면 정작 중요한 데이터 분석에 소홀해 질 수 있다. 또한 낮은 품질의 데이터 확보로 인한 프로젝트 실패로 이어질 수도 있다.

이 때문에 AI 프로젝트를 위한 데이터 수집에 있어서, 데이터베이스-빅데이터-API와 연계한 원천 데이터에서 데이터를 가져오고, 높은 수준의 최종 데이터 세트를 만들어 머신러닝과 데이터 분석에 활용할 수 있는 솔루션이 필요한 상황이다. 트라이팩타와 같은 솔루션이 대표적이다.

AI 애플리케이션 성능을 위한 스토리지 요구사항

완성도 높은 AI 서비스를 위해 필요한 또 한가지는 스토리지다. 강력한 GPU 클러스터를 갖추고 있다고 해도 데이터 저장장치인 스토리지가 이를 받쳐주지 못한다면 I/O 병목 현상으로 성능 저하가 발생한다.

AI 영역에 있어서는 전통적인 스토리지 계층화에 대한 막연한 믿음에서 벗어나야 한다고 김광정 유클릭 상무는 설명한다. 스토리지를 선택하는 데 성능-용량-비용 모두를 만족할 수 없는 상황이 발생하기에, 스토리지 계층화 접근법이 나왔다. 성능이 뛰어나면 비용이 올라가기에 어쩔 수 없이 어느 하나를 포기했던 부분을 보완하는 것이 계층화다.

스토리지 계층화는 성능이 중요시 되는 업무에는 '올플래시' 스토리지를, 중장기 보관에 필요한 데이터는 '테이프' 스토리지를, 일반적인 환경에서는 '디스크' 스토리지를 사용하는 등 계층을 나누는 방식이다.

그러나 이러한 스토리지 계층화는 AI 시대와 동떨어진 구습처럼 여겨지기 시작했다. AI 시대에는 데이터 증가 속도가 빠르고, 모든 데이터가 하나같이 다 중요해 졌다. 김 상무는 "스토리지 계층화는 최근까지도 기업 전산실에서 스토리지를 도입하는 기준으로 쓰여왔다. 그러나 데이터에 대한 요구사항과 기대수준이 높아지고 있기 때문에 변화가 일어나고 있다"고 말했다.

그렇기 떄문에 AI 시대에 맞는 스토리지 구성이 필요하다. 여기에도 AI 시대에 떠오르는 강자 엔비디아가 빠지지 않고 등장한다. 이를테면 엔비디아 A100 시스템을 기준으로 볼 때, DDR4를 활용하거나 엔비디아의 NVMe 스토리지, 혹은 외장 스토리지를 활용하는데, 성능과 비용 측면에서 NVMe 스토리지가 가성비가 높다고 김 상무는 귀뜸한다.

김 상무는 "AI 시대에 맞는 스토리지 운영 전략은 AI 프로젝트 현장의 필요와 맞아 떨어져야 한다"고 강조한다. 그는 "시행착오를 거쳐 최적의 스토리지 아키텍처를 구성하는 것은 어렵다. 이 때문에 엔비디아와 같은 선도기업이 제공하는 레퍼런스 아키텍처를 참고할 필요가 있다. 각 기업은 AI 워크로드에 맞는 스토리지 운영 전략을 수립하는 데 도움을 받을 수 있다"고 설명했다.