카카오브레인, 이미지 인식해 텍스트로 답하는 멀티모달 언어모델 오픈소스 ‘허니비’ 공개

카카오브레인은 자사가 개발한 멀티모달 언어모델 오픈소스 ‘허니비(Honeybee)’를 ‘깃허브(Github)’에 공개했다고 19일 밝혔다.

카카오브레인은 이미지와 대규모 언어모델을 연결할 수 있는 새로운 모듈을 제안하고자 높은 수준의 멀티모달 언어모델(MLLM, Multimodal Large Language Model) 오픈소스 ‘허니비’를 공개했다.

카카오브레인 측은 “현재 멀티모달 언어모델에 대한 연구는 공개된 모델의 수가 적고, 학습 방법 역시 자세히 공개되지 않아 개발이 어려운 상황”이라며 “이에 멀티모달 언어모델의 발전에 기여하고자 자체 개발한 ‘허니비’의 소스코드를 공개하기로 결정했다”고 설명했다.

카카오브레인이 이번에 공개한 MLLM은 이미지와 명령어(프롬프트)를 입력하면, 텍스트로 답변하는 모델로 텍스트로만 입⋅출력하는 대규모 언어모델(Large Language Model)에서 확장된 형태라고 할 수 있다.

이미지와 텍스트를 모두 입력할 수 있기에 이미지에 담긴 장면을 묘사하거나 이미지와 텍스트가 혼합된 콘텐츠에 관한 질문을 이해하고 답변할 수 있는 능력을 가지게 된 것이다. 예를 들어 ‘허니비’에 ‘농구 경기 중인 두 명의 선수’ 이미지와 함께 ‘왼쪽 선수는 몇 번 우승했나요?’라는 질문을 영어로 입력하면, ‘허니비’가 입력된 이미지 내용과 질문을 종합적으로 이해하고 답변을 생성해낸다.

카카오브레인은 “‘MME’, ‘MMBench’, ‘SEED-Bench’ 등의 벤치마크(성능 실험)에서 모델이 공개된 타사 MLLM 대비 최고 성능을 달성했다”며 “특히 지각 능력과 인지 능력을 평가하는 ‘MME’ 벤치마크에서는 2800점 만점 중 1977점을 받았다”고 강조했다.

이 외에도 관련 논문 ‘Honeybee: Locality-enhanced Projector for Multimodal LLM(허니비: 멀티모달 LLM을 위한 로컬리티 강화 프로젝터)’은 지난해 논문 공개 사이트 ‘아카이브(arXiv)’에 게재된 바 있다. 논문에는 “이미지 데이터를 처리해 딥러닝 모델이 더 효과적으로 학습하고 이해할 수 있도록 돕는 기술”이라며 “시각 프로젝터(Visual projector)가 사전 훈련된 비전 인코더와 대규모 언어 모델(LLM)을 연결하는 데 중요한 역할을 하며, 이를 통해 시각적 이해를 깊게 하면서 LLM의 능력을 활용할 수 있다”고 기술 돼 있다.

카카오브레인은 ‘허니비’의 MLLM 특성에 따라 이미지를 입력하고 텍스트로 질문하면 답변 생성 및 사용자와의 상호작용이 가능해 향후 효과적인 교육 및 학습 보조 도구로 사용될 것으로 전망하고 있다.

김일두 카카오브레인 각자 대표는 “허니비 모델의 추론을 가능하게 하는 코드도 깃허브에 공개했으며, ‘허니비’를 활용한 각종 서비스 확장을 고려 중”이라며 “더욱 발전된 AI 모델 확보를 위해 끊임없이 연구⋅개발할 것”이라고 전했다.

황정호 기자

jhh@tech42.co.kr
기자의 다른 기사보기
저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지

관련 기사

월드 네트워크 개발하는 TFH, 박상욱 한국 지사장 선임

월드 네트워크를 위한 툴을 개발하는 기술 기업 ‘툴스 포 휴머니티(Tools for Humanity, 이하 TFH)’는 박상욱(David Park) 한국 지사장을 선임했다고 31일...

경희대 서민철 교수 연구팀, 시야각 변해도 색 변화 적은 고효율 신축성 OLED 개발

경희대학교는 정보디스플레이학과 서민철 교수 연구팀이 시야각에 의한 색 변화가 적고, 효율이 높은 구조적 신축성을 갖는 유기 발광 다이오드(OLED) 개발에 성공했다고...

웨이브컴퍼니, 웨어러블 스트레인센서 '트랙실' 상용화 성공

웨어러블 기술 전문 기업 웨이브컴퍼니는 신축성 있는 소프트 센서인 '트랙실(TracSil, Tracking Silicone)’ 상용화에 성공했다고 31일 밝혔다. 웨이브컴퍼니에 따르면 ‘트랙실’은 원단에...

파스칼 달로즈 다쏘시스템 CEO “현실과 가상세계를 연결하는 버추얼 트윈 플랫폼으로 생성형 경제 주도할 것”

파스칼 달로즈(Pascal Daloz) 다쏘시스템 최고경영자(CEO)는 인사말과 함께 한국 경제와 30년가까운 세월 동안 긴밀하게 연계·협력해 온 다쏘시스템의 연혁을 언급하며 말문을 열었다. 이날 파스칼 CEO는 다쏘시스템의 주요 사업 부문인 제조, 생명과학과 헬스케어, 인프라와 도시 부문 소개와 함께 '생성형 경제(Generative Economy)'에 대해 설명하며 지속적인 성장에 대한 인사이트를 이야기했다.