브루스 윌리스 주연의 SF영화 ‘써로게이트(surrogate·대리인·2009)’에서는 ‘나’(브루스 윌리스 분)를 대신하는 아바타 로봇이 대신 사무실로 출근하고 사람들을 만나 떠든다. ‘나의 아바타’가 만나는 이들 또한 ‘그들’을 대신한 아바타 로봇들이다. 나는 집에서 아바타 로봇 제어시스템 속에 들어가 로봇과 연결상태에 있기만 하면 된다. 아바타 로봇은 나와 똑같은 모습인데 다른 이에게 나와 감쪽같이 똑같은 분위기와 느낌을 전한다. 이 아바타 로봇의 생각과 감각은 집에 있는 나와 그대로 연결돼 있다.

최근 이 SF 영화 수준까지는 아니지만 다른 곳에 있으면서 그 현장에서 이동하고 보고 듣고 접촉하는 감각을 내게 그대로 전하는 로봇이 등장했다. 로봇은 사용자가 가상으로 방문하는 장소에 미리 배치된다. 나 대신 집밖 어느 곳으로 보내진 로봇은 그곳을 둘러 보고, 그곳에서 만난 사람들과 내가 하는 대로 동작하고 말하고 표정을 짓는다.

영화속 가상의 존재로만 여겨졌던 아바타 로봇의 초기 버전이라 할 로봇이 최근 이탈리아 베니스 비엔날레 전시장에 등장했다. 이 로봇은 정밀성과 외형에서 써로게이트에 나오는 로봇 아바타에 크게 뒤지는데다 조작자가 가상으로 방문할 현장에 미리 배치돼 나와 연결된다. 하지만 미래에 원격 관광 정도는 조작자를 대신해 해 줄 수 있을 정도는 돼 보인다.

제노바에 있는 이탈리아공대(IIT)는 이처럼 조작자인 ‘나’를 대신해 원격지에 배치돼 그곳을 돌아다니며 ‘나’를 대신하는 아바타 로봇 시스템 시험 성과 논문을 아카이브에 게재했다. 유튜브 동영상으로도 소개했다. (*맨 아래 참조)

IIT 연구진은 이 시스템이 시각, 청각, 촉각 및 접촉 피드백을 받으면서 조작자의 운동(이동), 조작, 음성 및 얼굴 표정을 그대로 로봇 아바타로 전송한다는 것을 입증했다.

이 모든 기능을 갖춘 시스템을 두다리 달린 휴머노이드 로봇을 이용해 원격 관광용으로 테스트한 것은 처음이다. 즉, 이 로봇 아바타 조작자가 아바타가 있는 곳을 느끼고 체험할 수 있게 된 것이다.

IIT에서 개발된 휴머노이드 로봇인 아이컵3(iCub3), 그리고 (스티븐 스필버그 감독의 영화 ‘레디 플레이어 원(Ready Player One·2018)에서 본 VR슈트와 비교할 때) 다소 조악해 보이는 웨어러블 기기로 구성된 이 아바타 로봇 시스템에 대해 알아봤다.

베니스 비엔날레에 아이컵3 로봇을 대신 보내고 나는 집에서 실감나게 즐긴다

지난 수십 년 동안, 기술의 발전은 원격 관광과 로봇 시스템의 원격 조작 두 분야 모두에 새롭고 흥미로운 가능성을 열어주었다. 이를 통해 컴퓨터 과학자는 점점 더 정교한 시스템을 개발할 수 있게 됐고 인간은 이를 이용해 가상으로 현장감 있게 원격지를 방문할 수 있게 됐다.

이를 실현한 주인공은 IIT 연구진이다. 이들은 최근 멀리 떨어져 있는 인간 조작자가 가상으로 현장을 탐색하고, 이동할 때엔 마치 실제 물리적 현장에 있는 것처럼 움직임과 감각을 실시간으로 전하는 혁신적 아바타 기반 시스템을 도입했다.

IIT 연구팀은 베니스에서 열리는 베니스비엔날레 예술건축전시회에 이 로봇 아바타를 참여시켜 시험에 성공했다.

이 연구 프로젝트 책임자인 다니엘레 푸치는 “IIT에 있는 내 ‘인공 및 기계지능 연구실’에는 여러 개의 연구 축이 있는데, 그 중 하나가 원격존재(tele-existence)라고 부르는 것이다”라고 소개했다.

그는 “이 연구의 주된 목표는 휴머노이드 로봇을 통해 인간을 위한 물리적 아바타를 만드는 것이다. 로봇(휴머노이드)의 몸 덕분에 조작자는 멀리 떨어진 곳에서도 물리적으로 존재하며 효과적으로 행동할 수 있을 것이다”라고 설명했다.

푸치는 ‘원격존재’라는 용어는 인간이 다른 곳에 있는 것처럼 느끼도록 하는 동시에, 마치 그들이 이 멀리 떨어진 곳에 실제로 존재하는 것처럼 그들의 주변 환경과 물리적으로 상호작용할 수 있게 하는 것을 수반한다. 이는 일반적으로 가상현실(VR) 기술과 물리적 로봇을 조합해 이뤄진다”고 설명했다.

그의 팀은 지난 수년 간 원격존재 시스템 개발을 위해 노력해 왔다. 이들의 최근 연구 성과논문은 지난 2017년 연구에 기반하고 있다. 푸치는 “2018년 9월 아이컵 2.0을 이용한 예비 로봇 아바타 시스템을 선보였지만 키가 약 1m에 불과하고, 팔의 작업공간이 한정돼 있어 성인 인간을 위한 환경에서 효과적으로 역할을 할 수 없었다. 예를 들어 로봇은 테이블 위에 있는 물체에 도달하는 데 어려움을 겪었다”고 설명했다.

결국 연구팀은 2019년 더 고급 센서를 통합하고 작동 기능을 개선한 1.2m 키의 아이컵3를 개발하기 시작했고 이 로봇은 이전 버전보다 더 나은 동작을 하는 원격존재 시스템의 아바타로봇으로 재탄생했다.

아이컵3는 세가지 목적을 가지고 있다

푸치는 아이컵3가 세가지 박애주의 목적을 가진 로봇이라며 다음과 같이 말했다.

“첫째, 코로나19 팬데믹(세계적 대유행)은 의료와 물류 등 다양한 여러 분야에서 첨단 원격존재(텔레 프레즌스) 시스템이 매우 빠르게 필요하게 될 수 있다는 것을 우리에게 가르쳐 주었다.

둘째, 휴머노이드 로봇 아바타는 심각한 신체적 장애를 가진 사람들이 로봇 몸을 통해 실제 세계에서 일하고 임무를 완수하도록 허용할 수 있다. 이것은 재활과 보철 기술(의족·의수·의치 등)의 발전일 수 있다.

마지막으로 우리는 미래에 물리적 아바타 로봇이 전 세계에 분포돼 있고, 집에서 아바타에 접속해 헤드셋과 기타 몇 가지 착용 가능한 기술만으로 도쿄, 뉴욕 또는 뉴델리를 원격으로 방문할 수 있는 관광의 미래를 상상할 수 있다.”

아바타 로봇 시스템의 작동원리와 양대 구현 요소는?

이 시스템은 원격 조작자 기술과 아바타 로봇(아이컵3)이라는 두 가지 주요 구성요소로 이뤄진다.

사용자의 동작, 말, 표정 등은 아이컵3 로봇이 실행하며, 이 로봇은 사용자가 가상으로 방문하는 장소에 배치된다.

또한 사용자는 조작자 기술에 통합된 일련의 웨어러블 기기를 통해 원격 환경으로부터 시각, 청각, 촉각 및 접촉 관련 피드백을 지속적으로 받을 수 있다.

푸치는 “조작자 기술은 IIT에서 만든 기기와 시스템에 통합된 기성품으로 구성돼 있다”고 설명했다.

그는 아바타 로봇이 움직이는 원리에 대해 “우리 연구소의 스타트업 프로젝트인 아이필( iFeel) 맥락에서 개발된 기기에는 사람의 움직임을 추적해 촉각 피드백을 생성하기 위한 웨어러블 기술 세트가 포함돼 있다. 예를 들어 아이필 기술을 사용하면 조작자 팔의 움직임을 감시하고 아바타에 투영한다. 마찬가지로 터치감을 모방할 수 있다. 누군가가 아바타를 껴안으면 모터는 인간의 조작자에 대한 터치감을 모방한다”고 설명했다.

이 시스템 조작자용 하드웨어는 IIT의 스핀오프가 개발한 웨어러블 테크놀로지 외에 헤드셋, 촉각장갑, 트레드 밀 등 시판되는 일련의 제품이 통합돼 만들어졌다.

푸치 팀이 최근에 실시한 연구의 커다란 부분은 기성 제품과 아이필) 기기에서 수집한 데이터를 효율적으로 통합하고 아바타 로봇인 아이컵3로 전송되는 출력을 생성하는 알고리즘과 소프트웨어 아키텍처를 개발하는 것이었다.

푸치는 아바타 로봇 시스템의 두 번째 구성 요소인 아이컵3 휴머노이드 로봇에 대해서는 “아이컵3 로봇은 이전 버전보다 25cm 더 커졌기 때문에 인간 환경 내에서 상호 작용하기에 더 적합한 플랫폼이다. 이 로봇의 균형과 이동은 더 강력해졌고 인간의 움직임과 물리적 상호작용을 더 잘 모방할 수 있다”고 말했다.

아이컵3는 전작 아이컵2보다 무게도 20kg 가량 늘었다. 게다가 다리에 있는 모터가 이전버전 로봇들보다 더 강력해지면서 더 빠르고 효율적으로 움직일 수 있게 됐다.

푸치는 “아이큐브3 플랫폼은 더 이상 케이블 구동 조인트를 사용하지 않기에 작동 메커니즘도 다르다. 센서 측면에서는 최신 세대의 심도 카메라와 힘 감지 기능을 갖추고 있으며 더 큰 로봇 하중도 견뎌낸다. 마지막으로 아이컵3는 더 큰 용량의 배터리를 가지고 있으며 단단하게 부착된 배낭에 포함되지 않고 몸통 안에 위치한다”고 설명했다.

연구진은 자신들의 아바타 시스템을 평가하고 그 가능성을 입증하기 위해 베니스 비엔날레의 제17회 국제건축전시회 이탈리아관에 원격 방문하는 방식을 택했다. 표준 광섬유 통신을 연결해 제노바 IIT 캠퍼스에 있는 사용자가 베니스에서 열리는 전시회(에 있는 로봇아바타)를 실시간으로 걸어 다니도록 했다.

푸치는 “우리가 아는 한 아바타 시스템이 시각, 청각, 촉각 및 접촉 피드백을 받으면서 조작자의 이동, 조작, 음성 및 얼굴 표정을 다리가 달린 휴머노이드 아바타에게 전달하는 것은 이번이 처음이다. 베니스에서 원격 관광을 허용하는 시스템을 사용하는 것 또한 우리에게 독특하다”고 말했다.

미래에는 아바타 시스템이 사용자들로 하여금 가상으로 전 세계의 다양한 도시나 미술 전시회를 여행할 수 있게 해 줄 것이다.

IIT연구팀은 총상금 1000만 달러(약 120억 원)인 로봇 아바타 제작 팀 대회인 ANA 아바타 엑스프라이즈에도 참여해 4강에 진출했다. 푸치와 그의 동료들은 현재 이 대회의 마지막 관문을 통과하기 위해 플랫폼을 더욱 개선하기 위해 노력하고 있다.

“아바타 로봇을 메타버스로 연결하는 게 목표”

아이큐브 연구팀의 목표는 이번 원격 아바타 로봇 조작 시험 성공과 ANA엑스프라이즈 우승이며, 이어 또다른 세계를 바라보고 있다. 요즘 핫한 ‘메타버스’로의 진출이다.

푸치는 “미래 작업에 대한 또 다른 계획은 이른 바 ‘메타버스’와 관련이 있다”며 “우리가 개발한 기술과 알고리즘의 대부분은 메타버스에 있는 디지털 아바타 제어나 정보 수신에 도움이 된다고 생각하고 있다. 따라서 우리는 투자자들이 이 여정에 있어 우리를 지지해 주기를 바라면서, 우리의 이번 시험 결과를 이 새로운 매력적인 방향으로 어떻게 적용할 것인지에 대해서도 조사할 계획이다”라고 밝혔다.

이 시스템이 계속 발전해 간다면 우리는 조만간 인간의 오감을 더 정확하게 반영하는 웨어러블 슈트를 입고 경험하는 아바타 로봇의 세계, 더 나아가 마치 영화에서처럼 이 로봇시스템과 메타버스가 연결되는 세상에 살게 될 수도 있다.