인공지능(AI) 기반의 조그만한 OLED 마이크로 디스플레이가 사용자의 눈에 적응한다. 헤드셋 사용자는 디스플레이를 보는 눈을 위한 조정된 이미지를 자동으로 제공받고, 기기설정을 위해 어딘가에 손댈 필요도 없다. 이 디스플레이는 플라스틱 렌즈로 만들어져 기기 크기를 기존의 유리 사용 디스플레이보다 크게 줄일 수 있고, 눈 추적과 반사 색상 데이터 기반의 인공지능(AI) 기계학습으로 눈에 보이는 이미지를 자동 조절하도록 설계됐다.

미국의 마이크로 디스플레이 업체 코핀(KOPIN)이 헤드셋을 쓰고 가상현실/증강현실(VR/AR)을 즐기는 플레이어들이 겪는 사시(斜視)현상, 흐릿한 화면, 메스꺼움 유발 등을 덜 발생하게 하고 기기 설정상의 불편도 해결 해 줄 마이크로 디스플레이를 개발했다고 지난달 IEEE스펙트럼이 보도했다. 입력된 시각 데이터가 클라우드나 통신 연결 장치로 보내지는 대신 디스플레이에 통합·탑재된 AI 가속기에 의해 직접 처리되므로 인간의 시력이 요구하는 빠른 속도로 즉각 데이터를 처리한다. 이를 통해 아직 완전하지는 않지만 기존 헤드셋 사용시 발생하는 몇몇 부작용을 없애는 수준까지 왔다.

코핀은 이 기술 개발에 이어 지난 5일 벨기에 마이크레디(MICLEDI)와 증강현실(AR)용 풀컬러 마이크로 LED 디스플레이를 설계·개발·생산하기 위한 전략적 제휴를 맺었다.

IEEE스펙트럼과 마이크로엘이디의 최신보도와 코핀 홈페이지 포스팅을 바탕으로 VR/AR/MR 헤드셋의 무게를 크게 줄이고, AI칩을 탑재해 헤드셋 사용성을 획기적으로 높여주는 데 진일보한 이 첨단 기술에 대해 알아봤다.

오늘날 VR/AR 헤드셋의 대부분을 차지하게 만드는 것은 광학기기 디자인이다. 대다수 헤드셋은 스마트폰 크기의 디스플레이를 두 개로 나눠 이를 확대하기 위해 비교적 크고 두꺼운 프레넬 렌즈(볼록 렌즈처럼 빛을 모아주는 역할을 하면서도 두께는 줄인 렌즈)를 사용한다. 이는 렌즈와 디스플레이 사이에 큰 간격을 요구한다. 렌즈를 하우징한 후 최대로 줄인다 해도 무게가 400g을 넘어선다. 무게와 크기를 줄인 헤드셋(또는 안경)의 혁신성은 이 분야를 주도할 것으로 예상되는 애플의 ‘비전 프로’(다음달 2일 출시) 무게조차 453~680g 정도란 점을 볼 때 쉽게 이해할 수 있다. 경쟁사 헤드셋으로는 메타 퀘스트3 515g, 메타 퀘스트 프로 722g, HTC 바이브 XR 엘리트 625g 등이있다.

무게와 크기를 줄이려는 노력은 지난 9~12일 열린 미국 라스베이거스가전쇼(CES24)에 출품된 100g 전후의 혼합현실(MR) 안경들, 그리고 넷플릭스가 소개한 비행기 조종사용 헬멧 바이저 같은 형태의 VR 글래스에서 찾아 볼 수 있다.

美 코핀-MIT, 헤드셋 착용 플레이어 부작용 없앤 뉴럴 디스플레이

현대의 AR과 가상현실(VR) 헤드셋은 수천만 개의 픽셀 수를 달성했다. 풀HD급(1920×1020p)은 물론 4K급(3840×2160화소) 디스플레이까지 실현했지만 그것이 선명한 이미지 보장으로 연결되진 않는다. 실제로 종종 헤드셋 사용자들이 흐릿한 엉망진창인 영상 부분에 집중하기 위해 눈을 가늘게 뜨거나 때로 메스꺼움을 경험하기도 한다.

미국 마이크로 디스플레이 제조업체 코핀(KOPIN)은 매사추세츠공대(MIT)의 컴퓨터과학 및 AI 연구소와 손잡고 헤드셋 크기를 줄이고 시력 자동조절까지 가능한 이른바 ‘뉴럴 디스플레이’(Neural Display)로 그 해결책을 제시하고 있다. 이 디스플레이는 광학장치를 추가하지 않고도 즉각 헤드셋 사용자의 시력을 보상하기 위해 눈 추적과 기계학습을 결합한다.

마이클 머레이 코핀 최고경영자(CEO)는 “우리는 사용자가 그 기술을 사용하기 위해 스스로를 바꾸게 하지 않았고 대신 어떻게 사용자를 위해 기술을 바꿀 수 있는지 자문해 봤다. 그리고 돌아온 대답은 AI였다”고 말했다.

알아서 사용자 시력에 맞추는 디스플레이

코핀 최초의 뉴럴 디스플레이는 1.5평방인치 크기(한편 약 3cm)인 정사각형 마이크로 OLED다. 최대 밝기는 1만 칸델라다. 일반 촛불 하나가 대략 1 칸델라 정도의 빛을 낸다. 이러한 사양은 이 디스플레이를 소니의 1.3인치 4K 마이크로 OLED 같은 다른 선도적인 마이크로 OLED와 어깨를 나란히 하는 수준이다.

뉴럴 디스플레이의 구조와 기능은 다음과 같다.

빨간색, 파란색 및 녹색 서브 픽셀을 픽셀 이미저를 포함하는 네 번째 픽셀과 함께 배치하는 특이한 쿼드 픽셀 배열을 가진다. 픽셀 이미저(이미지 기록기)는 디스플레이 요소로 기능하지 않는다. 그것은 사용자의 눈에 반사되는 빛을 측정하는 다른 임무를 가지고 있다. 그것은 디지털 카메라와 개념이 비슷하지만 이미저들이 단색으로 작동하고 밝기를 측정하는 데 집중하기 때문에 더 간단히 실행된다. 이를 사용해 사용자들의 시선 방향, 화면에 대한 눈 위치 및 동공 확장을 포함한 눈에 대한 세부 사항을 추론하기에 충분해진다. AI모델은 이러한 측정 결과를 받아들여 디스플레이의 밝기와 색상대비를 조정함으로써 각 사용자의 시력의 변덕스러움을 보상하는 방법을 배우게 된다.

머레이 CEO는 밝기와 색상대비를 우리가 실시간으로 회전할 수 있는 두 개의 손잡이처럼 생각하라고 말한다. 이 때 픽셀 이미저는 계속해서 읽어들이고, 이는 계속해서 이미지를 조정하기 위해 기계학습 알고리즘에 입력된다.

기계학습용 데이터들은 클라우드나 통신 연결 장치로 보내지지 않고, 대신 디스플레이에 통합된 탑재된 AI 가속기에 의해 처리된다. 인간의 시력이 요구하는 속도로 데이터를 처리하기 위해서는 데이터를 디스플레이 자체에 국소적으로 유지하는 것이 필요하다. 머레이는 인간의 뇌가 500 마이크로(1마이크로=1000분의 1)초 안에 보고 있는 것을 해석할 수 있으며, 이후 헤드셋 광학기기로 발생하는 문제가 눈에 두드러지는데 이를 해결하기 위해 AI 가속기를 디스플레이에 탑재하면 대기 시간을 억제하고 AI 모델이 확실하게 새로운 데이터를 공급받을 수 있다고 말한다.

헤드셋 커스터마이징의 해체

코핀은 이것이 만병통치약은 아니며, 근시 또는 원시를 보상하는 능력은 불확실하다고 고백한다. 머레이 코핀 CEO는 “우리는 여전히 그 부분을 테스트하고 있다”고 말한다.

그럼에도 이 디스플레이는 AR/VR 헤드셋을 사용하는 동안 메스꺼움, 불편함, 방향감각 상실을 초래하는 다른 일반적인 문제들을 도울 수 있다.

머레이는 “내 경우를 예로 들면 내가 애플 비전 프로를 사용할 때의 문제는 내 오른쪽 눈이 내가 하는 모든 것에 비해 우세하다는 것이다. 만약 사용자들이 두 개의 완벽한 디스플레이를 내 눈 앞에 두면, 나는 메스꺼워지게 될 뿐이다. 왜냐하면 내 뇌는 내 왼쪽 눈에서 그 정도의 세부 사항을 처리할 수 없기 때문이다(왼쪽눈이 오른쪽눈에 비해 약시(弱視))”라고 설명했다. 이는 흔한 문제다. 거의 모든 사람들은 오른쪽눈(우안) 시력이 왼쪽보다 우세한 눈을 갖고 있으며, 우안 시력 지배가 좌안 시력 지배보다 더 자주 발생한다.

그리고 이미지 조정만이 비전 AR/VR 헤드셋이 수용하기 위해 고군분투하는 유일한 시력적 측면은 아니다.

헤드셋 엔지니어들은 또한 동공간 거리(각 동공 중심간의 거리), 눈 깊이 및 얼굴 모양의 차이를 처리해야 한다.

기존의 대다수 헤드셋은 헤드셋 모양과 크기를 바꾸는 물리적 방식의 조정을 통해 이 차이를 수정하려 노력해 왔다. 예를 들어 메타 퀘스트 3의 소유자는 손잡이를 돌려 동공간 거리를 53~75mm 정도 조정할 수 있다.(메타는 이것이 95%에 해당하는 사용자들에게 수용된다고 주장한다.) 그것은 또한 눈 깊이를 조정하는 ‘눈 안심’(eye-relief) 버튼을 가지고 있다.

이러한 기능들은 도움이 되지만 성가시며 제한된 범위의 조정을 지원한다.

그들은 또한 수동 조정에 의존하거나 사용자가 시스템 작동법을 어느 정도 알아야 하는 간단한 자동 조정을 사용한다. 헤드셋을 조정하는 방법을 이해하지 못하거나 그것이 가능한지 모르는 사람들은 불편함을 경험할 가능성이 있다. 뉴럴디스플레이의 자동화된 디스플레이 차원에서의 시력 맞춤 조정은 사용자 개입의 필요성을 제거하여 AR/VR 헤드셋을 접근성을 더욱도 용이하게 만들 수 있다. 머레이는 “궁극적으로 사용자의 시력을 교정하기 위해 전자 제품에 더 많은 렌즈를 넣는 것은 크기, 무게, 전력, 그리고 사용성과 같은 가전제품의 법칙을 깨뜨린다. 우리는 그 방정식을 새로이 쓰려고 노력하고 있다”고 밝혔다.

코핀, VR/AR헤드셋을 더 작고 또렷하게 만들기 위한 노력

앞서 지난 2021년 코핀은 업계 최초의 완전 플라스틱 팬케이크 렌즈를 공개한 바 있다. 이는 훨씬 더 컴팩트한 VR 헤드셋 디자인을 하기 위해 만들어진 것이다. 코핀사는 팬케이크 렌즈에 매우 적합한 OLED 마이크로 디스플레이를 생산한다.

팬케이크 렌즈는 다른 광학기기 설계에 비해 훨씬 얇은 폼 팩터에서 훨씬 뛰어난 확대된 화질을 제공할 수 있으며, 특히 50~100도 사이의 시야각(FOV)을 가진 제품에서 효율적이다.

이전의 팬케이크 렌즈는 플라스틱 소재의 복굴절을 피하기 위해 적어도 하나의 구면 유리 렌즈를 사용하면서 렌즈 시스템 무게와 비용을 더했다. 하지만 코핀의 전(全)구면 렌즈를 갖춘 플라스틱 팬케이크 렌즈는 무게와 두께를 상당히 줄이면서도 편광상태 교란을 극복하면서 이전의(구면 유리 렌즈를 사용하는) 팬케이크 렌즈보다 이미지 품질을 크게 향상시켰다.

당시 코핀 CEO는 “이러한 주요 혁신은 신흥 VR 시장에서 기본 이정표를 의미한다. 부피가 크고 무거운 헤드셋은 수년 동안 소비자의 빠른 채택을 가로막는 주요 장애물이었다”고 지적했다.

팬케이크 렌즈는 수십 년 동안 실험실과 군용 헤드마운트디스플레이(HMD)에 사용돼 왔다. 오늘날 디스플레이는 렌즈에 훨씬 가깝고 물리적으로 더 작아질 수 있어 소형 헤드셋의 유망한 경로로 여겨지고 있다.

코핀은 자사의 팬케이크 렌즈를 사용해 두 개의 플라스틱 성분을 사용하는 P95라고 불리는 렌즈로 고스트 문제를 거의 해결하면서 이미지 화질, 훨씬 작은 크기, 가벼운 무게, 저렴한 비용을 제공한다고 말하고 있다.

당시 코핀의 플라스틱 렌즈가 이런 이점을 갖고 있음에도 VR 헤드셋들이 P95로 된 광학 장치로 곧바로 이동하지 못한 이유는 팬케이크 렌즈의 광학효율이 매우 낮기 때문이었다. 대부분의 빛을 차단해 일반적인 디스플레이가 흐릿하게 보이고 지워진다. 이 기능은 매우 밝은 디스플레이에서 작동할 수 있지만, 배터리 구동 장치에 대한 장애물이 될 수 있는 전력요구량을 늘린다. 디스플레이가 작고 클로즈업돼 있어 넓은 시야를 제공하기가 어렵다.

코핀은 홈페이지에 플라스틱 팬 케이크 렌즈에 대해 “P95의 시야각은 95°다. 이는 오늘날 일반 소비자용 VR헤드셋보다 20% 정도 좁다. 코핀의 1.3인치 크기 플라스틱 팬케이크 렌즈(P95)는 2.6K x 2.6K(2560x2560 화소) 유기발광다이오드(OLED) 마이크로디스플레이에 최적화돼 있다. 중앙에는 우수한 모듈식 전송 기능으로 극도로 선명한 이미지가 유지된다. 이러한 선명도는 시야 가장자리까지 유지된다. 렌즈 세트당 16mm 두께와 15g에 불과한 새로운 팬케이크 렌즈는 오늘날의 VR 헤드셋에 사용되는 광학보다 극적으로 얇고 가벼우며 소비자들이 요구해 온 것을 정확하게 제공한다. 2.6K x 2.6K 고휘도 OLED 마이크로디스플레이와 결합된 P95 팬케이크 렌즈는 VR 기기에 탁월한 이미지 성능으로 250인치 디스플레이로 10피트(3m) 거리에서 보는 것과 동일한 가상 이미지를 제공한다”고 소개하고 있다.

코핀이 이번에 이 마이크로 디스플레이에 AI칩을 추가해 사용자의 시력에 대응하는 디스플레이를 만들어 낸 성과는 업계에 영향을 미쳐 다른 AR/VR헤드셋 성능 향상에 기여할 것으로 보인다.

코핀의 기기는 아직 완벽하지 않지만. 헤드셋에 손을 대 조정하지 않고도 기존 헤드셋의 부작용을 해소해 줄 기기가 나올 날이 멀지 않아 보인다.