신용도 평가, 대출 심사, 직원 성과 관리, 암 진단에 이르기까지 이미 우리 삶의 상당히 많은 부분에 인공지능(AI)이 활용되고 있습니다. 그리고 점점 더 사람이 해오던 결정들은 AI에게로 넘겨질 것으로 예상됩니다.

하지만 우리는 정작 AI의 결정에 대해 정확히 이해하고 있을까요? 시스템이 복잡해질수록 AI의 의사결정 과정을 이해하는 건 어려워질 것입니다. 만약 AI가 내린 결정에 대해 의문을 제기한다면, 어떻게 그런 결정을 내리게 됐는지 과연 우리는 우리 스스로에게 설명할 수 있을까요?

이를 위해 '설명가능한 AI(XAI, eXplainable Artificial Intelligence)' 기술이 주목받고 있습니다. 최재식 카이스트 AI대학원 설명가능인공지능 연구센터장에게 XAI에 대해 자세히 물었습니다.

Q. 우선 '설명 가능한 AI'에 대해 설명해달라.

AI의 설명성은 사람의 사고 과정과 비슷하다. 예를 들면, 제가 방금 펜을 잡았다. 그런데 왜 잡았을까? 왜 왼손으로 잡았을까? 왜 오른손으로 잡지 않았을까? 펜을 잡는 행동을 이해하려면 질문과 설명이 필요하다. '설명 가능한 AI'도 AI가 산출해 낸 결과의 인과관계를 분석해 적절한 판단의 근거를 찾고, 해당 의사 결정의 프로세스와 결과를 사용자의 관점으로 설명해주는 기술이다.

물론 AI의 결정의 이유를 찾기 위해 1000억개 넘는 파라미터(매개변수)를 하나하나 설명할 수 없다. 그래서 AI의 결정을 설명하기 위해 편향을 찾는다. 정말 AI가 그렇게 결정했을까? AI의 편향을 설명할 수 있어야 한다.

Q. AI의 결정 과정이 편향이라는 것 찾는다는 걸 좀 더 설명해달라. 데이터에 따라 다르지 않나?

'클레버 한스'라는 효과가 있다. '한스'라는 이름의 말이 있는데, 이 말이 '1+1'을 보여주면 발굽을 두 번 두드리는 등 간단한 수학 문제를 풀 수 있다고 해서 유명해졌다. 그런데 실제로는 그게 아니었다. 조련사나 주위 환경을 바꾸면 문제를 풀지 못했다. '한스'는 수학 문제를 계산하는 게 아니라, 상황을 관찰하고 답을 낸 것이다. AI 역시 고양이 데이터를 통해 고양이라고 답을 냈지만, 실제로 우리가 아는 고양이를 보고 결정한 게 아닐 수 있는 것이다.

또 다른 예로, 알고리즘을 구축하고 평가하는데 유명한 '파스칼 VOC 데이터셋(PASCAL VOC dataset)'이 있다. 이 데이터셋으로 학습한 AI는 크루즈쉽을 배의 형태가 아니라, 하단의 파란 바다색깔에 따라 결정한다. 이미지로만 보면 색깔이 더 일관성(Consistancy) 있기 때문이다. 또 말을 찾으라고 하면, 작가의 크레딧이 나온다. 데이터셋의 모든 말 사진은 한 명의 작가가 촬영했고, 모든 이미지에는 크레딧이 적혀 있기 때문에 AI는 크레딧을 말이라고 생각했던 거다.

크루즈쉽은 크루즈쉽으로, 말은 말대로 봐야 하는데, 그 이미지들이 다른 편향을 가지고 있었기 때문에, AI가 크루즈쉽이나 말을 보는 게 아니라, 하단 색깔이나 크레딧을 보는 편향을 가지게 됐다. 사실은 뻔한 것일 수 있다. 하지만 그 뻔한 과정에서 AI가 실제로 문제를 푼 게 아니고 편향이 있다는 걸 검증해 설명할 수 있어야 한다는 것이다.

Q. 그건 정말 의도하지 않았던 편향이다.

그렇다. 의도하지 않았는데, 데이터에 잠재되어 있던 편향이었다. 이런 편향의 종류는 세 가지가 있다. 첫번째는 데이터의 편향, 두번째는 모델의 편향, 세번째는 알고리즘의 편향이다.

데이터의 편향은 위의 사례처럼 그냥 데이터가 그렇게 생긴 것이다. 그리고 모델 편향은 선형 모델, 곡선 모델, 뉴럴 네크워크 모델 등 각 모델에 따라 편향이 달라진다. 선형 모델로는 선형 구조 밖에 찾을 수 없고, XG부스트 모델로는 사선을 못 찾는다. 또 알고리즘 편향은 그래디언트 디센트(Gradient descent, 1차 근삿값 발견용 최적화 알고리즘)에서도 나타난다.

정리하자면, 다른 결과가 나온 이유는 보통 편향 때문이고 이런 이유들 때문에, 실제로 우리가 의도한 바의 AI의 결과가 실제 AI가 내는 결과와 다를 수 있다. 그리고 이러한 편향을 '설명가능한 AI(XAI, eXplainable Artificial Intelligence)'을 통해서 찾을 수 있어야 한다는 것이다.

Q. AI의 판단에 대해 명확한 설명을 제공할 수 없다는 점에서 '블랙박스'라고도 한다고 들었다.

블랙박스의 개념은 두 가지로 볼 수 있다. '운행 중의 작동하는 블랙박스'와 '사고 후 분석을 위해 필요한 블랙박스'다. 보통 AI를 블랙박스라고 이야기하는 건, '운행 중의 작동하는 블랙박스'를 의미한다. 보통 우리는 운전 중에 블랙박스를 확인하지 않을 뿐더러 운행기록이 아주 촘촘하게 담겨져 있다. 그래서 그 블랙박스 속의 프로세스와 수많은 기록 정보를 전부 파악하기 쉽지 않다. AI가 블랙박스라고 부르는 이유는 그 안의 과정을 모른다는 말이다.

하지만 사실 지금까지 블랙박스라는 용어는 잘못 쓰여왔다고 생각이 든다. AI 설명성을 위한 다른 형태의 블랙박스가 필요하다. AI 모델은 입력이 있고 출력이 나오는데, AI를 활용하면서 사고가 발생했을 때 그 과정을 검증할 수 있는 블랙박스를 추가로 배치하는 방법이다. 인풋이 들어갔을 때 AI의 주요 결정과 그 상황을 따로 기록하는 것이다.

비행기 블랙박스와 비슷하다. 비행기 블랙박스는 비행기의 전체 운행 기록을  다 남기는 게 아니라 중요한 것만 남긴다. 조종사들이 어떤 대화를 나눴나, 그때 고도가 어땠나, 제어기판이 어땠나, 모든 부품이 아니라 중요 부품의 상태는 어땠나 등과 같은 결정을 설명할 수 있는 정보들이다.

만약 테슬라의 AI의 블랙박스라면 자율 운행 중 중요한 기억들을 스냅샷으로 찍어 저장해둬도 사고가 발생했을 때, 입력 카메라의 문제인지, 모델의 지터(Jitter가 발생한 것인지 등 AI의 결정에 따른 사고의 이유에 대해 알아낼 수 있다. 이렇게 AI가 제대로 명령을 내렸는지, 혹은 제어기 문제는 아닌지 알아낼 수 있는 방법이 필요하다는 의미다.

Q. 그렇다면 왜 AI를 설명할 수 있어야 하나? '설명가능한 AI(XAI)'가 필요한 이유가 무엇인가?

XAI에서는 두 소비자가 있는데, 개발자와 AI 사용자다. 우선 개발자는 지속적으로 AI 모델을 테스트를 하면서, 'AI가 제대로 학습한 거 맞나?', '다른 데이터 넣어보면 정말 달라지나?' 등과 같이 설명 가능한 AI를 통해 안정성과 신뢰성을 높여갈 수 있다. AI 사용자는 AI를 활용하면서 뭔가 문제가 생겼을 때, 그 책임과 해결 방법에 대해 사용자와 개발자 혹은 공공 등과 함께 어떻게 해결할 것인지 풀기 위해 AI의 결정을 설명할 수 있는 저장장치 같은 게 필요할 것이다.

AI는 사람과 비슷하다. 다이나믹한 의사 결정들이 계속 되면 기억에서 대부분 사라진다. 하지만 중요한 의사결정은 따로 기억 정보는 남는다. 당시 어떤 일이 있었고 어떤 근거로 어떤 결정을 내렸구나 등을 떠올려 낼 수 있다. 그렇게 무엇이 잘못됐다는 것을 알 수 있는 것처럼 AI 역시 XAI를 통해 사고가 났을 때 이걸 조금 더 추적할 수 있는 장치가 필요하다.

Q. XAI 관련 일련의 연구는 AI를 설명할 수 있는 방법을 찾는 과정인가?

XAI가 어려운 지점은 실제 기술을 개발할 때 확인하지 못한 게 많기 때문에 어렵다. GPT-3의 파라미터가 1725억개다. 그렇게 많은 파라미터 안에서 정확하게 어떤 뉴런이 언어를 구사했는지 아직 아무도 한번도 확인해 본 적이 없다.

그리고 일반적으로 AI는 특정 분야에서 잘 되니 다른 분야도 적용하면 될 것이라고 생각한다. 예를 들어, 알파고가 슈퍼컴퓨터로 수십만개의 기보를 학습했더니 똑똑해져서 사람을 이겼고, 그러니까 다른 분야에서도 사람보다 잘 할 것이라고 판단하는 게 AI의 스토리다.

그렇지만 우리는 그 스토리 안에서 정확하게 AI가 어떻게 작동했는지, 어느 수준까지 가능한지, 혹은 어떤 부분은 할 수 없는지에 대한 이해가 부족하다. 정확하게 이해하지 않더라고 잘하는 것처럼 보이는 데 관심이 쏠리다 보니 AI의 설명성에 대한 연구가 아직 부족하다고 볼 수 있다. 제너러티브 모델, 딥러닝 모델 등 AI 유닛들이 정확하게 무슨 역할을 하는지 알려진 것도 있지만, 여전히 모르는 것도 많다.

Q. 그렇다면 XAI가 특별히 중요한 이유는 무엇인가?

우리 연구원에게 어떤 AI 모델을 만약 이걸 금융 서비스로 만들었을 때 전 재산을 투자할 수 있는지 혹은 의료 모델이라면 가족의 치료를 맡길 수 있다고 물어보곤 한다. 이렇게 금융, 의료, 국방 등과 같은 분야는 미션 크리티컬 시스템에 속한다. 잘못된다면 생명에 지장을 주거나 심각한 피해를 입을 수 있는 분야는 AI를 활용했더니 잘 되는 것 같다로 충분치 않다. 이해하는 동시에, 혹시라도 잘못되었을 때 우리가 파악할 수 있을지 검증할 수 있어야 한다. 그때 AI의 설명성에 대한 필요가 있다.

미국 국방성 산하 핵심 연구개발 조직인 DARPA(고등연구계획국)가 AI의 설명성에 대한 연구를 하는 것도 분명 이유가 있다. AI가 아무리 잘 좋다고 해도 핵폭탄 시스템이나 핵폭탄이 아니더라도 총기가 달린 드론에 딥러닝을 사용할 순 없다. 99.9%의 확률로 운용할 수 있어도 오류가 있으면 안된다. 그렇기 때문에 AI가 어떻게 작동하는지 알아야 한다. 이런 미션 크리티컬 시스템에서 설명성이 아주 중요하다.

또 중요한 분야가 인사 시스템이다. 현재 미국 대기업 들이 인사 관리에 AI 솔루션을 도입하는 추세다. 이걸 일반 사무직에 적용해 보면, 업무 회신은 몇 분 만에 했는지, 메신저에는 접속 상태로 있는지 등 관련 수치가 추적되면서 이러한 수치 정보가 AI로 들어가게 된다. 30분 동안 화장실 다녀오니 등급이 떨어진 요기요의 라이더처럼, 팀장 메일을 30분 동안 답장하지 않으면 인사 고과 점수가 깎이는 셈이다.

모니터링을 넘어 이걸 AI가 분류하고 직원의 승진이나 해고, 보상 등을 결정한다면 직원 입장에서 설명해줘야 한다. 이건 분명 미션 크리티컬한 영역에 속한다.

Q. 현재 설명가능한 AI의 연구는 어느 수준까지 왔나?

딥러닝 모델에 입력 후 출력이 나왔을 때, 입력 중에서도 어떤 요소가 출력에 중요한 기여를 했는지 찾는 '인풋 리트리뷰션(Input retribution)' 기술은 상용화에 쓰일 만큼 발전했다.

다만, 여기에서도 바이어스(bias)가 존재한다. 실제 바이어스가 없는데도 사람의 인식과 AI의 인식이 다를 때가 있다. 우리는 고양이를 보면 실물에 대한 인식이 가능하지만 AI는 못한다. 그래서 AI에게 이미지를 학습시키고 '이게 고양이다'라고 하면 그 고양이의 눈, 코, 입, 수염 같은 요소를 고양이로 인식하고 나머지는 고양이라고 보지 않는 것이다. 고양이 그 자체가 아니라, 그 얼굴에 몇 개 요소만 고양이고 나머지는 고양이가 아니라고 생각하는 셈이다.

또 다른 하나는 '고양이를 닮은 강아지'가 있다고 했을 때, 사람은 고양인가? 강아진가? 고민하다가 '아 강아지구나' 결정한다. 하지만 AI는 그렇지 않다. AI는 어떤 부분은 고양이인데, 다른 부분은 강아지로 판단하고, 강아지의 닮은 부분이 더 크니 강아지라고 결정한다. 사람이 무엇을 보고 결정하는 과정과 AI의 과정이 다를 수 있는 것이다. 이건 사람이 원치 않는 설명이다. 아직 좀 더 개선할 부분이 많다.

Q. 마지막 질문으로, AI 발전에 있어 '설명가능한 AI'는 어떤 역할을 할 수 있는가?

설명성의 핵심은 AI 모델의 표현력과 학습력이다. 예를 들어, 어떤 사람이 높은 IQ 점수를 받았다고 해도, 수준을 알려줄 뿐 특정 수학 문제를 풀 수 있을지, 글을 잘 쓸지는 모른다. AI도 똑같다. 1725억 개의 파라미터를 가지고 있다면 사람보다 똑똑할까? 글을 잘 쓸까? 그리고 사람의 작업보다 더 나은 결과를 내더라도 왜 사람보다 잘 했을지 알 수 있을까? 데이터가 충분하다는 가정 아래, AI 모델이 '특정 문제를 풀 수 있는가'라는 표현력, 그리고 얼마나 '데이터를 학습하고 받아 들일 수 있냐'는 학습력이 AI의 챌린지가 된다.

결국 AI의 표현력과 학습력에 대해 설명성을 담보하지 못한다면, AI로 특정 문제를 해결한다는 게 논리적으로 연결이 될 수 없다. 왜 작동하는지도 모르는데, 어디까지 작동하는지 어떻게 알겠는가? 하지만 설명가능한 AI로 접근한다면, AI의 표현력과 학습력의 방해요소를 찾을 수 있고 무엇을 해야하는지 알 수 있기 때문에 더 발전할 수 있다.