신뢰성과 투명성을 위한 설명 가능 인공지능

블랙박스 AI를 넘어 투명한 미래로
인공지능은 높은 성능을 자랑하지만 의사결정 과정의 불투명성, 즉 블랙박스 문제로 심각한 사회적 위험을 초래할 수 있다. 의료, 금융, 법률 등 고위험 분야에서 오류와 편향이 드러나면서 알고리즘의 투명성과 설명 가능성 확보가 시급해졌다. 이 책은 블랙박스 AI의 문제점을 짚고, 이를 극복하기 위한 설명 가능 인공지능(XAI) 기술을 소개한다. 인간이 이해할 수 있는 설명을 제공하고, 공정성, 책임성, 신뢰성을 확보하는 방법을 다룬다.
또한 국내외 주요 법제 흐름과 함께, 기능적·설명적·사회적 측면에서 XAI의 핵심 역할을 체계적으로 분석한다. AI 기술이 일상에 깊숙이 스며든 지금, AI의 투명성과 신뢰성을 확보하는 방법은 필수적 과제가 되었다.기술 개발자, 정책 입안자, 비전문가 모두에게 설명 가능 인공지능의 필요성과 방향을 제시한다.

인공지능의 불투명성이 초래하는 사회적 위험을 지적하고, 이를 극복하기 위한 설명 가능 인공지능(XAI) 기술을 소개한다. 신뢰성과 공정성을 확보하기 위한 기술적, 제도적, 사회적 해법을 제시하며 AI의 투명한 활용을 위한 방향을 제시한다.

전진권
명지대학교 방목기초교육대학 부교수다. 서울대학교 과학학과에서 과학철학으로 박사 학위를 받았다. 고등과학원 초학제 연구단 ‘인공지능: 과학, 역사, 철학’에서 인공지능의 사회적 책임에 대해 연구했다(2017∼2018). 저서로 『융합이란 무엇인가: 융합의 과거에서 미래를 성찰한다』(2012), 역서로 『신경 윤리학이란 무엇인가: 뇌과학 인간 윤리의 무게를 재다』(2011) 등이 있다. “형질 집단 선택론의 관점 다원주의에 대한 비판”(2017), “계량서지학을 통한 종교와 과학 연구 동향 분석”(2023), “Three Research Strategies of Neuroscience and the Future of Legal Imaging Evidence”(2018) 등의 논문을 썼다.

블랙박스 인공지능의 위험과 설명 가능 인공지능의 필요성

01 설명 가능 인공지능의 시작
02 딥러닝의 시대와 인공지능의 불투명성
03 불투명성의 원인과 설명 가능 인공지능의 재조명
04 설명 가능 인공지능의 원리
05 설명 가능 인공지능의 구현
06 설명 가능 인공지능 모델의 분류
07 설명 가능 인공지능의 응용
08 이해를 위한 설명 가능 인공지능
09 사회를 위한 설명 가능 인공지능
10 설명 가능 인공지능의 도전과 미래

또한 전문가 시스템의 복잡성에도 이유가 있었다. 기호 기반 접근법의 개별적인 규칙 하나하나는 명확하고 직관적으로 이해할 수 있지만 규칙의 수가 많아질수록 시스템 전체를 인간이 이해하는 데 어려움이 커졌다. MYCIN의 경우에도 수백 개의 규칙이 얽혀있었기 때문에 규칙 간의 상호 작용과 결과를 인간의 능력으로 추적하기 쉽지 않았다. 아직 설명 가능 인공지능이라는 명칭이 붙은 것은 아니었지만 이들 문제를 보완하고자 1970년대의 개발자들이 고안한 설명 기능이 설명 가능 인공지능의 뿌리라고 할 수 있다. 그러나 이 시기에 설명 기능은 크게 주목받지는 못했다. 그 이유는 당시 주로 사용된 인공지능의 방법론인 기호 기반 접근법이 명확한 규칙에 기반했기 때문에 상대적으로 이해하기 용이했기 때문이다.
－01_“설명 가능 인공지능의 시작” 중에서

많은 딥러닝 모델들은 확률적 요소를 포함한다. 예를 들어 드롭아웃 같은 기술은 과적합을 방지하기 위해 일부 뉴런을 무작위로 비활성화한다. 확률적 요소는 결과를 예측하기 어렵게 만든다. 또한 많은 딥러닝 신경망은 비선형(non-linear)적이다. 뉴런의 작동에 중요한 활성화 함수를 대부분 비선형 함수를 사용하기 때문이다. 비선형인 경우에는 입력과 출력의 관계가 단순하지 않기 때문에 직관적으로 이해하기 어렵다. 현대 AI의 이 상황을 전문용어로 성능(Performance)과 이해 가능성(Interpretability)의 사이에 상충 관계(Trade-off)가 있다고 표현한다. 예를 들면 랜덤 포레스트(Random Forest), 서포트 백터 머신(Support Vector Machine) 등 전통적인 알고리즘들은 이해 가능성이 높고 복잡성이 낮지만 일부를 제외하면 성능이 떨어지는 편이다. 반면 트랜스포머(Transformer), 거대 언어 모델(LLM: Large Language Model)과 같은 딥러닝 모델은 높은 성능을 보여주지만 복잡하다. 그 복잡성 때문에 이해 가능성이 낮고 내부 작동 과정을 인간이 이해하는 데 한계가 있다.
－03_“불투명성의 원인과 설명 가능 인공지능의 재조명” 중에서

전역적 설명은 전반적인 패턴을 설명할 수 있지만 특정 입력값에 대한 구체적인 설명을 제공하는 데는 한계를 보인다. 전체적인 구조와 작동 과정을 일반화하는 과정에서 세부적인 디테일이 소거되기 쉽기 때문이다. 그 결과 개별 사례에 대한 설명력이 약화될 위험이 있다. 개별 사례에 대한 설명이 필요한 경우 지역적 설명이 요구된다. 예를 들어 특정 환자에 대해 왜 특정 질병을 예측했는지 설명해야 하는 경우나 금융 대출 심사에서 어떤 요인이 대출 승인 또는 거절에 결정적인 영향을 미쳤는지를 분석해야 하는 경우에는 개별 예측값에 대한 구체적인 설명이 필요하다.
－06_“설명 가능 인공지능 모델의 분류” 중에서

장래에 이러한 설명 가능 인공지능 모델과 도구들은 AI 시스템이 사회적 영향을 미칠 가능성을 고려하고 투명성을 확보함으로써 AI의 책임 있는 사용을 촉진하는 데 중추적인 역할을 하게 될 것이다. 그러나 여전히 많은 도전 과제가 남아있다. 예를 들어 설명 가능성은 기술적 관점에서만 해결될 수 있는 문제가 아니라 사회적, 문화적, 윤리적 맥락에서의 이해와 조화가 필요하다. AI 모델의 공정성을 평가하는 기준은 국가나 문화에 따라 다를 수 있으며 모든 맥락에서 일괄적으로 적용 가능한 솔루션을 개발하기는 어렵다. 이런 문제들을 해결해나가는 것이 설명 가능 인공지능에 앞에 놓인 핵심적인 과제다.
－09_“사회를 위한 설명 가능 인공지능” 중에서