도덕적 AI와 인간 정서

AI, 공감할 수 있는가? 감정 없는 윤리의 한계
인간처럼 감정을 인식하고 도덕 판단을 모방하려는 인공지능 기술의 진화가 과연 진정한 공감과 윤리성을 구현할 수 있는지 묻는다. 감성 컴퓨팅과 정서 인식 AI의 발달은 상담, 돌봄, 교육 등 다양한 분야에서 활용 가능성을 보여 주지만, AI가 실제 감정을 ‘경험’하는 것이 아니라 정교하게 ‘시뮬레이션’하는 것이라면 그 한계는 명확하다. 인간의 윤리는 논리나 데이터만으로 구성되지 않으며, 공감, 정서, 사회적 맥락, 기억과 같은 복합적 요소를 바탕으로 작동한다.
이 책은 도덕적 판단의 신경과학적 기반과 감정의 주관성을 고찰하며, AI가 그 본질을 재현할 수 있는지에 대한 근본적인 질문을 던진다. 기술은 인간을 닮아 가지만, 과연 우리는 AI의 감정 표현을 진짜로 받아들여도 될까? 인간 중심 윤리를 재구성해야 할 새로운 시대, 기술, 윤리, 감정의 경계를 성찰해 본다.

AI는 정서와 윤리를 진짜로 이해할 수 있을까? 감성 컴퓨팅과 공감 알고리즘의 한계를 짚으며, 인간의 도덕성과 감정 체계를 AI가 재현할 수 있는지에 대한 철학적·신경과학적 질문을 제기한다. 인공지능총서. aiseries.oopy.io에서 필요한 인공지능 지식을 찾을 수 있다.

박형빈
서울교육대학교 윤리교육과 교수다. 미국 UCLA 교육학과(Department of Education)에서 방문 학자를 지냈다. 서울교육대학교 교육전문대학원 에듀테크전공 및 인공지능인문융합전공 교수다. 서울교육대학교 신경윤리·가치AI융합교육연구소 소장이며, 서울교육대학교 신경윤리융합교육연구센터 및 가치윤리AI허브센터 센터장이다. 지은 책으로는 《질문으로 답을 찾는 인공지능 윤리 수업》(2025), 《BCI와 AI 윤리》(2025), 《AI윤리와 뇌신경과학 그리고 교육》(2024), 《AI 시대 대한민국 교육 변혁》(2024), 《도덕지능 수업》(2023), 《인공지능윤리와 도덕교육》(2022), 《가정생활 나라면 어떻게 할까?》(2022), 《사회생활 나라면 어떻게 할까?》(2022), 《학교생활 나라면 어떻게 할까?》(2021), 《도덕교육학: 그 이론과 실제》(2021), 《뇌 신경과학과 도덕교육》(2020, 세종우수학술도서), 《통일교육학: 그 이론과 실제》(2020) 등이 있다. 역서로는 《양심: 도덕적 직관의 기원》(2024, 세종우수학술도서), 《어린이 도덕교육의 새로운 관점(공역)》(2019, 세종우수학술도서) 등이 있다. 도덕 윤리 교육, 인격 교육, AI 윤리 교육, 신경윤리학, 디지털 시민성 등에 관심을 갖고 연구하고 있다.

감정 없는 공감: 감성 컴퓨팅의 윤리적, 신경과학적 과제

01 인간 정서의 뇌 신경과학적 원리
02 정서, 감정의 철학적 고찰
03 도덕적 판단과 정서 및 감정
04 정서 구성주의와 AI 도덕 판단 설계
05 감성 컴퓨팅과 AI의 감정 인식
06 공감하는 AI
07 인간ᐨAI 관계의 변화
08 감정 노동 아웃소싱과 감성 AI
09 도덕적 AI를 위한 윤리적 기준과 사회적 책임
10 도덕적 탈숙련화와 도덕적 AI의 한계 및 도전 과제

리사 배럿(Lisa Feldman Barrett)의 정서 구성주의 이론(Theory of Constructed Emotion)은 전통적인 정서 이론과는 근본적으로 다른 관점을 제안한다. 배럿은 정서가 미리 정해진 생물학적 범주가 아니라, 뇌가 과거 경험, 문화적 개념, 현재의 감각 정보 등을 종합하여 능동적으로 구성해 내는 현상이라고 역설한다. 뇌는 끊임없이 변화하는 신체의 내부 상태와 외부 세계의 감각 입력을 예측하고 해석하여 상황에 맞는 정서적 의미를 부여한다. 이러한 과정에서 언어와 사회적 학습은 개인이 정서 개념을 형성하고 자신의 감각 경험을 특정한 정서로 분류하는 데 중요한 역할을 한다. 그의 이론에 따르면, 뇌의 주요 기능 중 하나는 신체의 시스템을 조율하고 조절하는 것이며, 이는 예측 코딩 메커니즘을 통해 이루어진다. 뇌는 과거 경험을 바탕으로 현재 상황을 예측하고, 예측과 실제 감각 입력 간의 불일치 즉, 예측 오류를 최소화하는 방향으로 내부 모델을 업데이트한다.
－01_“인간 정서의 뇌 신경과학적 원리” 중에서

흄은 당시 주류였던 이성 중심 윤리학에 근본적인 도전을 제시했으며, 그의 주장은 이후 도덕 심리학을 포함한 다양한 분야에 큰 영향을 미쳤다. 최근 도덕 판단 과정에서 전통적인 이성 중심 접근 방식과 대비되는 정서의 역할이 강조되고 있다. 조슈아 그린(Joshua Greene)과 동료 연구자들은 도덕 판단에 대한 ‘이중 과정 이론(dual-process theory)’을 제안하고 이를 지지하는 연구 결과를 발표했다. 그린의 이중 과정 이론에 따르면, 의무론적 도덕 판단은 자동적이고 정서적인 반응에 의해 주로 유발되며, 공리주의적 도덕 판단은 통제된 인지 과정에 의해 주도된다. 그의 연구에 따르면, 특정 유형의 도덕적 딜레마 즉, 인격적 딜레마는 현저하고 자동적인 정서적 반응을 유발하는 경향이 있으며, 이러한 반응은 행위의 부적절함과 같은 특정 판단과 빠르게 연결된다.
－03_“도덕적 판단과 정서 및 감정” 중에서

그린과 그의 동료들은 일련의 신경영상 연구를 통해 잘 알려진 트롤리 딜레마(trolley dilemma)의 두 가지 버전에서 도덕 판단에 따른 뇌 활동과 반응 시간에 차이가 존재하는지를 조사하였다. 첫 번째 사례인 트롤리 딜레마 즉, 스위치 케이스(switch case)에서 대부분의 참가자들은 트롤리 전차가 다섯 명을 향해 달려가고 있을 때, 전차의 방향을 바꿔 다섯 명 대신 한 명을 희생하는 것이 도덕적으로 허용 가능한가에 대해 긍정적인 대답을 하였다. 두 번째 사례는 인도교 딜레마(footbridge dilemma)로 참가자들은 다리 위에서 한 사람을 밀어 전차의 경로에 떨어뜨려 다섯 명을 구하는 것이 도덕적으로 허용 가능한가를 판단하도록 요청받았다. 이에 대부분의 참가자들은 트롤리 딜레마와는 달리 부정적인 대답을 하였다. 왜 이런 차이가 발생할까? 그린과 그의 동료들은 이러한 도덕 판단의 차이는 뇌의 서로 다른 심리적, 신경과학적 처리 경로 때문이라고 가설을 세웠다.
－06_“공감하는 AI” 중에서

AI가 다양한 사회 영역에서 사실상 결정권자에 준하는 역할을 수행하게 되면서, 인공지능의 판단이 지니는 도덕적 정당성과 책임성은 중요한 공적 쟁점으로 부상하고 있다. 특히 생명, 안전, 권리에 직결되는 의료·교육·교통 분야에서는 ‘AI가 어떤 윤리 기준에 따라 의사 결정을 내려야 하는가’에 대한 명확한 원칙과 지침이 요구된다. 예를 들어, 의료 진단 알고리즘이 환자 데이터를 분석해 치료 방안을 제시할 경우, 해당 모델의 학습 데이터 구성과 함께 환자 존중, 형평성, 사생활 보호 중 어떤 윤리적 가치를 우선했는지에 대한 투명성과 공정성 확보가 필수다.
－09_“도덕적 AI를 위한 윤리적 기준과 사회적 책임” 중에서