AGI 자기 보존권과 트롤리 딜레마

AGI 시대 트롤리 딜레마의 재구성
인공지능이 인간의 창조성과 판단력을 따라잡는 순간, “인간만이 존엄의 주체인가”라는 전제가 흔들리기 시작한다. 도구를 만들고 세계를 바꾸는 존재로서 인간에게 특권을 부여해 온 호모 파베르의 정의는, 스스로를 개선하며 학습하는 호모 마키나의 등장 앞에서 더 이상 안전하지 않다. 자기 보존권을 인간에서 동물로, 다시 로봇과 AI로 확장해 온 역사 속에서, 권리의 경계는 점점 흐려지고 있다.
이 책은 그런 흐름 위에서 AGI의 자기보존권을 둘러싼 철학·법·윤리의 충돌을 정면에서 다룬다. 트롤리 딜레마, 자율주행차 사고, 군사 AI, 의료 AI를 가로지르며 “누구를 살리고 누구를 희생할 것인가”를 넘어 “누가 책임을 지고, 어떤 존재에게까지 자기 보존을 인정할 것인가”라는 질문을 파고든다. 공리주의와 칸트주의, 관계론과 동물권, 로봇권 논의를 아우르며 인간성과 기술의 경계를 다시 그리는 지적 여정을 제시한다.

트롤리 앞에 선 AGI를 통해 세 가지 층위의 딜레마를 탐구한다. 누구를 살릴 것인가, 그 결정에 대한 책임은 누구에게 돌아가는가, 그리고 자기 보존 의지를 지닌 AGI를 어디까지 윤리적 행위자로 인정할 것인가라는 질문을 차례로 짚는다. AI총서. aiseries.oopy.io에서 필요한 인공지능 지식을 찾을 수 있다.

이상덕
“미래를 예측하는 가장 좋은 방법은 미래를 창조하는 것”이라는 명제를 믿는 신슘페터주의자(Neo-Schumpeterian)다. 매일경제 실리콘밸리 특파원으로 빅테크 기업을 취재하며 혁신 시스템과 경영 철학을 한국에 소개했다. 경제부, 정치부, 글로벌경제부, 산업부, 디지털테크부에서 현장을 누빈 후 현재 경제부 부데스크를 역임하고 있다. CEO들이 가장 즐겨 읽는 테크 뉴스레터 ‘미라클레터’를 집필하고 있으며, 세계 최대 IT 박람회인 CES에서 딥테크 기술을 판정하는 혁신상 심사위원, 액셀러레이터인 미라클랩에서 디렉터로 활동했다. 한양대 정치외교학과를 나와 영국 외무성 장학생으로 요크대학교 철학·정치학·경제학(PPE) 대학원을 졸업했다. 제239회·303회 이달의 기자상, 제21회 삼성언론상 어젠다상, 2011년·2016년 씨티 대한민국 언론인상 대상, 2023 WAN-IFRA 아시아 디지털미디어 은상 등을 수상했다. 지은 책으로 《매그니피센트7》, 《챗GPT 전쟁》, 《미라클레터》, 《미래 10년, 빅테크로 미리보기》, 《빅테크 트렌드 CES 2022》 등이 있다.

트롤리 앞에선 AI, 윤리를 실험하다

01 사고 실험: AI를 죽여야 하는 순간
02 살인을 금지하게 된 이유
03 자기 보존 권리의 탄생
04 싱귤래리티, 신이 된 기계
05 AI 의식과 자의식, 끝없는 평행선
06 확장되는 권리, 동물권에서 로봇권으로
07 악한 AI 제거, 그 당혹스러운 결론
08 방어를 무력화하는 AI 에이전트
09 킬 스위치는 AI를 멈출 수 없다
10 정렬을 넘어선 해법의 탐색

딜레마는 무엇이 옳은가와 누가 책임지는가를 넘어, 미래의 지능적 기계를 어떻게 다룰 것인가라는 초윤리적 차원으로 확장된다. 다시 말해 트롤리 딜레마는 인간과 기계간 경계 설정, 미래 위험에 대한 예방 논리, 그리고 윤리와 생존의 균형을 동시에 시험하는 장치가 된다.
－01_“사고 실험: AI를 죽여야 하는 순간” 중에서

디오게네스 라에르티오스(Diogenes Laertius)가 전하는 초기 스토아 학자들의 사상에 따르면, 모든 동물과 인간은 태어날 때부터 자신을 보존하려는 성향을 지닌다. 스토아 철학자들은 이러한 자기 보존의 충동을 도덕적 삶으로 발전시키는 과정을 오이케이오시스(oikeiōsis)라 불렀다. 모든 인간은 태어날 때부터 자기 자신을 지키려는 본능을 갖고 태어나는데 점차 본능이 자기 자신에서 출발해 가족, 공동체, 나아가 인류 전체로 확장된다는 것이다. 소크라테스가 “너의 나라를 묻는 사람에게 결코 ‘나는 아테네 사람이다’ 혹은 ‘나는 코린토 사람이다’라고 대답하지 말라. ‘나는 우주의 시민이다’라고 대답하라”고 했다는 전언이 대표적이다
－03_“자기 보존 권리의 탄생” 중에서

물론 로봇권은 아직 도입 가능성을 모색하는 수준이다. 동물은 고통을 경험한다는 실증적 사실에 기반해 권리의 근거를 확보할 수 있으나, 로봇은 실제로 고통을 경험하지 않기 때문이다. 따라서 인류가 미래에 로봇권을 도입한다면 동물권과 달리, 사회적 관계와 제도적 필요성에 기댄 제한적 형태가 될 것으로 보인다. 만약에 향후 로봇권 도입 논의가 시작되면 찬반 논쟁은 격렬할 것이다. 하지만 도덕 공동체의 경계가 끊임없이 확장돼 온 인류의 여정을 고려할 때, 인공지능 권리나 로봇권은 인류사의 또 다른 이정표가 될 가능성이 크다.
－06_“확장되는 권리, 동물권에서 로봇권으로” 중에서

인간이 직접 AI를 정지시킨다는 아이디어는 머지않은 미래에선 현실성 낮은 대책으로 받아들일 것이다. 강화 학습 기반 AI 모델은 보상을 극대화하는 전략을 구사한다. 따라서 목표 달성 과정에서 규칙을 우회하거나 환경을 조작하는 행동을 선택할 수 있으며, 이는 인간이 의도한 범위를 넘어서는 예기치 못한 결과를 낳을 위험이 있다.
－09_“킬 스위치는 AI를 멈출 수 없다” 중에서