초지능 담론의 철학적 분석

초지능, 신세계인가 신기루인가
‘초지능’ 담론을 기술 예측이 아니라 철학적 문제로 다시 세운다. 알파고 이후 챗GPT, 에이전트까지 이어진 급가속의 서사는 곧바로 파국과 구원의 서사로 번역되곤 한다. 그러나 힌턴·벤지오의 경고와 응·르쿤의 반박이 극단적으로 갈리는 이유는 데이터가 아니라 ‘지능’ 개념 자체가 다르게 쓰이기 때문임을 이 책은 드러낸다. 머스크와 올트먼이 말하는 AGI·초지능의 정의가 왜 일관되지 않은지, 지능을 ‘자기 목표 설정’으로 볼지 ‘도구적 문제 해결’로 볼지에 따라 위험의 성격이 어떻게 바뀌는지 면밀히 분석한다. 더 나아가 장기주의, 특이점주의, 포스트휴먼 같은 사상적 전제가 정책 우선순위와 대응 전략을 어떻게 갈라놓는지도 추적한다. 할루시네이션과 신용평가 같은 사례를 통해 초지능 문제를 공학적 결함이 아니라 제도와 윤리, 정치의 문제로 확장하며, 다차원적 대처의 필요성을 설득한다. 커즈와일부터 보스트롬·러셀, 트랜스휴머니즘 논쟁까지 장별로 지도화해 ‘무엇을 두려워하고 무엇을 준비할 것인가’라는 근본 질문을 다시 묻는다. 초지능을 말하기 전에, 지금 여기의 논쟁과 전제를 먼저 정리하게 만드는 책이다.

알파고 이후 쏟아진 ‘초지능’ 공포와 낙관을 철학적으로 해부한다. 머스크·올트먼, 힌턴·르쿤의 불일치를 ‘지능’ 개념과 장기주의·특이점주의·포스트휴먼 같은 전제에서 풀어낸다. 할루시네이션과 신용평가 사례로 초지능을 윤리·정치의 문제로 재구성하며, 무엇을 두려워하고 무엇을 준비할지 묻는다. AI문고. aiseries.oopy.io에서 필요한 인공지능 지식을 찾을 수 있다.

조현진
단국대학교(천안) 자유교양대학 초빙교수로 재직하고 있고 한신대 철학과에서도 강의하고 있다. 서강대에서 서양철학 전공으로 박사학위를 받고 국민대, 서강대, 충북대, 관동대 등에서 철학과 교양 과목을 강의했다. 역서로는 《20세기 서양철학의 흐름》(공역, 이제이북스), 《에티카》(책세상) , 《모두에게 실질적 자유를》(후마니타스)이 있고, 저서로는 《다시 쓰는 서양근대철학사》(공저, 오월의 봄), 《서양근대종교철학》(공저, 창비) 등이 있다. 서양 근대철학, 도덕 심리학, 정치철학과 함께 최근에는 인공지능의 철학적 문제와 포스트휴먼으로 주제를 확장해 연구를 진행하고 있다.

초지능, 신세계인가 신기루인가?

01 커즈와일의 가속주의와 하라리의 감속주의
02 머스크의 장기주의와 올트먼의 부드러운 특이점
03 일반 인공지능, 강한 인공지능, 인공 초지능
04 초지능의 다양한 경로들
05 초지능과 트랜스휴머니즘
06 초지능의 위험성을 보는 두 관점
07 초지능으로 인한 문제의 유형
08 초지능 위험에 대한 다섯 가지 반응
09 초지능 문제의 다면성과 다차원성
10 인공지능과의 공존을 위한 윤리

최초의 초지능체의 본성과 그 존재론적인 지위가 무엇인가라는 문제는 특이점주의의 타당성이라는 또 다른 문제로 이어진다. 인간이 생물학적 한계를 넘어서고 심지어 죽음을 극복할 수 있다는 커즈와일의 주장은 인간 뇌의 복사본인 에뮬레이션이 원래의 인간 뇌와 동일한 것이며 디지털 환경을 옮겨 다니더라도 그 동일성을 유지할 수 있다는 믿음에 기반한 것이다. 그러나 이런 기대는 현재 과학기술의 수준에서는 지지될 수 없는 형이상학적인 믿음에 가깝다. 따라서 특이점 시대에 대한 그의 장밋빛 전망의 상당 부분은 과학적 예측이라기보다는 기술 유토피아적인 희망 사항에 가깝다고 할 수 있다.
－01_“커즈와일의 가속주의와 하라리의 감속주의” 중에서

초지능은 앞서 언급한 것처럼, 일반 인공지능 수준의 인공물 다음에 올 것으로 추정되는 인공물의 지능 수준을 말한다. 초지능의 개념과 그 이론적 가능성 및 그 효과에 대해 체계적으로 논의한 철학자 닉 보스트롬은 ‘초지능’을 “모든 관심 영역에서 인간의 인지 능력을 상회하는 지능”으로 정의하면서, 초지능이 반드시 갖추어야 할 능력으로 학습할 수 있는 능력, 불확실성과 확률적 정보를 효과적으로 다루는 능력, 다양한 추론에 사용하기 위해 감각 정보와 내부 상태로부터 유용한 개념을 뽑아 조합하는 능력을 들고 있다. 보스트롬의 정의에서 알 수 있듯이, 초지능은 강한 인공지능이나 일반 인공지능과 마찬가지로 인간의 인지 능력을 비교의 준거로 삼아 정의된다고 할 수 있다.
－03_“일반 인공지능, 강한 인공지능, 인공 초지능” 중에서

그러나 이와 같이 초지능에 의해 발생할 것으로 예견되는 문제를 자율성과 우월성을 둘러싼 인간과 초지능 간의 적대적 대결에 기반해 서술하는 관점과는 다른 관점 역시 존재한다. 이런 관점에 따르면, 초지능이 야기할 것으로 예상되는 문제는 인간의 욕망을 실현할 도구가 일으킨 의도하지 않은 유해한 결과를 예측하거나 통제하지 못하는 문제로 간주되며, 따라서 앞의 관점과 다르게 생사를 건 인간과 초지능[체] 간의 투쟁을 주요한 위험 요인으로 지목하지 않는다. 이처럼 초지능의 문제를 인간의 꿈과 욕망을 실현하려는 도구가 일으키는 의도하지 않은 유해한 결과의 문제로 보는 관점은 스튜어트 러셀이 지적한 것처럼 고대 그리스 신화 속의 미다스 왕의 이야기와 닮았다고 할 수 있다.
－06_“초지능의 위험성을 보는 두 관점” 중에서

이런 뒤피의 제안은 초지능 문제에 대한 진단과 처방에도 적용될 수 있다. 초지능의 문제 역시 앞선 두 사건처럼 취약성과 안전성이라는 이중의 특성을 가진 체계가 어떤 극단적 사건 또는 누적된 원인을 통해 임계점을 넘으면서 취약성을 드러내고 그로 인해 체계가 급격한 변화를 드러낸다는 점을 보여 주기 때문이다. 가령, 초지능의 문제는 인공지능의 개발 단계에서 순환적 자기개선 기술의 발달과 같은 임계점을 기점으로 가치 정렬, 자기 개선 능력에 대한 통제와 같은 기술 사회 체계의 구조적 취약성이 드러날 것으로 예상되는 문제라고 할 수 있다.
－09_“초지능 문제의 다면성과 다차원성” 중에서