AI와 감시 자본주의

AI, 감시의 얼굴을 바꾸다
우리가 일상적으로 사용하는 AI 기술 뒤에 숨어 있는 감시 체계를 조명한다. 교통 제어, 가격 책정, 인사 평가, 건강 모니터링 등 다양한 분야에서 AI는 방대한 데이터를 수집·분석해 ‘보이지 않는 감시’를 일상화하고 있다. 이 책은 정부 주도의 첩보 감시, 민간 기업의 마케팅 감시, 그리고 개인이 자발적으로 데이터를 공개하는 ‘역감시’까지, AI가 촘촘히 얽힌 감시 생태계를 다층적으로 분석한다.
예측 치안, 감시 기반 가격 차별, AI 기반 채용 필터링, 디지털 노동 감시 등, 기술 진보가 인권과 프라이버시에 미치는 영향을 풍부한 사례로 고찰하며, ‘더 정교하고 더 조용한 감시’ 시대에 우리는 무엇을 선택하고 어떻게 대응해야 하는지를 묻는다. 감시가 유동화되는 지금, 기술 너머의 권력과 윤리를 성찰할 통찰을 제공한다.

우리는 AI 기술의 혜택을 누리는 동시에 그 안에 숨겨진 감시의 그물 속에 살고 있다. 《정부와 기업, 개인이 함께 만들어 낸 AI 감시 체계를 조망하며, 감시와 자유, 효율과 윤리 사이에서 무엇을 선택할 것인지 묻는다. 인공지능총서. aiseries.oopy.io에서 필요한 인공지능 지식을 찾을 수 있다.

김상현
캐나다에서 IT, 보건, 국방, 위성 관련 제품과 서비스를 제공하는 캘리언 그룹(Calian Group)의 프라이버시 디렉터로 일하고 있다. 토론토대학교와 요크대학교에서 개인 정보 보호와 프라이버시 법규, 사이버 보안을 공부했다. 캐나다 온타리오주 정부와 앨버타주 정부, 브리티시컬럼비아(BC)주의 의료 서비스 기관 FNHA, 밴쿠버 아일랜드의 수도권청(Capital Regional District) 등을 거쳐 지금은 캘리언 그룹(Calian Group)의 프라이버시 관리자로 일하고 있다. 저서로 《디지털의 흔적을 찾아서》(방송통신위원회, 2020), 《유럽연합의 개인정보보호법, GDPR》(커뮤니케이션북스, 2018), 《디지털 프라이버시》(커뮤니케이션북스, 2018), 《인터넷의 거품을 걷어라》(미래M&B, 2000)가 있고, 번역서로는 《통계의 함정》(2024) 《해커의 심리》(2024), 《어둠 속의 추적자들》(2023), 《공익을 위한 데이터》(2023), 《인류의 종말은 사이버로부터 온다》(2022), 《프라이버시 중심 디자인은 어떻게 하는가》(2021), 《마크 저커버그의 배신》(2020), 《에브리데이 크립토그래피 2/e》(2019), 《보이지 않게, 아무도 몰래, 흔적도 없이》(2017), 《보안의 미학》(2015), 《똑똑한 정보 밥상》(2012), 《불편한 인터넷》(2012), 《디지털 휴머니즘》(2011) 등이 있다.

눈에 보이지 않는 AI 감시 시스템의 그물

01 AI 감시 시스템의 빛과 그늘
02 AI 감시 기술과 인프라
03 글로벌 AI 감시 동향
04 감시 기반 가격 및 임금 책정
05 알고리듬 보스
06 역감시
07 스마트 치안
08 AI의 공중 보건 감시
09 AI 규제와 안전 대책
10 AI 감시 사회를 살아가기 위한 생활의 지혜

우리가 행동하거나 말하거나 구매하는 모든 것은 누군가에 의해 기록된다. 이는 우리의 프라이버시가 점점 더 많은 부분에서 박탈되고 있다는 뜻이고, 그로부터 빠져나오기가 점점 더 어려워져 사실상 불가능해졌다는 뜻이다. 특히 코로나바이러스 대유행 기간을 거치면서 현금의 쓰임새는 눈에 띄게 줄었다. 거의 모든 거래는 온라인으로 이전되었고 물리적 형태의 현금 또한 디지털 결제 방식으로 전환되었다. 그로 인해 누군가에게 노출되지 않고 비밀리에 무엇인가를, 예를 들면 많은 나라에서 합법으로 용인되지만 부정적 인식이 강한 담배, 포르노물, 건강에 과히 좋지 않은 음식 등을 구매하기는 거의 불가능해졌다. 얼마 안 있어 우리는 우리의 흡연이나 식습관이 사회적으로 긍정적이거나 모범적인 것이 아니라는 지적과 더불어, 그런 습관을 줄이지 않으면 우리의 ‘사회적 신용(social credit)’ 점수가 깎일 것이라는 경고를 받게 될 수도 있다. 중국 사회에서 이미 벌어지고 있는 현실이다.
－01_“AI 감시 시스템의 빛과 그늘” 중에서

그러나 얼굴 인식 기술을 접목한 감시, 혹은 그런 기술을 갖춘 감시 카메라는 개인의 프라이버시와 인권을 침해할 위험성이 훨씬 더 높다. 공공장소에서 자신이 카메라에 찍힐 가능성이 있다고 인지한 경우라도, 대부분의 사람들은 그저 우연히 찍히는 데서 그치고 더 이상의 데이터 처리가 수행될 것으로는 예상하지 않는다. 공원이나 광장의 감시 카메라에 찍힌 자신의 얼굴이 데이터베이스에 추가되고 신원까지 식별될 것으로 예상하지도 않는다. 공공장소에서 일반인들이 갖게 마련인 소위 ‘프라이버시에 대한 타당한 기대’다. 지난해 유럽연합이 인공지능법(AI Act)을 통해 ‘공공장소에서의 실시간 원격 생체 인식 시스템’을 아예 개발하지 못하도록 금지한 것도 그러한 인권 침해의 우려 때문이다.
－03_“글로벌 AI 감시 동향” 중에서

지난 2∼3년간 폭발적으로 증가한 AI 투자와 개발 경쟁은 빅 테크를 비롯한 여러 AI 개발사들을 ‘데이터를 먹는 하마’로 만들었다. 데이터가 많으면 많을수록 그 성능도 대체로 더 향상하는 거대 언어 모델을 기반으로 한 생성형 AI(generative AI)의 경우는 그런 요구의 절박성이 더 높다. 특정 분야나 목적에 따라 해당 분야의 데이터만을 수집하고 분석하고 전망하는 소위 ‘예측형 AI’와 달리 생성형 AI는 그 목적이 따로 규정되지 않은 범용 AI(GPAI)다. 따라서 데이터의 종류나 성격, 내용을 가리지 않고 무차별적으로 수집한다. 데이터는 많으면 많을수록 좋다. 가능하다면 하늘 아래 존재하는 모든 데이터를 끌어모아 AI 학습에 활용한다는 게 개발사들의 공통된 원칙이다. 그런 맥락에서 지브리 열풍은 챗지피티 입장에서는 더 많은 사람들이 자발적으로 자신과 주변 사람들의 개인 정보를 기꺼이 제공하도록 유혹한 더없이 효과적인 ‘대박 마케팅’이었던 셈이다.
－06_“역감시” 중에서

G7 히로시마 AI 프로세스와 유럽 평의회의 AI 협약과 같은 국제적인 노력은 AI 시스템, 특히 감시 기술이 제기하는 안전 및 보안 위험에 대한 공통된 우려를 반영한다. 이러한 이니셔티브는 법적 구속력은 없지만 책임 있는 AI 개발 및 사용을 위한 국제 표준과 모범 사례를 형성하는 데 중요한 역할을 한다. 특히 유럽 평의회의 AI 협약은 AI 시스템을 사용할 때 인권, 법치주의 및 민주주의 기준의 준수를 보장하도록 명시한 조약으로 국제적으로 법적 구속력을 갖는다. AI 협약은 앞으로 AI 기술을 도입한 감시 활동에 대해 강력한 인권 기반 프레임워크를 제공할 것으로 기대된다.
－09_“AI 규제와 안전 대책” 중에서