블랙박스 안의 권력

보이지 않는 권력, 알고리즘의 통치를 해부하다
인공지능과 알고리즘은 더 이상 중립적 도구가 아니다. 채용, 대출, 판결, 뉴스 배열까지 인간의 결정을 대신하며 새로운 형태의 권력으로 작동하고 있다. 《블랙박스 안의 권력》은 이러한 알고리즘 권력이 어떻게 편향을 내재화하고, 책임을 회피하며, 민주주의의 토대를 흔드는지를 추적한다. 딥러닝 모델의 불투명성, 설명 불가능한 결정 구조, 데이터 편향과 사회적 차별, 감시의 일상화, 정치적 조작의 문제를 10장에 걸쳐 구체적 사례와 제도 분석으로 다룬다. 기술사회학, 법철학, 윤리학, 정책학을 아우르며, 단순한 비판을 넘어 설명요구권·알고리즘 감사·공공 통제 같은 제도적 해법을 제시한다. 저자는 말한다. “기술은 통제되어야 민주주의의 일부가 된다.” 블랙박스를 해체하는 일은 곧 인간의 통제권과 사회 정의를 되찾는 일이다.

알고리즘은 효율의 이름으로 판단권을 장악하고 있다. 《블랙박스 안의 권력》은 그 불투명한 결정 구조와 책임 부재를 해부하며, 민주적 통제의 필요성을 제기한다. 기술을 해석하고 통제할 때만 인간의 권력은 유지된다.

김윤명
디지털정책연구소(DPI) 소장이다. 남도의 니르바나, 땅끝 해남에서 태어났다. 광주 인성고등학교와 전남대학교 문헌정보학과를 졸업하고, 경희대학교에서 지식재산법을 전공해 박사학위를 받았다. 현재는 세종사이버대학교에서 정보보호학을 공부하고 있다. 네이버 정책수석, 소프트웨어정책연구소(SPRi)에서 소프트웨어와 인공지능 법제 연구를 맡았으며, 국회에서는 보좌관으로 입법과 정책을 다루었다. 이재명 경기도지사 캠프와 인수위인 새로운경기위원회에서, 그리고 이재명 대통령후보(20대, 21대) 캠프에서 활동했다. 대통령소속 국가지식재산위원회 AI-IP 특위에서 AI 시대에 변화하는 지식재산의 지형을 함께 그렸다. 경희대학교 법무대학원에서 ‘인공지능법’을, 전남대학교 데이터사이언스대학원 ‘데이터사이언스 법과 윤리’를 강의하며 다음 세대를 준비하고 있다.
사유하고 질문하고 기록하는 일은 일상이다. 블랙박스를 열기 위한 인공지능법은 교육부 우수학술도서로, 게임법, 게임서비스와 법, 인터넷서비스와 저작권법은 문화체육관광부 세종도서(우수학술도서)로 선정되었다.
시를 짓고 사진을 찍는다. 두 아이들의 강하중학교에서 발간한 시집 나에겐 비도 맛있다에 몇 편의 시를 담았다. 아내와 아이들, 그리고 시고르자브종 리카와 밴, 동네 골목, 바람과 하늘, 꽃과 나무 등 세상의 모든 숨결이 그의 렌즈에 깃든다. 사람들의 짠하고도 아심찬한 풍경을 기록한다. 시집을 내고, 사진 겔러리를 여는 것이 꿈이기도 하다.
집안에 ‘도서관N’을 세웠다. 정사서 1급 자격증을 가지고 있지만, 도서관장은 아내다. ‘N’은 네이버와 한게임의 합병법인 NHN(Next Human Network)에서 따온 ‘Next’를 의미한다. “도서관엔(N) 뭐가 있을까? 도서관엔(N) 길이 있지! 도서관 다음엔(N) 뭘 만들지?” 이런 장난스런 물음 속에 세상을 향한 다음 걸음을 품는다. 언젠가 모두를 위한 더 큰 도서관N을 짓겠다는 꿈을 품고 있다.
그는 다시 길을 내려 하고 있다.
AI를 비롯한 디지털 법제와 정책을 연구하기 위해 양평에 ‘디지털정책연구소(Digital Policy Institute)’를 세웠다. 그와의 인연은 digitallaw@naver.com을 통해 이어질 것이다.

블랙박스 안의 권력에 대한 논의

01 알고리즘 편향의 구조적 원인
02 블랙박스 문제와 설명 가능성의 한계
03 알고리즘의 사회적 결정권 탈취
04 추천 알고리즘의 확증 편향 강화
05 알고리즘은 감시를 일상화한다
06 알고리즘 차별의 현실
07 알고리즘 책임의 사각지대
08 AI 윤리와 투명성의 제도화 과제
09 정치적 조작과 알고리즘 권력
10 공공 알고리즘과 민주적 통제의 필요성

법적으로도 공정성은 평등권, 차별 금지 원칙, 합리적 기준에 근거해야 하며, 단순한 수치의 일치가 아닌 결과의 정의로 평가되어야 한다. 이때 요구되는 것은 ‘형식적 공정성’이 아닌 ‘실질적 정의’다. 따라서 공정한 알고리즘이란 단지 오류 없는 알고리즘이 아니라, 사회적 맥락을 고려해 소수자의 권익과 인간의 존엄을 보장하는 알고리즘이어야 한다. 법은 이 기준을 기술 설계와 운영에 요구할 수 있어야 하며, 이는 알고리즘 공정성의 본질적 과제다.
－01_“알고리즘 편향의 구조적 원인” 중에서

복지 행정은 늘 ‘누구에게 얼마나’라는 민감한 결정을 수반한다. 정부는 제한된 재원을 가장 필요한 사람에게 배분해야 하며, 이를 위해 수많은 기준과 절차를 운용해 왔다. 최근 이러한 복지 행정에 인공지능이 도입되고 있다. 수급 신청자의 과거 납세 기록, 금융 정보, 가족 구성, 거주지, 의료 이력 등을 종합 분석해 자동으로 수급 여부를 판단하는 ‘복지 알고리즘’이 등장한 것이다. 그러나 이러한 자동화는 행정 효율성을 높이는 동시에, 사회적 약자의 권리를 침해할 위험도 함께 안고 있다..
－03_“알고리즘의 사회적 결정권 탈취” 중에서

알고리즘 차별이 기술적 구조 속에서 발생하고 있음이 점차 분명해지고 있음에도 불구하고, 이를 법적으로 규율하기 위한 틀은 아직 미비하다. (…) 법은 기술보다 느리게 반응하지만, 바로 그렇기 때문에 선제적이고 원칙 중심의 접근이 필요하다. 기술적 차별에 대한 법적 대응은 기술을 억제하는 것이 아니라, 기술이 사회적 정의와 공존할 수 있도록 설계 방향을 제어하는 기능이다. 차별 없는 기술은 스스로 생기지 않는다. 그것은 사회가 법과 제도를 통해 ‘무엇을 용인하지 않을 것인가’를 명확히 선언할 때에만 실현된다. 법은 인간을 보호하기 위한 것이며, 이제는 기술을 통해 인간이 차별받지 않도록 법이 기술을 통제하는 시대가 요구되고 있다.
－06_“알고리즘 차별의 현실” 중에서

알고리즘은 정보를 분배하고 인식을 조율하는 메커니즘으로, 이미 현대 사회에서 강력한 권력으로 기능하고 있다. 그러나 이러한 권력은 중립적이지 않으며, 그 작동 기준은 대부분 불투명하고 비가시적이다. 민주주의는 정보의 평등한 접근과 자유로운 표현을 전제로 하지만, 알고리즘은 필터 버블과 정보 편향을 조장하고 공론장의 기반을 약화시키는 방식으로 작동할 수 있다. 더욱이 알고리즘은 선거, 정책 결정, 여론 형성 같은 정치적 영역에서 ‘제4의 권력’으로 기능하고 있으며, 플랫폼 기업은 이러한 정보를 선별·노출·통제함으로써 사실상 공적 영역에 개입하고 있다. 이는 사적 기업이 공공 권력을 대체하는 현상이자, 정보의 민주화를 위협하는 구조다.
－09_“정치적 조작과 알고리즘 권력” 중에서