AI와 소비자 보호

AI 규제 시대, 소비자를 어떻게 지킬 것인가
유럽연합(EU)의 인공지능법(EU AI Act)부터 한국 AI 기본법까지, 세계 각국이 빠르게 재편하고 있는 규제 환경 속에서 소비자를 어떻게 보호할 것인지 명확한 기준을 제시한다. AI가 블랙박스처럼 작동하는 시대, 기업도 사용자도 그 내부를 완전히 이해하기 어려운 상황에서 소비자 권리는 새로운 위험에 직면하고 있다. 생성형 AI가 방대한 기록물과 데이터를 학습해 예측·추천·결정을 수행하면서 개인정보 침해, 차별, 오판, 책임 소재 불분명성 등 기존 법제만으로는 충분히 대응하기 어려운 문제가 급증하고 있다. 이 책은 바로 그 공백을 메우기 위한 실질적인 해설서다. EU AI Act의 구조, 위험 기반 규제 방식, 고위험 AI 시스템의 의무(투명성·책무성·데이터 관리·인간 개입 등)를 상세히 분석하고, GDPR이 글로벌 규제의 기준이 되었듯 AI 법제 또한 국제 표준으로 확산될 가능성을 전망한다. 동시에 한국의 AI 기본법과 EU 체계의 차이점, 시행령 마련 과정의 쟁점, 국내 기업이 준비해야 할 대응 전략을 면밀히 비교 검토한다. 특히 AI가 블랙박스처럼 작동하는 현실을 직시하며, ‘기계의 학습·훈련’과 ‘인간의 교육·문화적 습득’이 어떻게 유사하고 왜 다른지, 그 간극에서 어떤 위험이 발생하는지를 철학적·법적 관점에서 짚어낸다. 소비자 보호는 단순한 규제 준수가 아니라 투명성·책임성·설명 가능성·안전성이라는 신뢰의 기반 위에서 이루어진다는 점을 명확히 한다. 복잡한 AI 규제의 흐름을 실무적으로 정리한 동시에, 기술과 인간의 관계를 다시 묻는다.

EU의 인공지능법(AI Act)과 한국 AI 기본법을 비교 분석하여, AI로 인한 개인정보 침해·차별·책임 불명확성 등 새로운 위험에 대응하기 위한 소비자 보호 전략을 제시한다. AI 시대의 소비자 보호를 법·기술·윤리의 관점에서 종합적으로 안내하는 필독 해설서다. AI총서. aiseries.oopy.io에서 필요한 인공지능 지식을 찾을 수 있다.

김윤명
디지털정책연구소(DPI) 소장이다. 남도의 니르바나, 땅끝 해남에서 태어났다. 광주 인성고등학교와 전남대학교 문헌정보학과를 졸업하고, 경희대학교에서 지식재산법을 전공해 박사학위를 받았다. 현재는 세종사이버대학교에서 정보보호학을 공부하고 있다. 네이버 정책수석, 소프트웨어정책연구소(SPRi)에서 소프트웨어와 인공지능 법제 연구를 맡았으며, 국회에서는 보좌관으로 입법과 정책을 다루었다. 이재명 경기도지사 캠프와 인수위인 새로운경기위원회에서, 그리고 이재명 대통령후보(20대, 21대) 캠프에서 활동했다. 대통령소속 국가지식재산위원회 AI-IP 특위에서 AI 시대에 변화하는 지식재산의 지형을 함께 그렸다. 경희대학교 법무대학원에서 ‘인공지능법’을, 전남대학교 데이터사이언스대학원 ‘데이터사이언스 법과 윤리’를 강의하며 다음 세대를 준비하고 있다.
사유하고 질문하고 기록하는 일은 일상이다. 《블랙박스를 열기 위한 인공지능법》은 교육부 우수학술도서로, 《게임법》, 《게임서비스와 법》, 《인터넷서비스와 저작권법》은 문화체육관광부 세종도서(우수학술도서)로 선정되었다.
시를 짓고 사진을 찍는다. 두 아이들의 강하중학교에서 발간한 시집 나에겐 비도 맛있다에 몇 편의 시를 담았다. 아내와 아이들, 그리고 시고르자브종 리카와 밴, 동네 골목, 바람과 하늘, 꽃과 나무 등 세상의 모든 숨결이 그의 렌즈에 깃든다. 사람들의 짠하고도 아심찬한 풍경을 기록한다. 시집을 내고, 사진 겔러리를 여는 것이 꿈이기도 하다.
집안에 ‘도서관N’을 세웠다. 정사서 1급 자격증을 가지고 있지만, 도서관장은 아내다. ‘N’은 네이버와 한게임의 합병법인 NHN(Next Human Network)에서 따온 ‘Next’를 의미한다. “도서관엔(N) 뭐가 있을까? 도서관엔(N) 길이 있지! 도서관 다음엔(N) 뭘 만들지?” 이런 장난스런 물음 속에 세상을 향한 다음 걸음을 품는다. 언젠가 모두를 위한 더 큰 도서관N을 짓겠다는 꿈을 품고 있다.
그는 다시 길을 내려하고 있다.
AI를 비롯한 디지털 법제와 정책을 연구하기 위해 양평에 ‘디지털정책연구소(Digital Policy Institute)’를 세웠다. 그와의 인연은 digitallaw@naver.com을 통해 이어질 것이다.

왜, AI와 소비자 보호인가?

01 알고리즘 소비
02 알고리즘 소비자
03 블랙박스화한 알고리즘
04 소비자 후생의 저해
05 프로파일링과 소비자 권리
06 주체별 책임
07 책임 내용: 투명성과 설명 가능성, 신뢰성
08 AI와 소비자 데이터 주권
09 소비자 거버넌스
10 시사점

자동화된 컴퓨터 알고리즘이 데이터에서 가치를 추출하는 강력한 도구가 될 수 있다는 것은 의심의 여지가 없으며, 잠재적으로 시장 효율성과 혁신을 촉진하고 심지어 경쟁을 촉진할 수도 있다. 그럼에도 새로운 기술 도구가 기업의 운영 및 상호작용 방식에 큰 혁명을 일으킬 때마다 일부 시장 참여자가 사회적 목표와 일치하지 않는 사적 이익을 달성하기 위해 강화된 힘을 사용할 위험은 충분하다. 즉, 악의적인 조작은 물론 무의식적으로 알고리즘이 이용될 수 있다.
－01_“알고리즘 소비” 중에서

알고리즘의 불투명성에 따라 발생하는 문제에 대한 책임 주체 또한 명확하지 않다. 즉, 알고리즘이 내린 결론이 문제되었을 때 어느 단계에서 문제가 되는지 확인이 쉽지 않다는 점이다. 알고리즘의 블랙박스 현상이 가장 큰 문제로 인식되는 이유다. 데이터의 정제 과정에서의 문제인지, 데이터의 학습 문제인지, 모델에 대한 파라미터를 조정하는 과정에서 문제인지, 알고리즘 조작에 따른 문제인지를 쉽게 확인할 수 없기 때문이다. 이러한 사항은 내부적으로 풀어야 할 문제이며, 소비자에게 무과실 책임을 주장하기 어렵다.
－03_“블랙박스화한 알고리즘” 중에서

제대로 된 설명이 이행되지 않을 경우에는 원인에 따른 결과 책임을 벗어나기는 어렵다. 만약 어떤 결과에 대해 그 원인을 알 수 없다면 소비자는 어떠한 선택을 할 수 있을 것인지 의문이다. 손해 발생에 따른 책임을 누구에게 물을 것인지가 가장 큰 문제다. 서비스 제공자나 개발자에게 묻기 어려운 상황이 발생할 수 있다. 손해는 발생하였으나 그 책임을 질 수 있는 관계자의 부존재 현상도 배제할 수 없다. 현재로서는 최종적인 서비스를 제공하는 사업자에게 그 책임을 물을 수밖에 없는 상황이다.
－06_“주체별 책임” 중에서

소비자 안전을 체계적으로 관리하기 위해서는 소비자 거버넌스(governance)의 수립이 필요하다. (…) 거버넌스로서 알고리즘 규제와 소비자 보호라는 부분도 정부의 소비자 정책이나 소비자 단체의 알고리즘에 대한 대응 체계의 구축을 의미한다. 무엇보다 소비자 단체를 포함한 시민사회의 역할은 인공지능에 대한 감시자로서 역할이라고 본다. 이러한 내용을 구체화하는 것이 ‘소비자 권리 장전’으로 볼 수 있다.
－09_“소비자 거버넌스” 중에서