AI 서비스와 이용자 보호

AI 시대, 이용자는 보호받고 있는가
AI는 이제 의료, 교육, 금융, 법 집행까지 삶 전반에 스며들고 있다. 그러나 기술의 발전은 반드시 이용자의 권리 보장과 함께 가야 한다. AI 서비스가 가져오는 편의 너머, 인간 존엄성과 자율성, 프라이버시를 지키기 위한 제도적·기술적 대응 방안을 탐색한다. 자동화된 의사 결정의 불투명성, 알고리즘 편향, 개인정보 침해 등 주요 이슈를 짚고, 설명 가능한 AI, 이의제기권, 공정성 보장 체계 등을 통해 새로운 보호 패러다임을 모색한다.
단순한 규제를 넘어, 인간 중심의 지속 가능한 디지털 사회를 설계하기 위한 구체적 실천 지침이 담겨 있다. 기술이 인간을 지배하지 않도록, 이용자는 권리의 주체로서 재정의되어야 한다.

AI의 확산은 편리함을 주는 동시에 자율성과 권리를 위협한다. 알고리즘의 불투명성과 편향, 개인정보 침해 등 AI 시대의 주요 위험에 대응하기 위한 이용자 보호의 새로운 기준을 제시한다.

유지연
상명대학교 휴먼지능정보공학전공 교수다. 고려대학교에서 정보경영공학 박사학위를 취득했으며, 정보통신정책연구원(KISDI)에서 부연구위원으로 활동했다. 디지털 기술과 사회의 접점에서 깊은 통찰력을 바탕으로 기술의 복합적 위험 구조를 분석하고 공학적 해법을 정책으로 연결하는 데 기여해 온 공학자다. 디지털 사회의 전략적 대응과 위험 관리에 관해 25년간 연구해 왔으며, 최근에는 인공지능의 신뢰성과 국가적 차원의 안전성 확보에 주목하고 있다.
연구 경력 초기에는 정부출연연구기관에서 초연결 사회의 디지털 하이브리드 위험 패러다임에 관한 기술 전략을 수립하고 국가 미래 전략 시스템 연구를 주도했다. 이 과정에서 디지털 기술의 공학적 설계와 사회적 응용 간의 균형점을 찾아내며 혁신적인 접근법으로 주목받았다. 이후 학계로 진출하여 디지털 하이브리드 위험 관리 이론을 체계화했으며, 점차 인공지능 시스템의 기술적 신뢰성, 공급망 보안 강화를 위한 엔지니어링 프레임워크 연구로 영역을 확장했다.
한국인터넷윤리학회 회장으로 활동하며 다학제 간 협업을 통해 디지털 기술의 복합적 영향력을 다각도로 분석해 왔으며, 그 공학적 기여가 기술 정책 분야에 새로운 패러다임을 제시했다는 평가를 받고 있다. 저서로는 『20개의 핵심 개념으로 읽는 디지털 기술 사회』( 2022), 『디지털 사회 기본 가치』(2023) 등이 있으며, 국내외 학술지와 매체에 100편 이상의 연구 논문과 저술을 발표했다.

인간과 기술 사이: AI 시대 이용자 보호의 새로운 지평

01 AI 시대의 이용자 보호
02 AI 이용자의 기본 권리
03 AI 서비스의 투명성과 설명 책임
04 AI에 의해 자동화된 의사 결정과 이의제기권
05 AI 시스템의 안전성 보장
06 AI 서비스의 개인 정보와 프라이버시 보호
07 AI 시스템의 차별과 공정성 보장
08 AI 서비스 피해 구제
09 AI 리터러시와 이용자 교육
10 AI 이용자 보호 거버넌스

유럽연합은 최근 데이터법(Data Act)을 추진하며, 이용자가 자신이 생성한 데이터에 접근하고 이를 통제할 수 있는 권한을 한층 명확히 하고 있다(Holistic AI, 2023). 또한 프라이버시 보호를 위해 개인 정보의 익명화·가명화, 수집 최소화 원칙, 명시적 동의 등이 강조되고 있다. 미국 연방거래위원회(FTC)는 AI를 통한 상업적 감시와 프라이버시 침해 가능성을 경고하며, 기업들에게 이용자 데이터의 수집 및 이용을 필요한 최소한으로 제한하고, 그 관행을 투명하게 공개할 것을 권고하고 있다.
－01_“AI 시대의 이용자 보호” 중에서

블랙박스 문제란 AI의 의사 결정 과정이 불투명하여 외부에서 이해하기 어려운 현상을 의미한다. 이 문제의 기술적 원인으로는 딥 러닝 모델의 복잡성, 고차원 데이터 시각화의 어려움, 비선형성, 앙상블 방법 등이 있다. 이로 인해 AI가 높은 정확도를 보이더라도 그 판단 과정을 개발자조차 완전히 이해하지 못하는 ‘설명 격차’가 발생한다. 블랙박스 AI의 사회적 문제점으로는 첫째, 책임 회피의 도구가 될 위험(Kroll, 2018), 둘째, 기술 제공자와 이용자 간의 권력 불균형 심화, 셋째, AI에 의해 자동화된 의사 결정의 설명 불가능성이 초래하는 사회적 신뢰 저하, 넷째, 검증 불가능한 알고리즘이 민주적 의사 결정 원칙을 침식할 위험 등이 있다.
－03_“AI 서비스의 투명성과 설명 책임” 중에서

연합학습은 중앙 서버에 데이터를 모으지 않고 각 사용자 기기에서 지역적으로 모델을 학습한 후 모델 파라미터만 중앙에서 취합하는 방식이다. 이 기법은 원본 데이터가 로컬에 머물기 때문에 개인 정보 노출 위험을 크게 낮출 수 있다. 구글의 모바일 키보드(Gboard)에 이 기술이 적용되어 사용자 입력 데이터의 프라이버시를 보호하면서도 예측 성능을 향상하고 있다.
－06_“AI 서비스의 개인 정보와 프라이버시 보호” 중에서

AI 교육에는 학년별 발달 단계에 맞는 모델이 필요하다. 초등학교에서는 생활 속 AI 사례 중심의 기초 소양을, 중학교에서는 AI의 수학·과학적 원리와 사회적 영향을 함께 다루는 심화 교육을, 고등학교와 대학교에서는 실무 프로젝트와 윤리 토론을 결합한 전문 교육을 단계적으로 실시하는 것이 효과적이다.
－09_“AI 리터러시와 이용자 교육” 중에서