기계의 언어, 언어의 기계

AI, 인간을 닮아가는 기계의 말하기
인공지능의 핵심 기술인 자연어 처리(NLP)의 본질과 진화를 통찰한다. 호메로스의 황금 하녀에서 시작해 튜링 기계, 대규모 언어 모델까지 이어지는 AI의 언어 역사를 탐색하며, 기술적 원리와 철학적 의미를 함께 고찰한다.
단순한 도구를 넘어 인간과 소통하는 존재로 진화한 AI는 언어를 통해 인간성을 닮아가고 있다. 이 책은 자연어 처리의 원리, 철학, 윤리, 미래까지 다루며, 기술적 이해를 넘어 균형 잡힌 인문학적 시선을 제공한다.

인공지능의 핵심인 자연어 처리의 원리와 역사를 탐구한다. 기술적 이해를 바탕으로 철학, 윤리, 인문학적 관점을 더해 AI와 언어의 본질을 깊이 들여다본다.

신승철
대학 교수와 벤처 기업인을 지낸 컴퓨터과학자다. 소프트웨어 검증 전문가이며 프로그래밍언어 이론, 수리논리학, 프로그램 분석과 검증을 연구하고 가르쳤다. 연구실 창업으로 소프트웨어 검증 전문기업을 설립하고 대표를 지냈다. 현재는 코드마인드 연구고문이고 경기대학교 AI 컴퓨터공학부 겸직교수다. 컴퓨터과학을 비롯해서 과학과 인문학 전반에 걸쳐 읽고 쓴다.

인공지능과 자연어 처리

01 자연어 처리의 역사
02 수학적 기반
03 언어의 수학적 표현
04 기계학습과 자연어 처리
05 신경망과 자연어 처리
06 트랜스포머와 현대 언어 모델
07 자연어 처리와 언어학
08 자연어 처리와 언어 철학
09 인간과 기계의 윤리
10 인공지능의 미래

1990년에 잠재 의미 분석 기법(Latent Semanic Analy- sis)이 등장해, 텍스트를 벡터 공간에 표현하면서 단어와 문서의 의미적인 관계를 포착하려 했다. 통계적 방법의 새로운 가능성을 연 기법으로, 문서와 단어 간의 통계적 관계를 분석해 저차원 벡터로 표현했으며, 단어 간 유사도를 수치로 계산할 수 있도록 했다. 그러나 이 초기 기법은 대규모 데이터를 처리할 수 없고, 더 복잡한 의미 관계를 표현하기 어려웠다. 이러한 한계를 극복하기 위해 2013년 등장한 워드투벡(Word2Vec)은 단어를 벡터 공간에 표현하는 혁신적인 방법이다. 이 모델은 단어를 고밀도의 저차원 벡터로 나타내며, 주어진 단어에서 문맥을 예측하거나 문맥에서 단어를 예측하는 방식으로 학습한다. 잠재 의미 분석과 달리 벡터 공간의 차원을 획기적으로 줄이면서도 단순히 동시 출현하는지 여부 이상의 풍부한 의미적 관계를 포착할 수 있다. 워드투벡은 단어 간의 의미 관계를 문맥에서 추론해 분포 가설(distributional hypothesis)을 효과적으로 구현한 모델로 인정받으며, 현대 자연어 처리 발전의 중요한 기반이 되었다.
－01_“자연어 처리의 역사” 중에서

하지만 원ᐨ핫 인코딩 방식에는 여러 문제가 있다. 첫째는 고차원 문제다. 단어 집합의 크기가 클수록 벡터의 차원이 커지기 때문에 메모리 사용량과 계산 비용이 기하급수적으로 증가한다. 또한 원ᐨ핫 벡터는 대부분의 값이 0으로 채워지는 희소 벡터이기 때문에 대규모 단어 집합을 처리할 때 비효율적이다. 둘째 문제는 의미 부족이다. 원ᐨ핫 벡터는 단어 간의 의미 관계를 전혀 표현하지 못한다. 예를 들어 “고양이”와 “개”는 둘 다 동물이고 비슷한 맥락에서 자주 사용되지만, 원ᐨ핫 벡터로 표현하면 두 단어는 서로 아무 상관 관계가 없는 벡터로 처리된다. 단어의 의미를 표현하기 위해서는 더 복잡한 방법이 필요하다.
－03_“언어의 수학적 표현” 중에서

트랜스포머의 구조는 크게 보면 인코더ᐨ디코더 구조이지만 시퀀스 투 시퀀스 모델과 달리 순환 구조를 제거했다. 입력 문장은 단어 임베딩과 위치 인코딩으로 구성된 전처리 단계를 거쳐 단어 벡터로 변환된다. 인코더는 이를 바탕으로 문맥 벡터 집합을 생성하고, 디코더는 필요할 때마다 이를 참조해 출력을 생성해 간다. 인코더와 디코더는 각각 심층 신경망이다. 보통 6층에서 시작해서 필요에 따라 100층 이상까지 구성할 수 있다.
－06_“트랜스포머와 현대 언어 모델” 중에서

행위자ᐨ네트워크 이론에 기반해 자연어 처리 기술이 어떻게 사회에 적응해 가는지 설명할 수 있다. 초기 단계에는 연구자, 개발자, 기업 등의 인간 행위자와 알고리즘, 데이터셋, 컴퓨팅 자원 등 비인간 행위자가 상호 작용하면서 언어 처리 모델을 개발해 간다. 여기서는 기술이 아직 블랙박스가 열려 있는 상태이고 다양한 논쟁과 실험이 이루어진다. 확산 단계에는 기술이 제품과 서비스로 상용화(블랙박스)되면서 사용자, 미디어, 규제 기관, 자연어 처리 애플리케이션(챗봇, 번역기, 추천 시스템 등)이 상호작용하게 된다. 이때에는 사용자 피드백, 대중의 기대, 미디어 보도가 기술의 발전 방향에 영향을 미친다. 또한 규제 기관과 윤리 위원회는 기술의 사회적 영향을 모니터링하고 통제하려고 시도한다. 안정 단계에 들어서면 정책 입안자, 국제 표준화 기구, 기술 가이드라인, 법적 규제 등이 행위자로 새로이 등장하고 정책, 법률, 윤리적 기준 등 새로운 비인간 행위자들이 네트워크에 추가된다. 최종적으로 기술과 사회적 가치가 통합되며, 이는 기술이 새로운 사회적 기준으로 자리잡는 데에 기여한다.
－09_“인간과 기계의 윤리” 중에서