AI와 언어학

언어를 이해하는 기계, 그 뒤의 언어학
더글러스 애덤스의 ‘바벨 피시’가 상상 속 존재라 여겨지던 시대는 끝났다. 오늘날 AI는 사람의 말을 듣고, 이해하고, 말하며 언어의 경계를 허물고 있다. 그러나 기계가 인간처럼 언어를 다루기 위해서는 단순한 기술이 아니라 인간 언어의 구조와 의미를 설명하는 ‘언어학’의 이론이 필수적이다. 이 책은 AI와 언어학이 서로를 어떻게 확장시키며 발전해 왔는지를 풀어낸다. 음성학·음운론·형태론·통사론·의미론·화용론 등 언어학의 핵심 개념이 어떻게 음성 인식, 자연어 처리, 기계 번역, 생성형 AI 기술의 토대가 되었는지 알기 쉽게 설명한다. AI는 언어학의 이론을 실험하며 검증하는 새로운 도구가 되었고, 언어학은 기계가 인간 언어를 다루는 방식을 이끄는 지적 기반이 되었다. 교육·의료, 언론 등 산업 현장에서 이미 실현된 AI 언어 기술 사례를 통해, 두 분야가 어떻게 융합되고 있는지도 보여 준다. 특히 최근 LLM의 발전이 언어 연구에 어떤 변화를 가져왔는지, 인간 수준의 언어 능력을 갖춘 초고도 AI를 위해 언어학이 어떤 역할을 해야 하는지 미래 전망을 제시한다. AI 시대, 언어의 의미를 새롭게 묻고 싶은 모든 독자에게 안내서가 되는 책이다.

AI가 듣고 말하고 번역하는 시대, 그 기반에는 언어의 구조와 의미를 설명하는 언어학이 있다. 자연어 처리, 음성 인식, 기계 번역, LLM 등 기술 뒤에 숨은 언어학의 역할을 쉽고 명확하게 풀어낸다. AI 시대의 언어를 새롭게 이해하게 하는 안내서다. AI총서. aiseries.oopy.io에서 필요한 인공지능 지식을 찾을 수 있다.

이은송
경북대학교 영어영문학과 박사과정 재학 중이다. 영어 교육 전공자로 약 10년간 교육 현장에 몸담았다. 인공지능 기술이 일상에 깊이 자리 잡고, 소프트웨어 교육이 필수 교과목으로 전환되는 흐름 속에서 인공지능이라는 새로운 학문 분야에 관심을 두게 되었다. 자연어 처리라는 새로운 세부 전공의 신설로 인문대 내 컴퓨터공학을 연구하는 첫 번째 박사과정생이 되었다. 벤치마크와 언어 데이터를 기반으로 대규모 언어 모델의 성능을 분석하는 연구를 수행했으며, 인공지능 모델이 인간의 언어 표현을 얼마나 이해하고 있는지 평가하고자 했다. 최근에는 언어의 의미론적 구조를 표현하여 언어 모델이 해석하도록 돕는 지식 그래프와 트랜스포머 구조를 주로 연구하고 있다. 교육학, 언어학, 그리고 인공지능 세 분야의 경계를 넘나들며 인공지능 시대에 언어학을 비롯한 인문학이 나아갈 길을 모색하고 있다.

AI 시대, 언어학 패러다임의 전환

01 AI와 언어학의 만남
02 읽고 쓰는 AI: 자연어 처리
03 AI 기술의 진화와 언어학의 적응
04 듣고 말하는 AI: 음성 언어 처리
05 언어의 벽을 넘은 AI: 기계 번역
06 AI와 언어 교육
07 언어 데이터의 구축과 윤리적 쟁점
08 대규모 언어 모델과 언어학의 융합
09 산업 현장에 적용된 융합 사례
10 초고도 AI를 위한 언어학

언어학이 AI 기술의 발전에 기여한 것과 더불어 AI 기술의 발전 역시 언어학 연구 방법론에 큰 변화를 불러왔다. 소규모 자료나 직관에 의존하던 언어 연구는 대용량 데이터를 활용하고, 대규모 언어 모델(LLM, Large Language Model)로 언어 패턴을 분석하는 방식으로 전환되고 있다. 연구 방법의 전환은 실제 언어 사용 양상을 객관적으로 파악하고 가설을 검증하기 쉽게 만들었다. 과거에는 사람이 직접 수작업으로 수행했던 형태소 분석, 품사 태깅 등의 작업도 이제는 컴퓨터가 자동으로 처리하면서 연구 시간을 획기적으로 단축했다.
－01_“AI와 언어학의 만남” 중에서

자연어 처리 기술은 일상 곳곳에 널리 활용되고 있다. 자연어를 읽어 내는 ‘읽기’ 기능은 텍스트에서 사람, 장소 등 고유한 명칭을 자동으로 추출하는 ‘개체명 인식’에 사용되며, 영화 후기나 댓글의 감정을 긍정과 부정으로 판단하는 ‘감정 분석’에도 활용된다. 기존의 자연어 처리 기술로 수행되던 텍스트 요약이나 질의응답과 같은 ‘쓰기’ 기능은 LLM의 등장으로 그 성능이 크게 향상되었다. 이제는 컴퓨터가 문장 단위 그 이상의 장문 텍스트도 더 자연스럽게 작성할 수 있다. 언어 모델은 매개 변수를 급격하게 늘리면서 성능을 개선해 왔으며, 그 결과 매우 뛰어난 글쓰기 능력을 갖춘 생성형 AI(Generative AI)가 되었다. 그리고 언어 모델은 사용자의 질문에 자연스럽게 답하는 수준을 넘어서 인간의 고민을 분석하고 조언을 제공하는 수준에 이르렀다.
－03_“AI 기술의 진화와 언어학의 적응” 중에서

AI와 언어학의 만남은 이미 교육 현장에서 현실이 되었다. 발음, 문법, 작문을 아우르는 개인화된 커리큘럼 생성과 대화 연습에 기존 교육 환경과는 다른 변화가 일어나고 있다. 언어 학습자들은 AI 기술을 통해 언제 어디서든 맞춤형 피드백과 무한한 연습의 기회를 얻는다. 더불어 학습 과정에 게임 요소가 더해져 학습 경험의 폭과 만족도도 증가하고 있다.
－06_“AI와 언어 교육” 중에서

일상에서 사용하는 많은 서비스와 제품에는 AI와 언어학이 녹아 있다. 우리는 스마트폰 어시스턴트(Assistant)에게 “오늘 날씨 어때?”라고 물어보고 은행 애플리케이션 속 챗봇의 도움을 받아 금융 거래를 완료하며 번역 서비스로 해외 논문의 내용을 확인한다. (…) 언어학의 이론적 기반 위에 AI의 계산력이 더해지면서 그 가치는 환산하기 어려울 만큼 커지고 있으며, 고객 응대, 의료, 미디어 등 다양한 산업 현장에서 언어학이 융합된 AI 기술이 널리 활용되고 있다.
－09_“산업 현장에 적용된 융합 사례” 중에서