AI시대의 저널리즘: 로봇 기자와의 ‘고군분투’ 실무 체험기

‘기레기보다는 차라리 기계가 낫다.’ 현직 기자인 저자들은 몇 년 전엔 농담 같았던 이 말이 요즘은 현실에 부쩍 가까워진 말이라고 했다. 로봇이 제공하는 정보 콘텐츠가 넘쳐나고 AI 포털 뉴스 편집이 보편화했다. 알고리즘과 AI 발전 앞에 기자의 입지가 좁아진다는 관측이 흔하다. KAIST의 연구 조사에서는 로봇 기자가 쓴 기사가 인간 기자가 쓴 기사보다 잘 읽히고 신뢰도도 높다는 결과까지 나왔다.

반면 기계가 쏟아내는 단순 스트레이트 기사는 뉴스가 흘러넘치는 인터넷 공간에서 차별점을 만들지 못했다는 평가도 있다. ‘아무도 안 읽는 기사’가 됐다는 것이다. 로봇 기자의 장기 중 하나였던 증시 시황 단신은 증권가에서도 별 환영을 받지 못했다. 언론사 내부에서도 기계는 일손을 보태 주는 ‘고마운 존재’가 아니었다. 인간 기자의 일을 나눠 하는 것이 아니었기 때문이다. 로봇 기자 서비스는 편집국이나 보도국의 기사 생산 과정과는 완전히 분리돼 별개의 온라인 기사를 만들었다. 현장 기자 대다수에게 로봇 기자는 존재감이 ‘0’에 가까웠다.

언론은 이 북새통에서 활로를 찾을 수 있을까? 고도 자동화 기술을 뉴스에 활용할 길을 찾던 현직 언론인 3명이 현장 기록을 내놨다. 다. 연합뉴스에서 자동화와 AI 서비스를 추진하면서 부닥쳤던 주요 난제를 정리하려는 취지에서 출발해 현업에서 부상했던 주요 문제를 조명하는 데 중점을 뒀다. 자동화나 AI 도입은 적당한 기술을 개발해 스위치만 켜면 되는 쉬운 일처럼 보일 수 있다. 그러나 실제로는 장기 이식 수술에 비유해야 할 정도로 어렵다. 기존 비즈니스 프로세스에 이질적인 자동화 기술을 부작용 없이 얹어야 하기 때문이다. 예상 못한 난관이 잇따른다. ‘알고리즘은 저널리즘의 반대말’이라는 통념의 벽을 넘어 기계와 인간 기자의 ‘황금’ 조합 비율을 찾으려는 좌충우돌 여정을 공유한다.

자동화와 AI는 국내외 언론계에서 ‘반짝 유행’으로 사라지진 않을 것이다. 한국보다 수년 더 빨리 자동화 기술을 도입하고 점점 더 늘리고 있는 AP통신, 로이터, 블룸버그 등 해외 유수 언론사들이 이런 관측을 방증한다. 이들은 간단한 기사를 자동 처리하는 단계를 넘어 인간의 눈엔 잘 안 보이는 팩트를 AI가 캐내게 하는 단계로 나아가고 있다. 자동화와 AI 덕분에 언론사는 적은 비용으로 더 많은 기사, 더 다양한 콘텐츠, 더 유용한 정보를 만든다. 정보의 생산과 전파라는 언론의 본질적 역할을 고려할 때 이런 가능성이 있는 기술을 무시하긴 어려울 것이다.
또 주 52시간 노동제 등 새 노동 환경에서 인간 기자의 무한 ‘열정 페이’를 강요하기가 점점 어려워지는 상황도 주목해야 한다. 무작정 사람을 ‘갈아 넣는’ 방식은 지양하고 필요할 때는 기계의 힘을 빌려야 한다는 인식이 자리를 잡을 계기가 될 수 있기 때문이다. 다만 기술은 ‘서 말의 구슬’이다. 기술을 조직에 도입하고 실적을 만드는 일, 즉 ‘구슬을 꿰어 보배를 만드는’ 작업은 고스란히 인간의 몫이라는 점은 유의해야 한다. ‘언론을 위한 자동화와 AI’란 구슬을 한 알 한 알 꿰어 가치와 의미를 만드는 여정을 공유하고자 쓴 책이다.

이 책은 자동화와 AI 기술을 언론 현장에 적용하는 현업 종사자를 1차 독자로 상정했다. 업무 개론서인 셈이다. 또 언론 연구자나 기자 지망생에게도 고도 자동화라는 흐름에 언론사가 어떻게 적응하는지 보여 주는 자료가 될 수 있게 하려고 노력했다. 나아가 기술과 인간의 조화라는 주제에 관심이 있는 독자를 위한 교양서로도 손색이 없다.

뉴스 생산은 본래 뼛속까지 인간적인 일이다. 정보는 인간인 기자와 데스크(편집자)의 시각·해석을 거쳐 기사가 된다. 역시 인간인 독자는 이렇게 만들어진 기사를 접하며 기쁨, 흐뭇함, 슬픔, 분노, 경악, 사회와의 연대감, ‘기레기’에 대한 실망 등의 감정을 느낀다. 독자의 열띤 반응은 댓글과 트위터 등 소셜 미디어를 통해 사회와 공유되며 언론 생산자들에게 피드백으로 돌아간다. 이 책은 인간적인 일이 자동화와 AI라는 기계를 만나 어떻게 변화했는지, 특히 어떤 면에서 더 나아졌는지를 이해하는 데 큰 도움을 줄 것이다.

김태균
연세대학교 정치외교학과를 졸업하고 한국과학기술원(KAIST) 경영대에서 정보경영 전공으로 석사학위(MS)를 받았다. 2005년 연합뉴스에 입사해 정보과학부(현 IT의료과학부), 사회부, 국제뉴스부 등에서 취재하고 기사를 썼다. 현재 연합뉴스 AI팀에서 기사 자동화와 AI 서비스 기획 업무를 하고 있다.

권영전
연세대학교 인문학부를 졸업하고 2008년 연합뉴스에 입사해 IT 분야를 포함해 다양한 영역을 취재했다. 현재 연합뉴스 AI팀에서 기사 자동화와 AI 서비스 기획을 맡고 있다.

박주현
한양대학교 전자공학과를 졸업하고 한양대학교에서 석사학위를 받았다. 2004년 연합뉴스에 입사해 기술기획팀, 개발전략팀, 연합뉴스TV 창사준비위원회 등에서 주로 기술기획 업무를 맡아왔다. 현재 연합뉴스 AI팀에서 기사 자동화와 AI 서비스 기획 일을 한다.

왜 우리는 이 책을 썼나

1부 왜 로봇기자인가
01 ‘자동이란 무엇인가’ 되물어라
혼란스러운 단어
기본 정의
책에서의 ‘자동화’: 틀에 맞춰 쓴다
책에서의 ‘AI’: 유연함을 더하는 머신러닝
02 왜 언론은 자동화와 AI 기술이 필요할까
기술 발전
실제 수요가 있나
스피드·스케일 향상
기레기의 늪
자동화의 강을 건너다
03 과거의 뉴스 자동화
외국에서 먼저 분 ‘자동 뉴스’ 바람
한국의 자동화 ‘붐’은 2016년부터
자연재해와 스포츠 뉴스 자동화
04 자동화와 AI는 언론에서 어떻게 쓰일 수 있나
빨리, 많이, 건조하게
독자가 원하는 기사를 적시에
학습의 힘
취재를 돕는 AI

2부 뜨거운 감자
05 인간·기계의 ‘찰떡 궁합’ 가능할까
기계 장만만 해선 안 된다
프로세스 쪼개기
기자의 참여
목표를 잊지 말자
조직의 개성을 존중해야
현장에 길을 묻다
06 기술에 대한 환상 깨기
자동화와 AI 기술은 마법이 아니다
데이터·알고리즘 검증은 철저히
다재다능 AI, 한계도 명확 7
로봇 기자는 인간보다 열등하지 않다
AI 현직 개발자 인터뷰
07 기계가 쓴 기사, 누가 책임지나
로봇 기자님, 전화번호가 어떻게 되죠?
생각보다 책임의 부담은 적다
부담은 나누고 혜택은 늘리고
기계의 투명성
08 기승전 ‘데이터’
태초에 데이터가 있었다 5
데이터 찾기
구조화한 데이터인가
꼬리표가 잘 붙은 데이터
어떻게 데이터를 받을까
배타적 전송 vs 오픈 API
최후의 수단, 웹 긁어가기
‘데이터 장애’ 대비해야

3부 현장 뒤져보기
09 실전 꿀팁: 오픈 API 뜯어보기
공공데이터포털과 오픈 API
활용신청 및 인증키 받기
데이터 불러오기
데이터 읽기
특정 데이터만 호출하기
10 스타트업 취재 1: ‘템플릿의 제왕’ 오토메이티드인사이츠
기업실적 기사 자동화로 ‘로봇 저널리즘’ 붐 일으켜
더스틴 바스 비즈니스 총괄 인터뷰
11 스타트업 취재 2: ‘AI 요약의 선두주자’ 아골로
초록과 추출 혼용, 하이브리드 방식 구현
세이지 원 최고경영자, 시바 호타 영업·고객관리 총괄 인터뷰
12 해외 사례: ‘자동화의 모범’ 블룸버그
콘텐츠 25%를 자동화 기술로 처리
존 미클스웨이트 편집국장 메모

4부 고민과 결론
13 기자 일은 어떻게 바뀔까
‘인간의 일’과 ‘기계의 일’의 분리
정보 옮기기
인간의 일
새 일자리
14 하이브리드 저널리즘
굳이 기사로 봐야 하나
로봇 저널리즘 유행의 ‘교훈’
기계와 인간의 혼종
언론사는 뭘 해야 하는가

2018년으로 접어들면서 언론계의 로봇 저널리즘에 관한 관심은 빠르게 식었다. ‘돈도 안 벌리고 회사에 별 도움이 안 되는 서비스’란 지적도 나왔다. 우리는 바로 이 시기에 뉴스통신사 연합뉴스에서 기사 자동화와 AI 도입 프로젝트를 시작한 실무진이다. 이런 배경을 고려할 때 우리가 해결해야 할 과제는 두 가지였다. 첫째, 자동화의 최종 결과물은 독자에게 뚜렷한 가치를 주는 콘텐츠여야 했다. 둘째, 언론사 내부에서 환영받을 자동화 서비스를 내놔야 했다.
-“서문 – 우리는 왜 이 책을 썼나” 중에서

기자의 업무 환경을 개선하는 수단으로 자동화와 AI 기술에 관심을 갖는 이들도 많았다. 그러나 국내 기자들이 1주일 동안 쓰는 평균 기사량은 2017년 22.4건으로 10년 새 7.1건이 오히려 늘었다. 매일 많은 기사를 빨리 쓰도록 장려하면 사실 확인, 심층 취재, 독창적 기삿거리 발굴은 점점 더 어려워진다. 핵심 팩트를 검증하고자 취재를 하느니 같은 시간에 출입처 보도자료를 옮겨 서너 편을 더 쓰는 게 낫기 때문이다. 기사를 쏟아내며 사실관계 검증은 부실한 탓에 오보가 잦아지고 말초적 관심만 노린 ‘하이에나 저널리즘’이 잇따른다.
-“2장 왜 언론은 자동화와 AI 기술이 필요할까 – 기레기의 늪” 중에서

2016년 5월 31일 IT전문지 전자신문은 증권정보업체 씽크풀과 협업을 통해 ‘엣봇’이라는 이름의 증시 자동화 봇을 출시했다. 1주일 뒤에는 파이낸셜뉴스와 협업해 fnRASSI를 내놓았다. 이듬해 1월에는 헤럴드경제와 협업해 한국어 기사 자동화 로봇 HeRo를 출시했다. 2018년 5∼6월에는 한국경제·매일경제와 협업해 각각 ‘한경로보뉴스’와 ‘아이넷’이라는 자동화 로봇을 선보였다. 한편 서울경제는 자체 개발로 추정되는 ‘서경뉴스봇’을 내놨다. 서울경제는 증권 정보에 머물지 않고 ‘서경부동산뉴스봇’도 선보였다.
-“3장 과거의 뉴스 자동화 – 한국의 자동화 ‘붐’은 2016년부터” 중에서

AI는 자동화보다 훨씬 더 다재다능하다. 특히 데이터마이닝은 기자들의 눈을 번쩍 뜨이게 만드는 기능이다. 데이터마이닝은 수많은 데이터에서 의미를 캐내는 일이다. 사람이 못 보는 ‘기삿거리’를 찾아준다. 뒤죽박죽 정보를 여러 카테고리로 정리하고, 특정 조건에 맞는 정보를 걸러내고, 여러 주체의 관계도를 그리는 작업이 대표적 예다.
-“4장 자동화와 AI는 언론에서 어떻게 쓰일 수 있나 – 학습의 힘” 중에서

로봇 기자는 인간 기자보다 열등하기 때문에 독자의 신뢰나 애정을 얻을 수 없다는 주장. 실제 그럴까? 지금껏 나온 연구 결과는 반대다. KAIST 정재민 교수팀이 2015년 일반인 600명을 대상으로 한 실험을 보자. 프로야구 경기 결과 기사를 각각 5점 척도로 평가하게 했다. 로봇 기자는 ‘잘 읽힌다’ 척도에서 3.47점을 받아 3.17점에 그친 인간 기자를 0.3점 이상 따돌렸다. 명확성과 신뢰성 부문에서도 3.55점과 3.59점을 따 인간 기자(각각 3.39점·3.47점)를 앞질렀다. 인간이 썼다는 사실에 대한 ‘프리미엄’이 거의 없다는 얘기다.
-“6장 기술에 대한 환상 깨기 – 로봇 기자는 인간보다 열등하지 않다” 중에서

통상 AI 요약은 원문의 문장을 그대로 들여와 배열만 다시 하는 추출(extraction) 방식과 요약문을 새롭게 다시 쓰는 초록(abstract) 방식이 있다. 초록 방식이 당연히 추출보다 자연스럽게 느껴지지만, 기술적 난도가 그만큼 높다. 네이버 요약봇은 추출 방식을 쓴다. 아골로 서비스는 초록과 추출을 혼용하는 하이브리드 방식을 구현하고 있다. 아골로는 2012년 미국 뉴욕의 컬럼비아대 대학원생들이 만든 스타트업이다.
-“11장 스타트업 취재 2 – ‘AI 요약의 선두주자’ 아골로 ” 중에서

기자의 일은 기술에 따라 바뀌어 왔다. 편집국·보도국의 직무 중 일부가 사라지거나 새로 생기는 경우도 많았다. 자동화와 AI의 도입은 어떤 변화를 가져올까? ‘인간보다 더 똑똑한 기계’라는 AI의 이미지 탓에 인간 기자가 로봇으로 대체되는 것 아니냐는 우려가 적잖다. 그러나 국외 언론사와 전문가들의 반응은 반대다. 블룸버그 통신의 존 미클스웨이트 편집국장은 “자동화 이후의 세상은 인간과 기계가 함께 일하는 곳이지 한쪽이 다른 쪽을 대체하는 상황이 아니다”라고 강조했다.
-“13장 기자 일은 어떻게 바뀔까 – ‘인간의 일’과 ‘기계의 일’의 분리” 중에서