[책] 빅 데이터 속 알짜 정보 찾는 법

■ 신호와 소음
네이트 실버 지음, 더퀘스트 펴냄


전세계를 충격에 빠뜨린 9.11 테러. 사건을 암시하는 '신호'는 이미 도처에 존재했다. 1994년 알제리 테러리스트들이 제트비행기를 납치해 에펠탑으로 돌진하겠다고 위협했고, 1998년 알 카에다와 관련된 집단이 폭발물을 실은 비행기로 세계무역센터를 들이 받으려고도 했었다. 9.11 이전 비행기를 무기로 한 테러 경고는 최소한 10건이 있었다. 2001년 미국 CIA 국장은 "육감입니다만 뭔가 다가오고 있는 거 같습니다. 이번에는 엄청나게 큰 놈으로 보입니다."라는 말을 했다. 사건 발생 직전 분명히 재앙을 암시하는 신호가 있었지만 정부 관료와 정보 전문가들은 이를 놓치거나 '소음'으로 무시했다.

우리가 사는 세상은 예측이 어려운 복잡다단한 세계다. 빅 데이터라는 말이 유행할 정도로 엄청난 정보가 홍수를 이루지만 그 속에서 유의미한 것을 찾아 미래를 예측하는 것은 더욱 어려워지고 있다. 왜 수많은 예측들이 실패하고 일부의 예측은 맞아 떨어질까. 이 책의 저자는 2012년 미국 대선 결과를 정확하게 맞히고 메이저리그 선수의 성적 예측 시스템 개발로 예측의 천재라 불리는 네이트 실버. 그는 무수한 정보 중 진실을 담은 '신호'와 의미 없는 '소음'을 구별하는 것이 정확한 예측을 위한 선과제가 된다고 강조한다. 이를 통해 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 미래를 제대로 예측하는 방법을 제시했다.

저자가 신호와 소음을 구분하기 위해 사용한 도구는 통계학의 '베이즈 정리'다. 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 적용해 사후 확률을 개선해 나가는 방법이다. 예컨대 동전을 던져 앞면이 나올 확률이 50%이지만, 찌그러진 동전을 던졌을 때는 확률이 달라질 수 있다. 이 땐 공장에서 찌그러진 동전이 생산될 확률까지 가정해야 한다. 이런 식으로 새로운 상황과 정보에 따라 확률을 수정하는 것이 베이즈 정리다. 책은 체스, 포커에서 검증된 베이즈의 정리를 주식, 지구온난화, 테러 등으로 확대해 이야기를 전개한다./2만8,000원.

<저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지>