디지털 세계에서 아직 분석되지 않은 데이터가 폭발적으로 늘고 있다. 기업은 이제 막 데이터의 가능성에 눈을 뜨기 시작했다.
BY MICHAL LEV-RAM
인터넷과 연결된 기기와 기계들, 그리고 쌍방 소통이 가능한 애플리케이션들이 유례 없이 늘어나는 환경에서 기업들은 역사상 가장 많은 양의 정보를 축적하고 있다(전 세계 데이터의 90%는 지난 2년 동안 생산된 것이다).
페타바이트 petabyte *역주: 약 100만 GB로 DVD 영화(약 6GB) 17만 4,000편을 담을 수 있는 용량 단위까지 늘어난 데이터를 저장하고 분리해 유의미한 정보를 생산할 필요성이 커지면서 전 세계적으로 데이터센터에 엄청난 투자가 이뤄지고 있다. 리서치 업체 IDC에 따르면, 미국만 해도 소위 서버팜 server farm이라 불리는 서버그룹이 오리건 주부터 아이오와 주까지 290만개나 퍼져 있다. 이곳에서 구글과 마이크로소프트, 페이스북이 수십억 달러를 투자해 자사 설비를 짓고 있다. 하지만 이건 겨우 시작에 불과하다.
현재 미국에 있는 데이터센터의 총면적은 약 6억 6,600만 평방피트(약 1,855만평)다. 2016년까지 이 수치는 7억 2,700만 평방피트(2,043만평)까지 증가할 것으로 예상된다. 그 밖에도 홍콩과 브라질, 그리고 두바이 같은 기업 친화적이고 인구밀도가 높은 지역에서 데이터센터가 우후죽순으로 생겨나고 있다. 데이터센터 중 가장 빠르게 성장하는 분야인 클라우드 컴퓨팅의 통신량은 2012년부터 2017년까지 4배 이상 늘 것으로 예상된다. 그렇게 되면 2017년에는 클라우드가 총 부하량의 3분의 2를 차지할 것이다.
또 다른 혁신은 사물인터넷(the Internet of Things)이다. 사물인터넷은 가전기기와 자동차 및 여타 통신기기와 사물 간의 무선 통신을 의미한다. 리서치 업체 가트너 Gartner에 따르면, 2020년까지 PC나 전화기가 아닌 쌍방 소통 기기가 260억 개로 급증할 것이다(2009년만 해도 10억 개가 채 안됐다). 그리고 이들은 모두 데이터를 만들고 전송한다.
그렇다면 이 모든 것은 기업에 어떤 의미를 지닐까? 먼저 방대하고 점차 늘어나는 정보를 처리하기 위해 스마트하고, 비용대비 효과적이며, 미래지향적인 전략이 필요하다. 또 오픈 소스 기반의 소프트웨어 플랫폼 하둡 Hadoop방대한 데이터를 처리하는 데 쓰인다같은 도구가 필요하다. 이 모든 데이터를 활용해 의미 있는 정보를 생산할 수 있는 기술자가 필요함은 두 말할 나위도 없다.
데이터의 유용성은 이를 어떻게 활용하느냐에 달려있다. 빅 데이터도 그렇다. 이미 데이터 활용의 초기 성공 조짐이 나타나고 있다. 월마트를 비롯한 여러 대형 마트는 소비자가 온라인으로 어떤 상품을 둘러보는지 추적해 매장에서 동일 상품을 할인해 주고 있다. 공익회사는 기기의 상호 연결을 통해 파이프 누수와 절전을 더 잘 관리할 수 있게 되었다. 또 몬산토 Monsanto 같은 대규모 농기업은 날씨와 농작물 상태를 더 잘 측정하기 위해 예측 분석 시스템을 활용하고 있다.
그러나 떠들썩한 분위기에도 빅 데이터는 아직 초기 단계에 머물러 있다. IDC에 따르면, 지난해 전체 디지털 정보 중 분석 대상이 된 데이터는 22%에 불과했다. 그나마도 실제 분석된 데이터는 단 5%였다. 아직도 방대한 양의 데이터가 단절된 시스템 하에 따로 존재하는 탓에 서로‘소통’하지 못하고 있다. 이렇게 되면 정보는 거의 쓸모 없게 된다. 하지만 기업이 새롭고 더 효율적인 최신식 데이터센터 기술과 분석 도구를 활용함에 따라, 빅 데이터의 앞날은 밝아질 수 있다. 데이터는 지금보다 훨씬 더 커질 것이다.
