이번에 개발한 빅데이터 분석 시스템인 ‘투픽스(TuPiX)’는 클러스터와 같은 빅데이터 처리 환경에서 데이터 처리 및 분석에 소요되는 시간을 획기적으로 줄인 것이 특징으로 데이터 저장 및 계산 방식의 변화를 통해 대용량 데이터를 병렬분산처리할 때 발생하는 원형 데이터의 전처리·불러오기·재구성 과정없이 바로 원형 데이터에 접근하는 방식을 취했다.
투픽스의 또다른 장점은 환경설정에서 손쉽게 필요한 만큼 컴퓨팅 노드를 추가 연동할 수 있다는 것. 고가의 컴퓨팅 자원뿐만 아니라 대중적인 개인용 컴퓨터 수준의 사양으로도 클러스터를 구성할 수 있어, 고성능 하드웨어를 도입하기 어려운 소규모 조직의 경우 인프라 구축 비용을 크게 절감할 수 있다.
KISTI는 한국해양과학기술원과 극지연구소에 위성영상 및 해양연구에 필요로 하는 기관의 특성을 고려해 맞춤형 분석 및 가시화 기능을 추가한 투픽스 오션 컬러 시스템을 무상 기술이전했다.
그동안 한국해양과학기술원과 극지연구소 연구자들은 데이터 처리와 분석 기술의 한계로 장기간의 고해상도 데이터를 분석하는 데에 한계가 있었는데 이번 기술이전을 통해 연구기관, 관측범위, 해상도 및 데이터 규모에 큰 제약 없이 연구를 수행할 수 있게 될 전망이다.
현재 KISTI는 두 기관과 함께 투픽스를 기반으로 식물 플랑크톤 번성 패턴 모델과 한반도 연안의 유해 적조종 발생 가능도 모델도 개발해 자연재해로 발생하는 피해를 줄여나갈 수 있는 협업 연구를 진행 중이다.
박경석 KISTI 과학데이터기술연구실장은 “데이터 검색 및 관리에 필요한 비용과 시간을 크게 줄일 수 있어 연구 생산성과 빅데이터 분석 및 관리 효율성 향상에 기여할 것으로 기대한다”며 “향후 핵융합, 유전체 분석, 에너지, 지진 및 해일 등의 과학연구뿐만 아니라 계산 금융, 지리정보, 사회연결망 등 대규모의 계산과 데이터 관리가 필요한 다양한 응용 분야를 발굴해 빅데이터 분석 플랫폼을 확산시켜 나갈 예정”이라고 말했다.
대덕=구본혁기자 nbgkoo@sedaily.com
