• ▲ 김민수 디지스트 정보통신융합공학 전공 교수 ⓒ디지스트 제공
    ▲ 김민수 디지스트 정보통신융합공학 전공 교수 ⓒ디지스트 제공

    그래픽처리장치 즉 GPU를 기반한 빅데이트 처리기술이 기존보다 300배 이상 향상된 기술이 개발돼 눈길을 끈다.

    디지스트는 정보통신융합공학전공 김민수 교수 연구팀이 그래픽처리장(GPU·Graphic Processing Unit)을 기반한 빅데이터 고속 분석기술을 개발해 화제다.

    디지스트는 11일 김 교수 연구팀이 GPU를 활용해 비용 대비 성능 측면에서 300배 이상 빠른 GPU 기반 빅데이터 분석 및 처리 기술(GStream)을 개발했다고 밝혔다.

    이번에 개발된 GStream 기술은 웹, 소셜네트워크, 생명과학, 뇌과학 등 다양한 분야에서 사용되는 그래프 형태의 빅데이터를 두 개의 GPU가 장착된 PC 한 대를 이용해 초당 14억 개의 간선들을 분석할 수 있는 기술로서 세계 최고 수준의 성능(1,400 MTEPS)을 보인 것으로 나타났다.

    현재까지 이 기술로 개발된 대표적인 것은 미국 카네기멜론대학의 GraphLab. 이 기술은 64개 고성능 서버들과 10기가 고속 네트워크로 구성된 5억원 규모의 대규모 분산 시스템을 이용해 14억 개의 간선들로 이루어진 트위터 데이터를 3.6초 만에 페이지랭크를 분석가능했다.

    하지만 김 교수팀이 개발한 GStream 기술을 적용하면 GPU 두 개가 장착된 500만원 상당의 PC 1대로 1초 만에 분석해 비용 대비 성능 측면에서 약 360배 우수한 성능을 보였다.

    그동안 GPU는 CPU에 비해 이론적 성능이 수십 배 이상 뛰어나다고 알려져 왔으나, 수기가바이트 정도에 지나지 않는 GPU로 수십 배 이상 더 큰 규모의 그래프와 같은 복잡한 형태의 데이터를 처리할 수 있는 기술 개발이 어려워 활용되지 않았던 것이 사실.

    이에 김 교수 연구팀은 데이터베이스 분야의 중첩 루프 세타 조인이라는 개념을 GPU 컴퓨팅에 접목, 그래프 데이터를 페이지 단위로 나눴고 주메모리로부터 GPU메모리로 비동기적인 방식으로 스트리밍하는 동시에 GPU의 수천 개의 계산 코어들을 분석하는 새로운 방식을 시도해 GPU 메모리의 크기와 제한 없이 빅데이터를 고속으로 처리하는 방식을 개발한 것이다.

    김 교수는 “다양한 분야에서 활용하는 그래프와 같은 복잡한 형태의 빅데이터를 GPU 기반의 고속 분석 기술을 확보했다”며 “사물인터넷(IOT) 기술의 발전으로 장차 일상생활 속에서 복잡한 형태의 빅데이터가 사용될 때 소형 컴퓨팅 장치로 빅데이터를 분석하는 길을 열 수 있게 될 것”이라고 말했다.

    한편, 이번 연구 성과는 지난 8일 열린 병렬 프로그래밍 분야 세계적 학술대회인 ACM PPoPP 2015에서 발표됐다.