기존 기술보다 최대 14배 빠르게…100배 더 많은 데이터 분석 가능향후 빅데이터 기반 기계학습 및 다양한 산업분야에 활용 기대
  • DGIST 정보통신융합전공 김민수 교수(좌측 위), 남윤민 박사과정생(우측 위), 한동형 박사과정생(우측 아래).ⓒDGIST
    ▲ DGIST 정보통신융합전공 김민수 교수(좌측 위), 남윤민 박사과정생(우측 위), 한동형 박사과정생(우측 아래).ⓒDGIST

    DGIST 연구진이 기존의 데이터 처리 기술과는 다른 방식으로 데이터를 분석하는 기술을 개발했다.

    기존 기술이 갖고 있던 한계를 극복하고 더 많은 데이터를 더 빠르게 처리할 수 있게 돼 향후 그 활용이 기대된다.

    DGIST(총장 국양)는 정보통신융합전공 김민수 교수팀이 기존 기술들보다 최대 14배나 더 빠르고, 100배 더 많은 데이터를 처리할 수 있는 ‘DistME(Distributed Matrix Engine) 기술’을 개발했다고 4일 밝혔다.

    이 기술은 향후 빅데이터 처리가 필요한 기계학습 분야나 대규모 데이터를 분석하는 산업분야에 활용될 것으로 벌써 기대가 커지고 있다.

    기계학습 및 과학기술 분야 등 사회 여러 분야에서 널리 사용되는 데이터 형태는 수(數)들을 행과 열로 표현하는 ‘행렬’ 데이터이다.

    하지만 최근 데이터 규모가 증가하며 기존 기술의 처리 능력도 한계에 다다랐다. 특히 데이터 처리에 필수적인 곱셈 연산의 경우, 기존의 방식들로는 빅데이터와 같은 큰 규모의 데이터는 처리가 힘들다. 이는 기존 곱셈 연산법들은 유동적인 분석·처리가 힘들고, 데이터 처리 시 많은 양의 네트워크 데이터 전송이 필요하기 때문이다.

    이에 김 교수팀은 기존과 ‘CuboidMM’이라 불리는 행렬 곱셈 연산법을 고안했는데 기존 곱셈 연산법들은 유동적인 적용이 불가능했지만, CuboidMM은 상황별 최적의 기법을 유연하게 적용해 연산을 수행한다.

    김 교수팀이 개발한 DistME 기술은 CuboidMM을 GPU와 결합해 처리속도를 향상시킨 것으로, ScaLAPACK과 SystemML보다 각각 6.5배, 14배 더 빠르고 SystemML보다 100배 이상 더 큰 행렬 데이터 분석이 가능하다.

    이에 따라 향후 온라인 쇼핑몰, SNS를 포함한 큰 규모의 데이터를 처리가 필요한 여러 분야에서 기계학습을 적용할 수 있는 새로운 가능성을 열 것으로 기대된다.

    김 교수는 “최근 세계적으로 각광받는 기계학습 기술은 행렬형태의 빅데이터 분석 속도와 분석 처리 규모면에서 한계가 있었다”며 “이번에 개발한 정보처리 기술은 그 한계를 극복할 수 있는 기술로, 기계학습 뿐만 아니라 광범위한 과학기술 데이터 분석 응용에 유용하게 활용될 것으로 기대된다”고 말했다.

    한편, 이번 연구 결과는 DGIST 정보통신융합전공 한동형 박사과정생이 제1저자로 참여했으며, 네덜란드 암스테르담에서 열린 데이터베이스 분야의 세계 최고 권위 학술대회인 ACM SIGMOD 2019에 지난 3일 발표됐다.