1대의 PC로 1조개 규모의 그래프 알고리즘 계산한다

(대전=뉴스1) 심영석 기자 = KAIST 전산학부 김민수 교수 연구팀이 그래프 데이터 기반 알고리즘 연구에 획기적 돌파구를 마련했다.

한 대의 PC로 1조개 규모의 그래프 알고리즘을 계산 가능한 이 기술은 기존 대비 1만배나 효율을 향상시킬수 있다.

23일 KAIST에 따르면 인공지능, 블록체인 등의 연구에서 그래프 데이터의 복잡성으로 그 크기가 커질 때 막대한 규모의 컴퓨터 클러스터가 있어야만 알고리즘 계산이 가능하다.

이에 연구팀은 근본적으로 이를 해결하는 ‘T-GPS(Trillion-scale Graph Processing Simulation)’라는 기술을 개발했다.

이 기술은 그래프 데이터를 실제로 디스크에 저장하지 않고도 마치 그래프 데이터가 저장돼 있는 것처럼 알고리즘을 계산할 수 있고, 계산 결과도 실제 저장된 그래프에 대한 알고리즘 계산과 완전히 동일하다는 장점이 있다.

지금까지는 그래프 알고리즘을 개발하기 위해 먼저 합성 그래프를 생성 및 저장한 후, 이를 다시 그래프 처리 엔진에서 메모리로 적재해 알고리즘을 계산하는 2단계 방법을 사용했다.

연구팀은 이같은 2단계 방법의 문제를 해결하는 연구를 진행했다.

그 결과 그래프 데이터상에서 그래프 알고리즘이 계산을 위해 접근하는 부분을 짧은 순간 동안 실시간으로 생성해, 마치 그래프 데이터가 존재하는 것처럼 알고리즘을 계산하는 기술을 개발했다.

이때 그래프 데이터를 아무렇게 실시간 생성하는 것이 아니라 합성 그래프 모델에 따라 생성하고 저장한 것과 동일하도록 실시간 생성하는 것이 핵심기술이다.

특히, 그래프 처리 엔진이 실시간으로 생성되는 그래프를 실제 그래프처럼 인식하고 알고리즘을 완전히 동일하게 계산하도록 엔진을 수정했다.

실제 연구팀은 T-GPS 기술을 종래의 2단계 방법과 성능을 비교했다.

종래의 2단계 방법이 11대의 컴퓨터로 구성된 클러스터에서 10억 개 간선 규모의 그래프를 계산할 수 있었다.

반면, T-GPS 기술은 1대의 컴퓨터에서 1조개 간선 규모의 그래프를 계산할 수 있어 컴퓨터 자원 대비 1만배 더 큰 규모의 데이터를 처리를 할 수 있음을 확인했다.

또, 알고리즘 계산 시간도 최대 43배 더 빠름을 확인했다.

김민수 KAIST 교수는 “이번 연구결과는 그래프 알고리즘의 개발 규모와 효율을 획기적으로 높일 수 있어 산업적 측면에서 파급 효과가 매우 클 것으로 기대한다?고 말했다.

<저작권자 © 뉴스1코리아, 무단전재 및 재배포 금지>