가치를같이읽다

미국 항공우주국(NASA)은 1.3초마다 태양의 사진을 찍는다. 이 데이터는 태양을 연구하는 데 큰 자산이다. 하지만 모두 사용할 수 있는 건 아니다. 그중 쓸 만한 사진을 골라서 데이터 분석을 해야 하는데 결코 쉬운 작업이 아니다. 그 양이 상상 이상으로 많아서다. 불량 픽셀을 골라내고, 데이터를 분석하는 데 걸리는 시간은 아무리 짧게 잡아도 1년이다. NASA는 특단의 대책을 마련하기 위해 엔비디아를 만났다.

과학자들과 연구진은 미국 항공우주국(NASA)의 태양활동관측위성(Solar Dyna mics Observatory·SDO)을 통해 태양의 이미지를 수집, 다양한 태양의 변이를 연구한다. 이 데이터는 연구계에 큰 자산이 된다. 태양이 지구 생명체에 주는 영향을 파악할 수 있어서다. 문제는 이렇게 수집된 이미지의 양이 어마어마하다는 점이다. 그 양이 20페타바이트(PB)에 달하다 보니 이미지 정보를 분석한다는 것 자체가 엄청난 도전이 아닐 수 없다. [※참고 : 1페타바이트가 1000조 바이트이니, 20페타바이트는 2경 바이트다.]  

NASA 팀은 이런 문제를 극복하기 위해 엔비디아 쿼드로(Quadro) RTX 기반의 데이터 사이언스 워크스테이션인 ‘Z by HP’를 이용하고 있다. 이를 활용하면 CPU 대비 150배 빠른 속도로 데이터를 간편하게 분류하고, 이미지를 분석할 수 있다.

자! 사전 지식을 대방출했으니, 좀 더 구체적으로 이 이야기를 해보자. NASA의 태양활동관측위성은 1.3초마다 태양의 이미지를 촬영해 데이터를 수집한다. 이 때문에 연구진은 이미지 데이터에서 불량 픽셀 같은 오류를 삭제해 아카이브에 저장하는 알고리즘을 개발해야 했다. 하지만 수집한 전체 이미지의 양이 20페타바이트에 달하다 보니 오류로 분류된 픽셀만 해도 수십억개에 달했다. 

NASA 팀엔 특단의 대책이 필요했다. 1000억여건의 불량 픽셀이 담긴 1억5000만개의 오류 파일을 샅샅이 살펴보면서 정상적인 픽셀과 불량 픽셀을 분류해 라벨을 붙여야 했기 때문이다. 당연히 기존 컴퓨팅 방식으로 픽셀을 분류해 라벨링하는 작업은 사실상 불가능했다. CPU를 사용하면 최소 몇년은 걸리는 작업이었다. 아무리 뛰어난 멀티 스레드(multi-thre ad) CPU 알고리즘을 개발한다 해도 이 모든 데이터를 컴퓨팅하고 분석하는 데엔 1년이라는 시간이 필요했다. 

NASA 고더드 우주비행센터(Goddard Space Flight Center)의 태양 천문학자인 라파엘 아티(Raphael Attie)는 이런 문제를 너무도 잘 알고 있었다. “우리가 발견한 결과를 연구하고 반복처리하려면 1년도 부족하다. 컴퓨팅 작업에만 1년이 걸린다. 구체적인 결과를 도출하려면 최대 10년이 소요될 것이다.”

더 큰 문제는 NASA 연구진에게 그렇게 많은 시간적 여유가 없었다는 점이다. 그보다 훨씬 짧은 시간 안에 결과를 도출해야 했다. NASA 연구진이 엔비디아 GPU로 병렬 처리할 수 있는 방안을 찾아보기로 한 이유다.

획기적인 작업 속도

NASA가 선택한 건 언급했듯 엔비디아 쿼드로(Quadro) RTX 기반의 데이터 사이언스 워크스테이션인 ‘Z by HP’였다. ‘Z by HP’는 슈퍼컴퓨팅 리소스 사용하면 까다로운 절차를 거쳐야 하는 NASA의 고민을 단숨에 해결해 줬다. NASA 연구원들은 자기 자리에서 바로 슈퍼컴퓨팅 리소스에 접근할 수 있다. 그 덕에 이미지 분석과 도출에 소요되는 시간을 일주일 이내로 단축할 수 있었다. [※참고 : NASA의 슈퍼컴퓨팅 리소스를 사용하려면 얼마만큼의 컴퓨팅 리소스가 필요한지, 언제까지 그 리소스를 사용해야 하는지 등의 상세정보를 제공해야 했다. 절차가 까다롭다 보니 어마어마한 태양광 데이터를 분석해야 하는 연구진은 슈퍼컴퓨팅 리소스 사용 신청 자체를 하지 못했다.] 

NASA의 천체 물리학자인 마이클 커크(Michael Kirk)는 데이터 사이언스 워크스테이션을 사용한 소감을 이렇게 밝혔다. “데이터 사이언스 워크스테이션은 실행 가능한 업무 범위를 완전히 바꿔 놨다. 우리가 기대했던 컴퓨팅 속도보다 최소 10배에서 최대 150배까지 빨라졌다. 전에는 상상조차 할 수 없었던 연산 속도다.”

이처럼 AI와 빅데이터 애널리틱스 분야에서 ‘단순한 연산작업’은 프로젝트에 엄청난 영향을 미친다. 일종의 방해요소다. 이 방해요소들은 장기적으로 프로젝트의 추진력과 생산성, 그리고 멤버들의 동기 부여를 저하시킨다. ‘Z by HP’처럼 업그레이드된 시스템이 필요한 이유다. 

고더드 우주비행센터의 아티 연구원은 이렇게 말했다. “원하는 결과를 빨리 도출하려면 GPU 장치를 이용해 입력 데이터에 신속히 접근할 수 있어야 한다. GPU 장치와 동일한 기계에 데이터를 로컬로 갖고 있을 수 없다면, AI 애플리케이션이 데이터에 빠르게 액세스할 수 있는 경우가 많은 것처럼 네트워크 역시 굉장히 빠르고 탄력적이어야 한다.” 

김미란 더스쿠프 기자
lamer@thescoop.co.kr