세계 각국의 다양한 HPC

[테크월드=정환용 기자] 기자가 지금까지 TV와 스크린에서 봐 왔던 수많은 영상물, 그리고 그 안에서 볼 수 있었던 인공지능 가운데 현실과의 괴리감이 가장 덜 느껴졌던 것이 있다. 미국 CBS의 스릴러 ‘퍼슨 오브 인터레스트’(Person of Interest)에 등장한 2개의 시스템 ‘기계’(the Machine)와 ‘사마리아인’(Samaritan)이다. 둘의 공통점은 ‘데이터화된 모든 정보를 수집해 범죄와 연관되는 사람을 예측한다’는 것이다. 주민정보와 인터넷 기록은 물론 통화 기록, 금융거래 내역, 당사자가 찍힌 CCTV, 범죄기록까지 모든 정보를 수집해 범죄의 가해자나 피해자가 될 가능성이 높은 사람을 찾는 것이다. 극중 잠깐 등장하는 이 시스템의 규모는 데이터센터 1개 층 규모로 상당히 큰데, 헤아릴 수 없는 양의 데이터를 빠르게 처리하는 과정을 보면 납득할 만한 수준이다.

이처럼 방대한 양의 데이터를 빠른 시간 내에 처리하려면, 단일 프로세서 기반으로는 불가능하고 수천·수만 단위의 프로세서가 힘을 합쳐야 한다. 또한, 이렇게 연결된 하드웨어들은 실시간으로 정보를 주고받을 수 있는 환경이 갖춰져야 한다. 복수의 프로세서를 연결해 시스템 전체의 성능을 높일 때 사용하는 연산 구조가 ‘병렬 컴퓨팅’(Parallel Computing)이다. 프로세서 하나가 낼 수 있는 속도가 트랜지스터 집적도나 공정의 세밀화 등에서 한계에 다다르면서, 하드웨어를 네트워크로 병렬 연결해 성능을 끌어올리는 병렬 컴퓨팅이 사용되기 시작했다. 현재 거의 모든 슈퍼컴퓨터가 이 구조로 구축된 시스템이라고 보면 된다.

Part 1. 기계학습으로 숙성되는 인공지능
Part 2. 고성능 컴퓨팅 시스템이 필요한 이유
Part 3. 다양한 HPC와 컴퓨터 소개

인텔 – HPC 오케스트레이터

대표적으로 HPC 플랫폼을 제공하는 기업을 알아보자. 인텔은 컴퓨팅, 메모리와 스토리지, 패브릭과 소프트웨어 등 HPC의 구성 요소가 점점 시스템의 양적 요건을 충족시키는 방향으로 진화해 왔다고 판단했다. 새로운 기술보다는 더 많은 시스템의 균형 잡힌 연결이 필요하다고 본 인텔은, 점점 복잡해지는 모델링·시뮬레이션 워크로드 시스템을 발전시켜 기계 학습을 비롯해 고성능 데이터 분석, 시각화 작업을 해결해 나가고 있다.

인텔은 HP 엔터프라이즈(HP Enterprise, 이하 HPE), 델(DELL), 아마존 웹서비스(Amazon Web Service, 이하 AWS) 등의 기업들과 HPC 간소화를 위해 협업하고 있다. 인텔의 HPC 오케스트레이터는 HPC 시스템의 소프트웨어 스택에 필요한 통합과 검증 작업량을 줄여, HPC 시스템의 설치와 관리, 유지보수를 간편하게 만들어 준다. 피사 대학교, 플리머스 대학교, 텍사스 기술대학교 등 인텔 HPC 오케스트레이터를 경험하고 있는 학교들은 이 솔루션을 적용한 뒤 필요한 작업을 더 빨리 처리하고, 클러스터 소프트웨어 환경을 구성하는 시간도 획기적으로 줄일 수 있었다고 언급했다.

AWS - 새로운 통찰력 확보

AWS는 HPC를 효과적으로 활용하기 위해선 뛰어난 컴퓨팅 성능과 더불어 대용량 메모리, 빠른 스토리지와 네트워크 성능 등이 복합 작용해야 한다고 말한다. 자사의 클라우드 HPC 서비스는, 온프레미스 환경에서는 그다지 실용적이지 않았던 다수의 병렬 작업을 확장시켜 작업 속도를 높이고 결과를 얻는 시간을 단축할 수 있다고 자신한다. AWS는 자사의 HPC 솔루션을 이용해 ▲확장 작업 대기열 시간이 없고 클러스터를 필요한 만큼 확장할 수 있는 검색 기능 ▲인프라 유지·관리보다 애플리케이션에 집중하도록 하드웨어 업그레이드를 통한 생산성 향상 ▲유연한 구성 옵션으로 고유의 애플리케이션 요구사항에 최적화된 아키텍처 ▲HIPAA, FISMA, FedRAMP, PCI 등에 준하는 솔루션을 구축할 수 있는 협업 지원 ▲서비스 내에서 사용한 만큼만 지불하는 비용 지불 옵션 등의 혜택을 누릴 수 있다고 언급했다.

HPE – 대용량 컴퓨팅 통한 혁신

HPE는 인텔과 협업해 다양한 규모에서 워크로드를 처리할 수 있는 HPC 솔루션을 제공한다. 독일의 화학 기업 BASF(Badische Anilin & Soda Fabrik)는 HPE의 아폴로 6000 시리즈 시스템 기반의 슈퍼컴퓨터를 도입해 화학 연구의 디지털화를 추진하고 있고, 제조·엔지니어링 산업을 비롯해 금융, 생명과학, 에너지 등의 산업에서 자사의 고성능 컴퓨팅 솔루션을 제공하고 있다.

▲HPE 인프라 컴퓨팅 경험: 만물인터넷(Internet of Everything, IoE) 환경에서 컴퓨팅을 활용해 데이터에서 인사이트를 창출하고, 아이디어에서 새로운 비즈니스 모델을 만들 수 있다.

▲HPE 슈퍼컴퓨팅: 다른 업체보다 더 많이 구축할 수 있는 강력한 HPE 슈퍼컴퓨터는, 현재 보편화된 슈퍼컴퓨터보다 더욱 우수한 성능과 효율성을 자랑하는 엑사스케일 컴퓨팅 기술을 전 세계에 제공하고 있다.
▲엑사스케일(ExaScale) 한계 개선: ‘인공지능으로 가는 관문’으로도 알려진 엑사스케일 컴퓨팅은 초당 연산 속도가 1엑사플롭스(EF, 10의 18승)에 이르는 슈퍼컴퓨팅 성능이다. 현재 세계 1위 슈퍼컴퓨터의 속도가 약 93페타플롭스인데, 이보다 11배 더 빨라져야 엑사컴퓨팅이 가능해진다. HPE는 엑사스케일 컴퓨팅 프로토타입을 설계·개발해 시스템 아키텍처, 구성요소와 기술, 에너지 효율성, 규모 등의 제반 사항을 해결하기 위해 노력하고 있다.