인공지능을 위한 반도체 NPU 이야기 - 리벨리온 박성현 대표님
카테고리: Ect
🌍 Introduction
이번 주 학과 세미나에서 리벨리온의 박성현 대표님이 발표를 해주셨다. 리벨리온은 인공지능에 특화된 반도체 Neural Processing unit(NPU)를 설계하고, 이를 위한 소프트웨어(컴파일러)를 개발하는 스타트업 회사이다. 모니터 너머로 전해지는 에너지도 너무 좋았고, 세미나 내용도 굉장히 인상적이어서 꼭 기록에 남기고 싶었다.
High Frequency Traiding
박성현 대표님의 특이한 이력 중 하나는 모건 스탠리에서 High Frequency Traiding 관련 업무를 했다는 것이다. 나도 이번에 처음 알았는데, 미국은 원체 땅덩어리도 넓고 규모도 크다 보니 증권 거래소가 여러 개라고 한다. 즉, 같은 주식이라 하더라도 시카고 거래소에서의 가격과 뉴욕 거래소에서의 가격이 다르다는 뜻이다. 다른 거래소의 정보를 바탕으로 최대한 빠르게 오더를 내는 것이 대표적인 high frequcency traiding의 업무이다.
따라서 시카고의 데이터를 뉴욕으로 가져와야 하는데 이때 재미난 제약 조건이 있다. 바로 데이터를 아무리 빠르게 가져와도 빛의 속도를 넘길 수 없다는 것이다. 알고리즘이 주식을 살지 팔지 결정하는 데 걸리는 시간은 millisecond(0.001초) 안짝이라 데이터를 가져오는 시간 때문에 딜레이가 생긴다.
이 정도로 high frequcency traiding은 속도가 생명이다. 거래소에 등록된 물량을 무조건 남들보다 빠르게 긁어와야 하기 때문이다. 알고리즘이 buy 결정을 내리더라도 1초 전에 다른 회사가 물량을 가져가면 엄청난 손해를 보는 것이나 마찬가지이다. 따라서 Finance 업계는 알고리즘이 0.1초라도 빨라지면 무슨 짓이든 해야한다. 소프트웨어 최적화는 당연한 이야기이고, 하드웨어까지 최적화를 해야한다는 의미이다.
CPU 설계로 박사학위를 받은 박성현 대표님은 high frequcency traiding에 특화된 하드웨어 설계 업무를 제안받았고 창업을 결심하게 되었다고 한다.
실리콘밸리 vs 월스트리트
실리콘밸리의 경우 open-source와 같이 굉장히 바람직한 문화가 자리 잡고 있다. 새로운 모델이 등장하면 나 같은 나부랭이도 이해할 수 있도록 쉽게 설명해주고 코드도 상당 부분 오픈해버린다.
반면 월스트리트의 경우 절대 발표하지 않는다고 한다. 세미나 중 어떤 학생이 “퀀트 프로그램에 관심이 있는데 어디에서 자료를 찾아야 하나요?” 하고 질문했다. 이에 대한 대답이 월스트리트 문화의 특성상 직접 업계에 발 담그지 않는 이상 정보를 얻기 힘들다고 한다. 심지어 같은 회사 동료들한테도 정보를 숨긴다고 하니 말 다했다.
이런 척박한 환경이지만 돈이 된다면 무엇이든지 한다는 마인드 덕에 가장 먼저 NPU 바람이 불고 있다. 냉전시대의 로켓 기술이 엄청난 over-technology였다는 글을 본 적이 있다. 돈으로 때려 부어 몇십 년 기술을 앞당겼다는 의미인데 역시 세상을 움직이는 건 돈일까? 어쩌면 가장 기술이 앞서가는 분야는 Finance이지 않을까 하는 인터뷰 내용이 인상적이었다.
🌍 Neural Processing Unit - NPU
NPU를 한 마디로 설명하면 인공지능에서 필요한 연산에 특화된 반도체이다.
- CPU: for sclar computation & OS porting
- GPU: for vector(matrix) computation
- NPU: for Tensor computation
NPU가 필요한 이유
- Latency (지연 속도)
기존의 인공지능 알고리즘은 GPU를 이용해 가속해왔고 성능도 괜찮았다. 하지만 본래 GPU는 3D-Rendering을 위해 설계되었으므로 태생적인 한계가 존재한다. 앞서 언급한 high frequency traiding이나 자율주행처럼 0.1초에 민감한 경우 NPU가 필요하다.
- Energy Efficiency
GPU 가격을 보면 알겠지만 무지막지하게 비싸다. 그뿐만 아니라 전력 소모도 엄청난 전기 먹는 하마이다. 사실 지금까지의 인공지능은 대부분이 프로토타입이었다. 이제서야 profit을 내는 실제 서비스가 등장하는 단계이다. 하지만 GPU의 가격과 유지비용(전기세)은 수많은 사용자에게 서비스를 제공하기 쉽지 않다. NPU의 경우 2배 3배 정도가 아닌 10배 20배의 에너지 효율을 낼 수 있다.
🌍 NPU의 극복 과제
하나의 알고리즘에 특화된 NPU를 만들 경우 GPU 대비 엄청난 성능을 뽑을 수 있다. 하지만 하드웨어의 특성상 실제 칩을 찍고 사용하기까지 2년 정도가 소요된다고 한다. 여기서 문제가 발생한다. 머신러닝 업계에서 2년이면 강산이 변한다. 즉, 잘나가는 A 알고리즘을 위해 NPU를 설계하고 제작했더니 더이상 A 알고리즘이 쓰이지 않는다는 것이다. 이런 상황을 막기 위해 NPU도 유연성을 가져야 한다. 머신러닝 알고리즘에 특화된 날카로운 나이프를 만들어야 하지만 그 안에서 범용성을 갖춰야 한다는 의미이다. 당연한 이야기지만 범용성과 성능은 trade-off 관계이다. 이 둘 사이에서 적절한 지점을 찾는 것이 NPU 설계의 진수이자 NPU 회사의 경쟁력이라 할 수 있다. 리벨리온의 경우 다양한 domain에서 전문적인 활동을 했던 인력이 많다고 한다. 따라서 특정 도메인에 특화된, domain-specific한 npu를 설계할 수 있다는 것이 리벨리온의 강점이라 한다.
다음으로 문제가 되는 것은 NPU를 다루는 소프트웨어, 즉 컴파일러 문제이다. NVIDIA GPU의 경우 CUDA라는 전용 컴파일러가 존재한다. GPU는 병렬 프로그래밍을 해야하기 때문에 CUDA를 공부하는 것은 굉장히 고통스러운 일이다. 대부분의 AI 알고리즘은 힘든 과정을 거치며 GPU로 가속해왔다. 이런 사람들에게 “괜찮은 하드웨어가 새로 나왔으니 컴파일러 다시 공부하세요!” 하면 사람들이 받아들일까? 따라서 여러 NPU회사들이 컴파일러의 껍데기는 GPU의 컴파일러와 동일하게 만들려고 한다. NPU회사들의 입장에서 NVIDIA라는 공공의 적이 있기 때문에 이 껍데기 부분을 open source를 이용해 협력해서 개발한다고 한다. 인터뷰에서 반동탁연합군이라 표현했는데 정말 찰떡같은 비유이다.
🌍 NPU의 발전 과정
(방송 화면을 캡처한 자료입니다.)
구글에서 개발한 1세대 NPU, TPU를 살펴보자. TPU version1의 경우 efficiency는 엄청 좋지만 Conv/MatMul 뿐이 못하는 경직된 칩이다. 버전이 올라가면서 어느정도 성능을 포기하고 범용성을 높인 것을 알 수 있다.
- 나도 잘은 모르지만.. 메모리와 계산기를 바둑판 모양으로 두고 알고리즘에 따라 그림을 다르게 그리면 된다고 한다.
문제는 범용성을 크게 높이다보니 성능이 떨어져 NPU의 강점이 무색해진다는 것이다. CGRA의 경우 flexibility는 높지만 GPU대비 고작 3~4배 성능을 보인다. 이 정도면 NPU를 영업당하는 입장에서 “굳이..?”라는 생각이 든다. 10배 정도는 빨라야 불편을 감내하지 않겠나.
리벨리온의 전략은 “살을 내주고 뼈를 친다!”이다. 리벨리온의 강점인 domain-specific을 이용하여 flexibility는 살짝 감소시키고 perfomance를 크게 향상시켰다. 대략 20년 동안 수많은 AI 알고리즘이 만들어졌고, 이제는 새로운 알고리즘이라 하더라도 어느정도 예측 가능한 범위이다. 이 정도면 배팅할만 하다고 판단한 것이다.
🌍 NPU회사를 한국에서 창업한 이유
이 대목도 굉장히 인상적이었다. 박성현 대표님이 MIT에서 석박을 하셨는데, MIT의 EECS 학과는 EE(전기공학)와 CS(컴퓨터과학)가 합쳐진 형태이다. EECS에서 조교를 했더니 130명 중 120명이 CS로 간다는 것이다! 학부만 가지고는 반도체 업계에서 성공하기 어려울 뿐더러, 미국의 경우 소프트웨어 회사들이 너무너무너무너무 잘나가니까 전부 CS로 빠지는 듯 하다. 이처럼 미국 안에서의 젊은 피의 부족 + 삼성이라는 든든한 파운더리 회사 등 한국에 큰 메리트를 느꼈다고 한다.
🌍 개인적인 느낀점
이번학기에 Computer Architecture 강의를 듣는다. 이 타이밍에 실감나는 하드웨어 업계 이야기를 세미나로 들으니 너무너무 재밌었다. 그뿐만 아니라 모니터 너머로도 느껴지는 대표님의 에너지 덕에 반성도 하고 영감도 받았다. 스타트업에 대한 낭만이 다시금 스멀스멀 올라왔다. 물론 실력은 시궁창이지만. 나도 나중에 기회가 생긴다면 이런 도전을 해보고 싶다.
나는 개인적인 파일들은 네이버 클라우드(MyBox)를 통해 관리한다. 처음 사용했을 때 기대했던 것 이상으로 좋아서 놀랐었다. 우리나라가 조금만 힘내서 하드웨어도 소프트웨어도 최고가 됐으면 좋겠다. 인터뷰 영상에도 나오는 “한국만의 생태계”도 꿈만은 아닐 것이다. 가슴 뛰는 국뽕이다. 리벨리온도 나도 화이팅이다.
댓글 남기기