퓨리오사AI 레니게이드 NPU 핵심 요약
생성형 AI 모델의 크기가 커짐에 따라 데이터센터를 운영하는 엔터프라이즈의 가장 큰 고민은 엔비디아 GPU의 비싼 도입 비용과 막대한 전력 소모입니다. 국내 대표 팹리스 기업 퓨리오사AI FuriosaAI가 출시한 2세대 NPU 레니게이드 RNGD는 고대역폭 메모리 HBM3와 특화된 텐서 연산 코어를 결합하여 150와트 미만의 경이로운 저전력으로 최신 LLM 추론을 완벽히 소화합니다.
GPU의 태생적 범용성 한계와 NPU의 추론 전용 가속 효율
엔비디아 GPU는 그래픽 렌더링부터 복잡한 훈련 계산까지 아우르는 범용 프로세서이기에 추론 전용 워크로드에서는 불필요한 전력 누수가 발생합니다.
퓨리오사AI 레니게이드는 거대 트랜스포머 언어 모델과 비전 모델의 핵심인 텐서 수축 연산에 하드웨어 아키텍처를 집중시켰습니다. 48기가바이트의 초고속 HBM3 메모리를 단일 칩에 집적하여 Llama 3.1 8B나 Solar 10.7B 같은 모델을 고속으로 서빙할 때 전력당 토큰 처리량 Perf per Watt에서 엔비디아 플래그십 카드들을 능가합니다.
FuriosaAI RNGD vs NVIDIA H100 PCIe 추론 스펙 비교표
| 하드웨어 비교 지표 | FuriosaAI 레니게이드 RNGD NPU | NVIDIA H100 PCIe GPU |
|---|---|---|
| 최대 열설계 전력 소모량 TDP | 150와트 수준으로 표준 랙에 저발열 장착 | 350와트로 고성능 수랭 및 냉각 인프라 필수 |
| 탑재 고대역폭 메모리 규격 | 48기가바이트 용량 초고속 HBM3 채택 | 80기가바이트 용량 초고속 HBM3 채택 |
| 추론 서빙 시 전력 대 토큰 처리비 | 단위 전력당 출력 토큰 수에서 2배 이상 우수 | 절대 성능은 높으나 높은 전력 소모로 운영비 부담 |
| 소프트웨어 스택 및 오픈소스 호환 | 자체 컴파일러 및 vLLM 네이티브 서빙 지원 | CUDA 표준 생태계 및 TensorRT-LLM 성숙도 독점 |
| 도입 비용 및 하드웨어 가용성 | 합리적인 가격대와 빠른 하드웨어 수급 가능 | 글로벌 품귀 현상 및 수천만 원대 초고가 형성 |
엔터프라이즈 환경에서 NPU 서빙 클러스터를 구축하는 3단계
1단계. 표준 PCIe 슬롯에 퓨리오사AI 레니게이드 가속기 장착
고비용 특수 서버 대신 표준 데이터센터 1U 또는 2U 섀시에 컴팩트하게 탑재합니다.
2단계. 퓨리오사 SDK 런타임 드라이버 및 컴파일러 환경 구성
공식 드라이버를 설치하고 PyTorch로 학습된 파운데이션 모델을 텐서 그래프로 최적화합니다.
3단계. 오픈소스 vLLM 엔진과 결합하여 OpenAI 호환 API 엔드포인트 오픈
사내 개발팀이 기존에 사용하던 OpenAI API 호출 라이브러리를 그대로 연결할 수 있도록 호환 엔드포인트를 서빙합니다.
자주 묻는 질문 FAQ
Q. 기존 파이토치 PyTorch로 짠 코드를 완전히 다시 고쳐야 하나요?
퓨리오사 전용 컴파일러가 PyTorch 모델 가중치를 자동으로 양자화하고 최적화하므로 기존 코드 수정 없이 즉시 배포할 수 있습니다.
Q. 70B 이상의 초대형 언어 모델도 지원하나요?
복수의 레니게이드 NPU 카드를 단일 노드에서 인터커넥트로 묶어 텐서 병렬 처리를 수행하므로 70B급 거대 모델도 부드럽게 구동됩니다.
Q. 클라우드 인스턴스로도 빌려 쓸 수 있나요?
국내 주요 클라우드 서비스 제공사 CSP와의 파트너십을 통해 시간당 종량제 가상머신 형태로 손쉽게 인스턴스를 프로비저닝할 수 있습니다.
