홈으로 돌아가기
공식 웹사이트 방문하기
TensorRT-LLM 엔비디아 공식 GPU LLM 초고속 추론 가속 라이브러리
공식 서비스 바로가기
서비스 상세 소개
TensorRT-LLM 엔비디아 공식 GPU LLM 초고속 추론 가속 라이브러리: 엔비디아 텐서 코어 GPU의 하드웨어 잠재력을 극한으로 끌어올려 FP8 양자화, 인플라이트 배치, 텐서 병렬화를 통해 LLM 서빙 처리량을 수 배 이상 극대화하는 추론 엔진입니다.
TensorRT-LLM은 엔비디아가 자사 GPU 아키텍처에 맞춰 직접 설계한 오픈소스 LLM 추론 최적화 프레임워크입니다. FlashAttention 최신 커널, Paged KV 캐시, 그리고 요청이 들어오는 즉시 유휴 슬롯에 배치하는 In-Flight Batching 기술을 통합하여 대규모 서비스 환경에서 토큰 지연 시간을 극소화합니다. Llama, Mistral, Qwen, DeepSeek 등 최신 오픈 가중치 모델을 컴파일하여 초당 수천 토큰을 안정적으로 서빙합니다.
핵심 기능 목록
엔비디아 H100 및 B200 텐서 코어에 최적화된 FP8 및 INT4 하드웨어 양자화 지원
요청별 지연 시간을 최소화하고 GPU 가동률을 극대화하는 인플라이트 배치 기술 탑재
멀티 GPU 및 멀티 노드 클러스터를 위한 고성능 텐서 파이프라인 병렬화 아키텍처
Triton Inference Server와의 원활한 결합을 통한 프로덕션 레디 서빙 스택 완성
