홈으로 돌아가기
공식 웹사이트 방문하기
Hugging Face TGI 텍스트 제너레이션 인퍼런스 프로덕션 LLM 초고속 서빙 엔진
공식 서비스 바로가기
서비스 상세 소개
Hugging Face TGI 텍스트 제너레이션 인퍼런스 프로덕션 LLM 초고속 서빙 엔진: 대규모 언어 모델을 프로덕션 서버에서 연속 배치와 플래시 어텐션 기술로 최고 속도로 서빙하는 오픈소스 추론 프레임워크입니다.
Text Generation Inference TGI는 Hugging Face 연구진이 실제 프로덕션 허깅페이스 허브 서비스들을 지탱하기 위해 개발한 최적화 LLM 추론 엔진입니다. Rust 언어로 구축된 초경량 웹 서버와 C++ CUDA 커널을 결합하여 PagedAttention, FlashAttention v2, AWQ 및 GPTQ 양자화를 네이티브로 실행합니다. 스트리밍 토큰 생성과 연속 배치를 통해 단일 GPU에서 동시 처리량을 4배 이상 증폭시킵니다.
핵심 기능 목록
연속 배치 Continuous Batching 지원으로 요청 대기 시간을 제로화하고 GPU 가동률 극대화
FlashAttention v2 및 PagedAttention 메모리 최적화로 긴 문맥 처리 시 OOM 방지
BitsAndBytes AWQ GPTQ 양자화 모델을 성능 손실 없이 고속 서빙
쿠버네티스 환경에 원클릭 배포할 수 있는 공식 도커 이미지와 헬스체크 프로브 내장
