홈으로 돌아가기
공식 웹사이트 방문하기
LMDeploy 오픈엠엠랩 초고속 LLM 및 VLM 분산 서빙 추론 가속 엔진
공식 서비스 바로가기
서비스 상세 소개
LMDeploy 오픈엠엠랩 초고속 LLM 및 VLM 분산 서빙 추론 가속 엔진: Turbomind 엔진과 4비트 AWQ 양자화로 오픈소스 LLM 및 시각 모델의 추론 처리량을 극대화하는 서빙 툴킷입니다.
LMDeploy는 OpenMMLab 연구팀이 개발한 엔터프라이즈급 대규모 언어 및 시각 멀티모달 모델 고속 서빙 프레임워크입니다. 독자적인 Turbomind C++ 추론 엔진과 Persistent Batch 처리 기술을 탑재하여 대규모 동시 요청 환경에서 vLLM을 상회하는 토큰 처리량을 제공합니다. KV 캐시 동적 압축과 4비트 양자화로 메모리 사용량을 대폭 절감합니다.
핵심 기능 목록
vLLM 대비 높은 동시 접속 처리량과 극단적인 초저지연 첫 토큰 방출
Qwen 2.5-VL 및 InternVL 등 최신 멀티모달 시각 언어 모델 완벽 가속
AWQ 및 W4A16 고효율 4비트 양자화로 GPU VRAM 점유율 반감
OpenAI 호환 RESTful API 서버 및 트라이톤 추론 서버 통합 지원
