LiteLLM 라이트LLM 핵심 요약
LiteLLM은 OpenAI, Claude, Google Gemini, 그리고 로컬 Ollama까지 전 세계 100개 이상의 다양한 LLM API를 단 하나의 표준화된 OpenAI 호출 인터페이스로 묶어주는 고성능 오픈소스 AI 프록시 게이트웨이입니다. 무중단 장애 복구 페일오버, 자동 로드밸런싱, 팀별 가상 API 키 발급 및 비용 예산 통제 기능을 통해 기업의 파운데이션 모델 운영을 완벽히 통합합니다.
모델마다 서로 다른 API 규격과 폭증하는 토큰 비용의 해결책
AI 서비스를 고도화할수록 특정 기능에는 저렴한 GPT 4o mini를 쓰고, 복잡한 코딩에는 Claude 3.5 Sonnet을 쓰며, 사내 보안 데이터에는 로컬 Llama 모델을 분산 배치해야 합니다. 하지만 공급자마다 요청 헤더와 응답 형식이 제각각이라 백엔드 코드가 급격히 복잡해집니다.
LiteLLM을 중앙 게이트웨이로 두면 모든 클라이언트는 동일한 OpenAI 클라이언트 라이브러리로 요청을 보냅니다. 프록시 내부에서 대상 모델 규격으로 실시간 변환하며, 특정 클라우드에 일시적 장애가 발생하면 차순위 백업 모델로 0.1초 만에 자동 우회 라우팅합니다.
LiteLLM Proxy vs OpenRouter vs Portkey 비교표
| 비교 항목 | LiteLLM Proxy 라이트LLM | OpenRouter 오픈라우터 | Portkey 포트키 |
|---|---|---|---|
| 호스팅 및 데이터 통제 | 사내 프라이빗 도커 100% 자체 호스팅 | 제3자 상용 클라우드 프록시 경유 | 관리형 SaaS 및 하이브리드 지원 |
| 자체 API 키 사용 여부 | 보유 중인 각사 API 키 직접 연결 | OpenRouter 단일 결제 크레딧 사용 | 보유 API 키 등록 방식 |
| 오픈소스 라이선스 | MIT 라이선스 오픈소스 무료 | 클로즈드 상용 서비스 | 오픈소스 코어 및 엔터프라이즈 유료 |
| 사내 로컬 Ollama 연동 | 사내 프라이빗 Ollama 완벽 통합 | 외부 로컬 머신 연동 불가 | 자체 게이트웨이 설정 필요 |
| 가상 키 예산 통제 | 팀 및 프로젝트별 월간 한도 설정 | 계정 단위 크레딧 차감 | 고급 조직 권한 관리 지원 |
도커로 3분 만에 LiteLLM 프록시 게이트웨이 구동하기
1단계. config.yaml 설정 파일 작성
model_list 항목에 gpt-4o, claude-3-5-sonnet, ollama-qwen 모델의 이름과 실제 공급자 API 키, 페일오버 백업 순서를 정의합니다.
2단계. 도커 컨테이너 실행
docker run -v $PWD/config.yaml:/app/config.yaml -p 4000:4000 ghcr.io/berriai/litellm:main-latest 명령어를 실행합니다.
3단계. 기존 애플리케이션의 엔드포인트 교체
앱 코드에서 OPENAI_BASE_URL을 localhost:4000으로 교체하면 모든 요청이 중앙 프록시를 통해 로드밸런싱되고 웹 대시보드에 실시간 비용 로그가 기록됩니다.
자주 묻는 질문 FAQ
Q. 프록시 서버를 거치면 지연 시간 Latency이 늘어나지 않나요?
초경량 비동기 Rust 및 파이썬 엔진으로 설계되어 프록시 자체의 오버헤드는 5밀리초 미만으로 무시할 수 있는 수준입니다.
Q. 고객사나 사내 팀원들에게 개별 API 키를 나눠줄 수 있나요?
네, 프록시 관리자 대시보드에서 가상 API 키를 생성하고 특정 모델 접근 권한과 월간 토큰 사용량 상한선을 지정할 수 있습니다.
Q. 중복되는 동일한 질문에 대한 캐싱 기능도 지원하나요?
네, Redis 인메모리 캐시를 연결하면 동일한 프롬프트 요청에 대해 이전 생성 결과를 즉시 반환하여 외부 API 호출 비용을 0원으로 절감합니다.
