홈으로 돌아가기
공식 웹사이트 방문하기
Portkey AI 포트키 200개 이상 LLM 통합 로드밸런싱 가드레일 제어 관측 플랫폼
공식 서비스 바로가기
서비스 상세 소개
Portkey AI 포트키 200개 이상 LLM 통합 로드밸런싱 가드레일 제어 관측 플랫폼: 200여 개 거대 언어 모델 API의 레이턴시와 비용을 실시간 추적하고 자동 장애 조치와 시맨틱 캐싱을 제공하는 AI 게이트웨이입니다.
Portkey AI는 엔터프라이즈 환경에서 수십 개의 LLM을 안정적으로 프로덕션 서빙하기 위한 종합 AI 컨트롤 플레인 플랫폼입니다. OpenAI, Anthropic, Google Gemini, Groq, Bedrock 등 200개 이상의 모델 공급자를 단 한 줄의 프록시 코드로 연결합니다. 특정 공급자 장애 시 자동 폴백, 동일 질의에 대한 시맨틱 캐시 응답, 민감 정보 PII 필터링 가드레일, 토큰 비용 실시간 대시보드를 통합 제공합니다.
핵심 기능 목록
단일 엔드포인트로 200개 이상의 상용 및 오픈소스 LLM 공급자 즉시 스위칭
시맨틱 캐싱 기술을 통해 반복 질문에 대한 LLM API 호출 비용 80퍼센트 절감
모델 다운 시 0.1초 만에 예비 모델로 우회하는 무중단 자동 페일오버 시스템
토큰 사용량과 사용자 요청 지연 시간을 마이크로초 단위로 추적하는 통합 대시보드
