홈으로 돌아가기
공식 웹사이트 방문하기
Llama 3.2 1B 메타 온디바이스 모바일 엣지 구동 초경량 오픈 파운데이션 모델
공식 서비스 바로가기
서비스 상세 소개
Llama 3.2 1B 메타 온디바이스 모바일 엣지 구동 초경량 오픈 파운데이션 모델: 10억 파라미터 미만의 초소형 크기로 스마트폰 NPU와 엣지 디바이스 메모리에서 배터리 소모 없이 1초당 수십 토큰의 로컬 텍스트 요약 및 다국어 추론을 수행하는 모델입니다.
Llama 3.2 1B는 모바일 기기와 임베디드 엣지 하드웨어에서 인터넷 연결 없이 독립 구동되도록 특화 설계된 메타의 초경량 언어 모델입니다. 지능 손실을 최소화하는 정교한 가지치기 Pruning 및 지식 증류 기술을 적용하여 퀄컴 스냅드래곤 미디어텍 디멘시티 및 애플 실리콘 신경망 처리 장치에서 128k 토큰 컨텍스트 창을 매끄럽게 처리합니다. 개인정보 유출 걱정 없는 온디바이스 AI 비서 구축에 최적입니다.
핵심 기능 목록
10억 파라미터 초소형 아키텍처로 모바일 기기 RAM 1GB 미만 점유
최대 128k 토큰 컨텍스트 길이를 지원하여 장문 이메일 및 로컬 문서 즉시 요약
온디바이스 프라이버시 환경에서 외부 서버 통신 없이 민감 데이터 독립 처리
vLLM 및 Ollama ONNX 런타임을 통한 손쉬운 엣지 배포 파이프라인 구축