홈으로 돌아가기
공식 웹사이트 방문하기
OmniParser v2 마이크로소프트 GUI 화면 파싱 및 컴퓨터 제어 비전 모델
공식 서비스 바로가기
서비스 상세 소개
OmniParser v2 마이크로소프트 GUI 화면 파싱 및 컴퓨터 제어 비전 모델: 스마트폰과 PC 화면의 모든 아이콘과 버튼 및 텍스트 요소를 정밀한 바운딩 박스로 인식하여 OS 자동화 에이전트를 가능하게 하는 시각 모델입니다.
OmniParser v2는 마이크로소프트 리서치가 개발한 컴퓨터 화면 이해 전문 시각 파싱 모델입니다. 임의의 데스크톱 애플리케이션이나 모바일 앱 화면 스크린샷을 입력받아 사용자가 클릭하거나 입력할 수 있는 상호작용 가능 UI 요소를 정밀한 바운딩 박스와 텍스트 라벨로 구조화합니다. 이를 통해 Claude 3.5 Computer Use나 독자적인 GUI 자동화 에이전트의 액션 성공률을 획기적으로 끌어올립니다.
핵심 기능 목록
모바일 및 데스크톱 스크린샷 내 모든 클릭 가능 아이콘 영역 99% 정밀 감지
아이콘의 의미적 기능을 텍스트 캡션으로 자동 변환하여 LLM 에이전트에 전달
HTML DOM 구조가 없는 네이티브 데스크톱 앱에서도 시각적 좌표 기반 제어 지원
YOLO 기반 검출기와 경량 캡셔너의 결합으로 서브 초 단위 실시간 화면 분석
