OmniParser v2 핵심 요약
OmniParser v2는 마이크로소프트 리서치가 발표한 순수 시각 기반 컴퓨터 화면 파싱 모델입니다. 임의의 OS 화면 스크린샷에서 인간이 마우스로 조작할 수 있는 모든 아이콘, 텍스트, 버튼 영역을 99% 정확도의 바운딩 박스와 기능 라벨로 변환합니다.
웹 브라우저를 넘어 모든 데스크톱 앱을 제어하는 시각 인터페이스
기존의 RPA 도구나 자동화 봇은 웹 브라우저의 DOM 구조나 윈도우 UI 접근성 API에 크게 의존했습니다. 이로 인해 그래픽 툴, 게임, 구형 ERP 프로그램에서는 클릭할 위치를 찾지 못하고 멈추는 치명적인 한계가 있었습니다.
OmniParser v2는 오직 화면 스크린샷 픽셀만을 바라봅니다. 사람의 눈처럼 UI 요소의 시각적 형태를 파악하여 번호 라벨이 붙은 바운딩 박스를 생성하므로 LLM 에이전트가 7번 저장 버튼을 클릭하라와 같이 정밀한 마우스 좌표 제어를 즉시 수행할 수 있습니다.
전통 OCR 화면 인식 vs OmniParser v2 바운딩 박스 비교표
| 비교 항목 | 전통 OCR Tesseract EasyOCR | OmniParser v2 순수 시각 GUI 파서 |
|---|---|---|
| 글자 없는 아이콘 버튼 인식 | 글자가 없으면 인식 자체를 못함 | 돋보기 톱니바퀴 등 아이콘 기능 99% 감지 |
| 출력 데이터 형태 | 단순 텍스트 스트링 나열 | 정규화된 XY 클릭 좌표 및 박스 넘버링 |
| 배경 복잡도에 따른 내구성 | 배경색과 대비 낮으면 인식 실패 | YOLO 기반 시각 분할로 저대비 요소 정밀 추출 |
| LLM 에이전트 연동 호환성 | 에이전트가 좌표 계산에 추가 연산 소모 | 에이전트 프롬프트에 즉시 주입 가능한 JSON 규격 |
| 서브 초 단위 추론 속도 | 대용량 고해상도 처리 시 수 초 지연 | 경량 캡셔너 결합으로 0.3초 이내 파싱 완료 |
파이썬에서 OmniParser v2로 화면 요소 파싱하는 3단계
1단계. OmniParser 저장소 복제 및 가중치 다운로드
git clone 레포지토리를 받고 허깅페이스에서 icon_detect 및 icon_caption 체크포인트를 다운로드합니다.
2단계. 스크린샷 캡처 및 파서 실행
mss 라이브러리로 현재 화면을 캡처하고 parse 함수에 이미지 경로를 넘겨줍니다.
3단계. 바운딩 박스 라벨 이미지 및 좌표 데이터 수령
라벨 번호가 매겨진 오버레이 이미지와 각 요소의 정밀 XY 좌표 목록을 받아 LLM 에이전트의 마우스 컨트롤러에 전달합니다.
자주 묻는 질문 FAQ
Q. Claude 3.5 Computer Use 기능과 함께 쓸 수 있나요?
네, 클로드의 화면 제어 정확도를 비약적으로 높여주는 전처리 파이프라인으로 가장 널리 권장되는 조합입니다.
Q. 맥OS 다크모드 화면에서도 버튼을 잘 찾나요?
네, 라이트모드와 다크모드 모두를 포괄하는 수만 장의 데스크톱 UI 데이터로 훈련되어 다크 테마에서도 완벽한 박스를 칩니다.
Q. 파싱 작업에 GPU가 반드시 필요한가요?
GPU가 있으면 0.3초 만에 끝나 가장 이상적이지만, 경량 모델 구조 덕분에 일반 CPU에서도 1초 안팎으로 안정적인 파싱이 가능합니다.
