InternVL 2.5 핵심 요약
스캔 문서 기반 RAG에서 가장 골치 아픈 문제는 병합된 표 셀의 붕괴와 차트 수치 누락입니다. 오픈소스 최상위 비전 언어 모델인 InternVL 2.5를 활용하면 복잡한 2단 서식 문서와 비즈니스 인포그래픽을 구조화된 마크다운 데이터로 100퍼센트 온전히 복원할 수 있습니다.
기존 룰 기반 OCR 엔진의 구조적 붕괴 한계 극복
Tesseract나 일반 클라우드 OCR 엔진은 글자 위치만 사각형으로 인식할 뿐, 표의 헤더가 어디인지 셀이 가로로 병합되었는지 파악하지 못해 데이터가 뒤섞입니다.
InternVL 2.5는 시각적 문맥을 전체적으로 이해하는 동적 타일링 비전 인코더를 탑재했습니다. 4K 고화질 스캔 문서라도 영역을 지능적으로 타일 분할하여 처리하므로 8포인트 이하의 미세한 각주와 복잡한 회계 재무제표 표를 완벽한 정렬의 마크다운 테이블 구문으로 생성합니다.
전통 룰 기반 OCR vs InternVL 2.5 멀티모달 시각 구조 분석기 비교표
| 비교 항목 | 전통 룰 기반 및 텍스트 검출 OCR | InternVL 2.5 멀티모달 시각 언어 모델 |
|---|---|---|
| 복잡한 다중 병합 표 Table 변환 | 줄바꿈 파괴되어 수치 열이 뒤섞임 | 병합 구조를 파악하여 온전한 마크다운 표 생성 |
| 꺾은선 및 막대 그래프 차트 판독 | 도표 이미지 내 텍스트 조각만 추출 | X축 Y축 레이블과 데이터 수치를 구조화 JSON 변환 |
| 2단 학술 논문 및 신문 서식 읽기 | 좌우 단을 가로질러 문장이 깨짐 | 인간의 독서 흐름에 맞추어 단별 완벽 분리 정렬 |
| 손글씨 메모 및 인쇄체 혼합 문서 | 손글씨 판독 실패율이 70퍼센트 이상 | 고난도 손글씨도 시각적 문맥 추론으로 정확 인식 |
| 오픈소스 가중치 및 로컬 호스팅 | 유료 상용 클라우드 API 종속성 높음 | 허깅페이스 오픈 가중치로 사내 GPU 단독 배포 |
파이썬에서 InternVL 2.5로 스캔 문서 마크다운 파싱하는 3단계
1단계. transformers 및 timm 라이브러리 설치
pip install transformers timm torchvision accelerate 명령어로 환경을 준비합니다.
2단계. AutoModel 및 동적 이미지 전처리 함수 로드
OpenGVLab/InternVL2_5-8B 가중치를 로드하고 고해상도 타일링 전처리를 거쳐 이미지를 텐서로 변환합니다.
3단계. 프롬프트 전달 및 정형 마크다운 결과 획득
이미지의 모든 표와 본문을 누락 없이 마크다운 형식으로 전사하라는 프롬프트를 주어 구조화된 텍스트를 출력합니다.
자주 묻는 질문 FAQ
Q. 모델 크기가 큰데 단일 소비사용 GPU에서도 실행할 수 있나요?
네, 8B 모델은 AWQ나 4비트 양자화를 적용하면 12GB VRAM을 가진 RTX 3060이나 4070에서도 여유롭게 구동됩니다.
Q. 한국어로 작성된 옛날 세무 서류나 영수증도 잘 읽나요?
네, 동아시아 다국어 문자 데이터셋이 대규모로 학습되어 한국어 관공서 공문서나 영수증도 뛰어난 인식률을 보여줍니다.
Q. 수천 장의 PDF 문서를 일괄 고속 처리하려면 어떻게 해야 하나요?
vLLM이나 LMDeploy 멀티모달 추론 서버를 띄워 비동기 배치 요청을 보내면 초당 수십 페이지 단위로 고속 파싱할 수 있습니다.
