SAM 2.1 비디오 세그멘테이션 아키텍처 요약
메타 AI의 SAM 2.1 Segment Anything Model 2.1은 정지 화상 중심이던 비전 분할 기술을 스트리밍 비디오로 확장하여 메모리 어텐션 모듈을 통해 영상 내 객체의 궤적과 윤곽선을 실시간 추출하는 비전 파운데이션 모델입니다.
프레임마다 수작업으로 누끼를 따던 영상 편집의 종말
영화 특수효과나 광고 영상에서 특정 인물이나 차량의 배경을 분리하는 로토스코핑 작업은 수많은 아티스트가 프레임마다 점을 찍어가며 마스크를 따야 했던 고된 노동이었습니다.
메타 SAM 2.1은 영상의 첫 프레임에서 마우스 클릭 한 번으로 피사체를 지정하면 수천 프레임 뒤까지 피사체의 회전 그림자 가림 현상을 자동으로 추적하여 매끄러운 픽셀 마스크를 만들어 냅니다. 이전 버전 대비 메모리 구조를 대폭 개선하여 4K 영상에서도 흔들림 없는 일관성을 유지합니다.
기존 영상 누끼 도구 vs 메타 SAM 2.1 기술 스펙 비교표
| 기술 지표 | 전통적인 비디오 매팅 도구 | 메타 SAM 2.1 오픈소스 파운데이션 |
|---|---|---|
| 프레임당 추론 속도 | 장당 수 초 이상 연산 지연 | RTX 상용 GPU에서 초당 40프레임 이상 실시간 분할 |
| 객체 가림 후 재등장 추적 | 물체가 다른 사물에 가려지면 추적 상실 | 메모리 인코더가 물체의 특징을 기억해 재등장 시 복원 |
| 프롬프트 입력 유연성 | 수동 그린스크린 크로마키에 의존 | 클릭 포인트 바운딩 박스 텍스트 프롬프트 지원 |
| 오픈소스 상용 라이선스 | 고가의 상용 플러그인 구독 필수 | 아파치 2.0 라이선스로 수정 배포 상업화 완전 무료 |
| 미세 윤곽선 정밀도 | 머리카락이나 투명 유리 경계선 뭉개짐 | 세부 모서리 리파이너를 통해 섬세한 픽셀 단위 마스크 구현 |
파이토치 환경에서 SAM 2.1 비디오 추론 파이프라인 구축 3단계
1단계. 저장소 클론 및 가중치 체크포인트 다운로드
깃허브에서 메타 세그먼트 애니띵 2 저장소를 복제하고 프로젝트 목적에 맞는 라지 또는 베이스 모델 가중치를 받습니다.
2단계. 비디오 프레임 로드 및 추론 세션 초기화
비디오 리더 객체로 동영상 프레임들을 메모리에 적재한 뒤 SAM2 비디오 프리딕터 인스턴스를 생성합니다.
3단계. 인터랙티브 포인트 추가 및 전 프레임 마스크 전파
추적하고자 하는 피사체의 중심점을 클릭 좌표로 넘겨주고 프로파게이트 인 비디오 메서드로 전 프레임 마스크를 일괄 산출합니다.
자주 묻는 질문 FAQ
Q. 상업용 영상 제작 소프트웨어에 내장해 판매해도 되나요?
네 아파치 2.0 라이선스 하에 공개되어 상용 소프트웨어 개발 및 서비스 탑재에 법적 제약이 없습니다.
Q. 자율주행이나 로봇 비전 연구에도 활용할 수 있나요?
도로 위 보행자 차량 장애물을 실시간으로 인지하고 영역을 구분해야 하는 로봇 및 스마트 모빌리티에 최적입니다.
Q. 정지된 일반 단일 이미지 누끼 따기에도 쓸 수 있나요?
비디오뿐만 아니라 정지 이미지 예측기도 완벽히 내장되어 있어 기존 SAM 1세대보다 훨씬 빠르고 정교하게 작동합니다.
