홈으로 돌아가기
공식 웹사이트 방문하기
ModernBERT 모던BERT 8192 토큰 컨텍스트 지원 초고속 인코더 임베딩 모델
공식 서비스 바로가기
서비스 상세 소개
ModernBERT 모던BERT 8192 토큰 컨텍스트 지원 초고속 인코더 임베딩 모델: 기존 512 토큰 한계를 넘어 8192 토큰의 장문 문서를 플래시 어텐션 기반 초고속으로 인코딩하는 차세대 트랜스포머 인코더입니다.
ModernBERT는 2018년 탄생한 고전 BERT 아키텍처를 6년 만에 현대적 하드웨어 친화 기술로 완전히 재설계한 오픈소스 인코더 파운데이션 모델입니다. FlashAttention 2와 교대 어텐션 기술을 도입하여 기존 BERT 대비 추론 속도를 2배 이상 높이고 메모리 소모를 획기적으로 줄였습니다. 8192 토큰 길이의 장문 법률 서류와 소스코드 문맥을 압축 손실 없이 정확한 벡터로 변환하여 검색 시스템의 질을 극대화합니다.
핵심 기능 목록
기존 BERT 모델 512 토큰 대비 16배 확장된 8192 토큰 네이티브 컨텍스트 지원
플래시 어텐션 2 커널 네이티브 통합으로 단일 GPU 추론 처리량 2배 이상 증폭
문서 분류 질의응답 코드 검색 개체명 인식 전 영역 벤치마크 압도적 1위
RoPE 로터리 위치 임베딩과 언패딩 최적화로 가변 길이 배치 초고속 처리
