Haystack 헤이스택 핵심 요약
Haystack은 deepset이 개발한 기업용 오픈소스 RAG 및 검색 파이프라인 프레임워크입니다. 2.0 버전으로 전면 개편되면서 방향성 비순환 그래프 DAG 기반의 모듈식 아키텍처를 확립했습니다. 키워드 검색과 벡터 임베딩을 결합한 하이브리드 리트리버를 레고 블록처럼 유연하게 조립하여 대규모 프로덕션 환경에 최적화된 검색 서비스를 완성합니다.
단순 RAG 툴과 차별화되는 Haystack 2.0의 DAG 파이프라인
대부분의 RAG 튜토리얼은 단선적인 직선 구조로 작성되어 실제 프로덕션 환경의 복잡한 조건 분기, 다단계 필터링, 그리고 검색 결과의 재순위화 Reranking을 반영하기 어렵습니다.
Haystack은 파이프라인 내부의 각 노드가 독립된 입출력 소켓을 가지는 DAG 구조를 채택했습니다. 문서 변환, 임베딩 생성, 키워드 검색, 결과 병합 노드를 자유롭게 배선할 수 있어 복잡한 엔터프라이즈 요구사항을 깔끔한 아키텍처로 수용합니다.
Haystack vs LlamaIndex vs Elasticsearch 기본 검색 비교표
| 비교 항목 | Haystack 2.0 헤이스택 | LlamaIndex 라마인덱스 | Elasticsearch 단독 |
|---|---|---|---|
| 파이프라인 설계 방식 | 완전 모듈형 DAG 컴포넌트 결합 | 계층형 인덱스 및 쿼리 엔진 결합 | JSON DSL 기반 쿼리 작성 |
| 하이브리드 검색 지원 | BM25와 벡터 임베딩 기본 병합 지원 | 하이브리드 리트리버 구성 지원 | 텍스트 역색인과 dense vector 내장 |
| 프로덕션 텔레메트리 | OpenTelemetry 표준 관측성 완비 | 내장 로깅 및 콜백 핸들러 제공 | Elastic APM 로깅 제공 |
| 엔터프라이즈 운영 안정성 | 대규모 트래픽 분산 환경 검증 완료 | 빠른 기능 추가 및 진화 중심 | 수십 년간 검증된 검색 인프라 |
| 오픈소스 라이선스 | 아파치 2.0 라이선스 무료 | 아파치 2.0 라이선스 무료 | SSPL 상용 라이선스 제약 존재 |
Haystack 2.0으로 하이브리드 검색 파이프라인 조립하는 3단계
1단계. 파이프라인 인스턴스 생성
Pipeline 객체를 생성하고 문서 스토어로 InMemoryDocumentStore 또는 QdrantDocumentStore를 선언합니다.
2단계. 리트리버와 프롬프트 빌더 컴포넌트 추가
BM25Retriever, EmbeddingRetriever, PromptBuilder, OpenAIGenerator 컴포넌트를 각각 파이프라인에 등록합니다.
3단계. connect 메서드로 데이터 흐름 배선
리트리버의 검색 결과 문서가 프롬프트 빌더의 documents 입력으로 전달되고, 완성된 프롬프트가 생성기 LLM으로 흘러가도록 연결한 뒤 run 메서드로 실행합니다.
자주 묻는 질문 FAQ
Q. 기존 Haystack 1.x 버전과 2.0 버전의 차이는 무엇인가요?
2.0은 불필요한 레거시 코드를 완전히 제거하고 순수 파이썬 컴포넌트 기반으로 재작성되어 실행 속도가 대폭 향상되었으며 커스텀 노드 제작이 훨씬 쉬워졌습니다.
Q. 한국어 형태소 분석기와 결합할 수 있나요?
네, 파이썬 기반의 노리 Nori 토크나이저나 키위 Kiwi 형태소 분석기를 커스텀 전처리 컴포넌트로 손쉽게 삽입할 수 있습니다.
Q. 사내 프라이빗 클라우드에 배포하기 적합한가요?
도커 컨테이너와 쿠버네티스 환경에 최적화된 경량 구조로 설계되어 프라이빗 인프라 환경에서 안정적인 무중단 서빙이 가능합니다.
