LightRAG 지식 그래프 아키텍처 핵심 요약
기존 마이크로소프트 GraphRAG는 전체 코퍼스를 거대한 그래프로 만들면서 무차별적인 LLM 추출 프롬프트를 호출해 막대한 토큰 비용이 발생했습니다. LightRAG는 저수준의 구체적 엔티티 사실과 고수준의 주제별 테마를 분리 색인하는 듀얼 레벨 패러다임을 통해 인덱싱 비용을 90퍼센트 이상 절감하면서도 질문의 맥락을 완벽히 포착합니다.
단순 벡터 검색과 거대 GraphRAG의 구조적 한계 극복
기존의 단순 벡터 유사도 검색은 특정 키워드가 분산된 문서 전체의 종합적인 통찰을 이끌어내지 못하고 단편적인 문단만 긁어오는 한계가 있었습니다. 반면 이전 세대의 그래프 RAG는 토큰 비용이 너무 비싸 대규모 사내 문서 도입이 불가능했습니다.
LightRAG는 엔티티와 관계를 추출할 때 중복 요약을 제거하고 시맨틱 텍스트 청크와 지식 노드를 효율적으로 바인딩합니다. 덕분에 질의가 들어왔을 때 세부 단답형 사실은 로컬 검색으로, 포괄적인 트렌드나 정책 비교는 글로벌 테마 검색으로 유연하게 넘나들며 정확한 답변을 도출합니다.
전통 벡터 RAG vs GraphRAG vs LightRAG 3자 벤치마크 비교표
| 비교 항목 | 전통 청킹 기반 벡터 RAG | 마이크로소프트 GraphRAG | 경량 고효율 LightRAG |
|---|---|---|---|
| 문서 인덱싱 시 소모되는 LLM 토큰 비용 | 매우 저렴 임베딩 모델만 호출 | 수백 달러 이상 초고비용 발생 | GraphRAG 대비 90퍼센트 이상 대폭 절감 |
| 전체 문서를 아우르는 거시적 주제 답변력 | 단편 청크 검색으로 포괄 답변 불가 | 커뮤니티 요약으로 거시 통찰 우수 | 듀얼 레벨 고수준 개념 검색으로 완벽 포괄 |
| 미세한 고유명사 및 사실 관계 정밀도 | 유사도 높은 청크에서만 정밀 | 과도한 요약으로 세부 사실 누락 위험 | 저수준 엔티티 노드와 청크 결합으로 고정밀 |
| 새로운 문서 추가 시 증분 인덱싱 난이도 | 신규 청크만 벡터 DB에 삽입 용이 | 전체 커뮤니티 그래프 재계산 병목 | 신규 엔티티와 엣지만 국소 갱신 지원 |
| 검색 단계 추론 속도 및 질의 레이턴시 | 0.1초 내외 벡터 탐색으로 고속 | 여러 단계의 요약 LLM 호출로 수 초 소요 | 그래프 탐색과 벡터의 듀얼 결합으로 1초 내 완결 |
파이썬에서 LightRAG 파이프라인을 3단계로 완성하기
1단계. LightRAG 패키지 설치 및 작업 디렉토리 초기화
pip install lightrag-hku 명령어로 패키지를 설치하고 그래프 데이터와 벡터 인덱스를 보관할 디렉토리를 설정합니다.
2단계. LLM 추론 함수 및 임베딩 모델 바인딩
비용 효율적인 DeepSeek 또는 OpenAI API 키를 입력하고 비동기 호출 래퍼 함수를 LightRAG 인스턴스에 주입합니다.
3단계. 문서 삽입 및 하이브리드 모드 질의응답 실행
insert 메서드로 사내 텍스트 문서를 색인한 뒤 query 메서드에 mode hybrid 옵션을 전달하여 고수준 요약과 저수준 사실이 결합된 종합 답변을 출력합니다.
자주 묻는 질문 FAQ
Q. 사내 로컬 Ollama 모델을 LightRAG의 추론 엔진으로 쓸 수 있나요?
네, OpenAI 호환 엔드포인트를 지원하므로 로컬에 설치된 Qwen이나 Llama 모델을 연결하여 완전 무료 오프라인 RAG를 구성할 수 있습니다.
Q. 문서가 업데이트되면 전체 지식 그래프를 처음부터 다시 만들어야 하나요?
아닙니다, LightRAG는 증분 인덱싱 기능을 갖추고 있어 새로 추가되거나 수정된 파일만 감지하여 그래프 노드를 부분 갱신합니다.
Q. 한국어 문서 간의 복잡한 비즈니스 관계도 잘 추출하나요?
한국어 프롬프트 템플릿을 지원하여 계약서나 사내 업무 매뉴얼 속의 조직 관계와 업무 프로세스를 정확한 엣지로 연결합니다.
