Ragas 라가스 핵심 요약
Ragas는 엔터프라이즈 RAG 검색 증강 생성 시스템의 품질을 데이터 기반으로 정량 채점하는 글로벌 표준 오픈소스 평가 프레임워크입니다. 검색된 문서가 질문에 얼마나 부합하는지 문맥 정밀도를 측정하고, 생성된 답변이 검색 문서에 충실한지 여부를 환각 수치로 환산하여 사내 AI 서비스의 배포 안전성을 검증합니다.
사람의 눈대중 검수 대신 데이터로 RAG 품질을 증명하는 방법
많은 기업들이 사내 지식 챗봇을 만들지만, 사용자가 늘어날수록 답변이 진짜 사내 규정에 맞는지 아니면 모델이 거짓말을 지어낸 것인지 일일이 검증하지 못해 프로덕션 배포를 망설입니다.
Ragas는 충실도 Faithfulness, 답변 관련성 Answer Relevance, 문맥 정밀도 Context Precision, 문맥 재현율 Context Recall의 4대 핵심 지표를 제공합니다. LLM as a Judge 기법을 자동화하여 수백 개의 질의응답을 0점에서 1점 사이의 객관적 지표로 채점하고 개선 방향을 제시합니다.
Ragas 핵심 4대 평가 지표 분석표
| 지표 명칭 | 측정 대상 | 평가 산출 공식 원리 | 점수가 낮을 때의 해결책 |
|---|---|---|---|
| 충실도 Faithfulness | 생성된 답변과 검색 문서 일치 여부 | 답변 속 진술 중 문서로 입증 가능한 비율 | 프롬프트에 문서 밖 내용 추론 금지 지침 추가 |
| 답변 관련성 Answer Relevance | 사용자 질문과 생성된 답변의 연관도 | 생성된 답변으로부터 원 질문 역추론 유사도 | 불필요한 군더더기 서론을 줄이고 결론 직결 |
| 문맥 정밀도 Context Precision | 검색된 문서들 중 정답 정보의 위치 | 상위 랭크된 문서 청크의 정답 기여도 | 리랭커 Reranker 모델을 도입하여 재정렬 |
| 문맥 재현율 Context Recall | 실제 정답에 필요한 정보의 누락 여부 | 기준 정답 문장 중 검색 문서에 포함된 비율 | 임베딩 청크 크기를 키우거나 하이브리드 검색 적용 |
파이썬에서 3단계로 Ragas 평가 파이프라인 돌리기
1단계. ragas 라이브러리 설치
pip install ragas datasets 명령어를 실행합니다.
2단계. 평가 데이터셋 구성
질문 question, 검색된 문서 리스트 contexts, 모델의 답변 answer, 기준 정답 ground_truth 컬럼으로 판다스 데이터프레임을 만듭니다.
3단계. evaluate 함수 실행 및 점수 산출
evaluate 함수를 호출하여 데이터셋과 faithfulness 및 answer_relevance 지표를 전달하면 각 질문별 세부 점수와 전체 파이프라인 평균 점수가 담긴 데이터프레임이 즉각 출력됩니다.
자주 묻는 질문 FAQ
Q. 평가에 필요한 질문과 정답 데이터셋이 없으면 어떡하나요?
Ragas의 TestsetGenerator 기능을 쓰면 사내 문서 몇 개만 넣어도 수백 개의 까다로운 질문과 모범 답안 데이터셋을 자동으로 합성 생성해 줍니다.
Q. 한국어 문서와 질문에 대해서도 공정하게 채점하나요?
네, 채점용 판사 LLM으로 GPT 4o나 Claude 3.5 Sonnet을 지정하면 한국어 문맥과 어휘 뉘앙스를 정밀하게 파악하여 신뢰도 높은 점수를 매깁니다.
Q. 깃허브 액션 CI/CD 파이프라인에 넣을 수 있나요?
네, 풀 리퀘스트 PR이 열릴 때마다 Ragas 테스트를 자동 실행하여 환각 점수가 기준치 미만으로 떨어지면 머지를 차단하는 품질 게이트를 구축할 수 있습니다.
