RAG Evaluation(RAG 평가)란? | GEO 용어집

RAG 평가(RAG Evaluation)는 RAG 파이프라인이 '얼마나 좋은 검색 결과를 가져오고, 얼마나 정확한 답변을 생성하는지'를 정량적으로 측정하는 방법론입니다. LLM의 자유로운 생성 특성상 일반 소프트웨어 테스트처럼 단순 입출력 비교로는 품질을 판단할 수 없기 때문에, 전용 평가 프레임워크가 2026년 RAG 개발의 표준 도구가 되었습니다.

왜 중요한가

RAG 시스템은 여러 단계(쿼리 재작성 → 벡터 검색 → 리랭킹 → 컨텍스트 주입 → LLM 생성 → 출처 표기)로 구성되고, 각 단계가 독립적으로 실패할 수 있습니다. 한 단계만 망가져도 최종 응답 품질이 급락하지만, 단순 "좋은 답이 나왔는가"만 보면 어느 단계가 문제인지 알 수 없습니다. Stanford HAI 조사에 따르면 실제 프로덕션 RAG의 약 35%가 할루시네이션·검색 누락·인용 실패 중 하나를 경험하며, 체계적 평가 없이는 이를 개선할 수 없습니다.

주요 평가 지표

검색 품질(Retrieval Quality)

Context Precision: 검색된 청크 중 실제 관련 있는 비율
Context Recall: 정답에 필요한 모든 청크가 검색되었는가의 비율
MRR(Mean Reciprocal Rank): 첫 관련 청크의 평균 순위 역수
NDCG(Normalized DCG): 관련성과 순위를 결합한 표준 IR 지표

응답 품질(Generation Quality)

Faithfulness(충실도): 응답이 실제로 제공된 근거에 기반하는가. 할루시네이션의 반대.
Answer Relevance: 응답이 질문과 얼마나 관련 있는가.
Answer Correctness: 응답이 실제로 정답인가(ground truth와 비교).
Answer Completeness: 질문의 모든 측면에 답했는가.

출처 품질(Citation Quality)

Citation Precision: 인용된 출처가 실제로 그 주장을 뒷받침하는가.
Citation Recall: 응답에 포함된 주장 중 출처가 붙은 비율.

주요 평가 프레임워크

Ragas: RAG 평가를 위한 오픈소스 라이브러리. Context Precision, Faithfulness, Answer Relevance 등을 자동 측정. LLM을 judge로 사용하는 'LLM-as-Judge' 방식.

TruLens: RAG와 LLM 앱 전반의 트레이싱·평가를 통합한 프레임워크. 개발 단계부터 프로덕션 모니터링까지 커버.

LangSmith: LangChain 진영의 평가·관찰 도구. 실험 비교, 트레이스 디버깅, 데이터셋 관리 포함.

ARES: 학술 벤치마크 수준의 평가에 특화된 프레임워크. 합성 데이터 기반 자동 평가.

자체 구축 평가 셋: 실무에서 가장 중요한 접근. 실제 사용자 쿼리 50~500개를 정답과 함께 수집해 회귀 테스트 셋으로 활용합니다.

LLM-as-Judge의 한계

최근 평가 프레임워크 대부분이 '다른 LLM에게 응답의 품질을 점수로 매겨달라'는 방식(LLM-as-Judge)을 사용합니다. 저렴하고 빠르지만 주의점이 있습니다.

판정자 편향: 판정 LLM이 특정 스타일·길이·모델을 선호하는 편향.
일관성 부족: 같은 입력에 같은 점수를 주지 않음. 온도 0 + 평균 여러 번으로 완화.
복잡한 사실성 판단: 도메인 전문 지식이 필요한 판정은 인간 검증이 필요.

중요한 결정은 반드시 사람 검증을 병행해야 합니다.

실무 팁

단계별 평가: 전체 파이프라인 한 번에 평가하지 말고 검색→리랭킹→생성을 각각 평가해 병목을 찾습니다.

회귀 테스트: 코드 변경·프롬프트 수정·모델 교체 시마다 동일한 평가 셋으로 재측정해 성능 하락을 감지합니다.

프로덕션 모니터링: 랜덤 샘플링된 실제 응답을 LLM-as-Judge로 지속 평가해 드리프트를 감시합니다.

사용자 피드백 연결: 좋아요/싫어요·재생성 버튼 클릭 데이터를 평가 지표와 상관관계 분석합니다.

Sources:

inblog에서 활용하기

블로그 콘텐츠 자체가 RAG 파이프라인의 '근거 자료'로 사용되는 시대에는, 운영자도 자사 블로그가 AI 검색 파이프라인 안에서 얼마나 잘 검색·인용되는지 점검할 필요가 있습니다. inblog로 발행한 시리즈의 핵심 주제에 대해 실제 AI 검색 엔진에 질문해 보고 인용 여부·정확성·출처 표기를 정기적으로 추적하면, GEO 성과를 '감'이 아닌 '지표'로 관리할 수 있습니다.

RAG 평가