한국어 문서 RAG 리더보드: 로컬 LLM과 Claude, 정답 있는 299문항으로 채점
시험지는 Allganize가 공개한 한국어 RAG 평가 데이터(금융·공공·의료·법률·커머스 PDF)이고, 정답이 있는 299문항으로 채점했습니다.
모든 모델이 같은 검색 결과(상위 5쪽)와 같은 지시문을 받고, 바뀌는 건 답을 쓰는 모델뿐입니다.
채점은 qwen3.6 27B가 했고, 이 채점기는 Allganize의 O/X 판정과 88.5% 일치하는 것을 먼저 확인했습니다.
마지막 업데이트: 2026년 10월 27일 · 18개 조건(로컬 15, 클라우드 3) · 모든 숫자는 직접 돌려 채점한 값
| # | 모델 · 조건 | 실행 장비 | 정답률 299문항 | 검색이 맞았을 때 243문항 | 두 번째 채점기 Opus 5.5 | 문항당 시간 | 원 글 |
|---|---|---|---|---|---|---|---|
| 1 | qwen3.8 27B로컬 생각 켬 | RTX 3090 | 77.3% | 90.1% | 80.6% | 3090 9.7초† | 글·EN |
| 2 | Claude Opus 5.5클라우드 기본 (adaptive thinking) | API (클라우드) | 76.6% | 89.7% | 80.3% | — | 글·EN |
| 3 | Raon-1 mini preview로컬 생각 켬, 모델 카드 샘플링 | RTX 3090 | 74.9% | 87.7% | 76.6% | — | 글·EN |
| 4 | Raon-1 mini preview로컬 생각 켬 | RTX 3090 | 74.2% | 86.0% | 76.9% | 3090 4.8초† 1080 Ti ×2 39초‡ | 글·EN |
| 5 | Claude Sonnet 5.5클라우드 기본 (adaptive thinking) | API (클라우드) | 73.9% | 86.0% | 79.3% | — | 글·EN |
| 6 | Raon-1 mini preview로컬 생각 끔 | RTX 3090 | 72.6% | 84.8% | 74.9% | 3090 2초† 1080 Ti ×2 16초† | 글·EN |
| 7 | Claude Haiku 5.5클라우드 기본 (adaptive thinking) | API (클라우드) | 72.2% | 85.6% | 78.3% | — | 글·EN |
| 8 | qwen3.8 27B로컬 생각 끔 | RTX 3090 | 71.2% | 84.0% | 72.2% | 3090 4초 1080 Ti ×2 30.9초† | 글·EN |
| 9 | gemma4 31B로컬 생각 끔 | RTX 3090 | 70.2% | 81.5% | 72.9% | 3090 63초† | 글·EN |
| 10 | gemma4 E4B로컬 생각 켬 | GTX 1080 Ti ×2 | 69.6% | 81.1% | — | 1080 Ti ×2 12.9초† | 글·EN |
| 10 | gpt-oss 20B로컬 reasoning 기본 (끌 수 없음) | RTX 3090 | 69.6% | 79.4% | 71.6% | 3090 4.4초† | 글·EN |
| 12 | Nemotron 3.5 Bolt E4B로컬 생각 켬 | GTX 1080 Ti ×2 | 67.2% | 78.6% | — | 1080 Ti ×2 17.6초† | 글·EN |
| 13 | gemma4 12B로컬 생각 끔 | RTX 3090 | 66.6% | 77.4% | 68.2% | 3090 2초 1080 Ti 10초 | 글·EN |
| 14 | qwen3.5 9B로컬 생각 끔 | GTX 1080 Ti | 65.6% | 76.5% | 66.9% | 1080 Ti 8.4초 | 글·EN |
| 15 | gemma4 E4B로컬 생각 끔 | GTX 1080 Ti ×2 | 65.2% | 75.7% | — | 1080 Ti 4.7초 3090 1.4초 | 글·EN |
| 16 | gemma4 26B MoE로컬 생각 끔 | RTX 3090 | 63.5% | 74.5% | 68.9% | 3090 1.6초† | 글·EN |
| 17 | Nemotron 3.5 Bolt E4B로컬 생각 끔 | GTX 1080 Ti ×2 | 63.2% | 74.5% | — | 1080 Ti 4.5초 3090 1.1초 | 글·EN |
| 17 | EXAONE 3.5 7.8B로컬 생각 끔 | GTX 1080 Ti | 63.2% | 72.8% | 61.5% | 1080 Ti 9.1초 | 글·EN |
- 정렬은 주 채점기 정답률 순이고, 같은 점수는 같은 순위입니다. 「검색이 맞았을 때」는 근거 페이지가 상위 5쪽에 들어온 243문항만 센 값입니다.
- 두 번째 채점기 칸의 「—」는 그 글에서 두 번째 채점기를 돌리지 않은 경우입니다.
- 문항당 시간은 프롬프트 처리부터 답변 끝까지의 중앙값입니다. 표시 없음 = 같은 30문항을 모델이 GPU에 다 올라간 상태로 따로 잰 값, † = 320문항 본 실행의 중앙값, ‡ = 28문항만 측정. Claude는 API라 재지 않았습니다.
- gemma4 12B는 1080 Ti 쪽 Ollama 0.30.2가 모델을 올리지 못해 답변은 3090에서 만들었고, 1080 Ti 속도는 따로 쟀습니다.
읽는 법
- 3%p 안쪽 차이는 순위로 읽지 마세요. 모든 조건을 한 번씩만 돌렸습니다. 같은 모델·같은 설정인데 장비와 Ollama 버전만 바뀌어도 9~11문항의 판정이 엇갈렸습니다(qwen3.8 27B 생각 끔: 3090 71.2%, 1080 Ti 두 장 72.2%).
- 두 모델이 정말 다른지는 각 원 글의 같은 문항 짝비교(McNemar 검정)를 보세요. 예를 들어 qwen3.8 27B(생각 켬)와 Claude Opus 5.5는 두 채점기 어느 쪽으로도 구분되지 않았습니다(p=0.82, 1.0).
- 두 번째 채점기(Claude Opus 5.5)는 전반적으로 더 후했고, 특히 Claude 답변에 4~6%p를 더 줬습니다. Claude와 로컬 모델의 비교는 주 채점기 칸을 기준으로 보세요.
- 문서에 답이 없는 질문 20개는 표의 모든 조건이 20개 전부 「찾을 수 없다」고 답했습니다. 이 시험으로는 지어내기를 가를 수 없어서 표에서 뺐습니다.
- 남은 오답의 상당수는 모델이 아니라 앞 단계에서 납니다. 상위 모델이 틀린 문항의 약 3분의 2는 근거 페이지에 텍스트 층이 없거나(OCR 없음) 검색이 근거 페이지를 놓친 문항이었습니다.
측정 조건
- 시험지: allganize/RAG-Evaluation-Dataset-KO(MIT) 300문항 중 근거 페이지 번호가 빈 1문항을 뺀 299문항. 원문 PDF는 페이지 단위 미러(64개 문서, 1,450쪽)를 썼습니다.
- 파싱: pymupdf4llm(표를 마크다운으로). OCR은 하지 않았습니다.
- 검색: 도메인 문서 전체에서 페이지 단위 하이브리드 검색(kiwi 형태소 BM25 + bge-m3 임베딩, RRF) 상위 5쪽. 근거 페이지 적중률(hit@5) 81.3%.
- 생성: 모든 모델에 같은 5쪽, 같은 지시문(「발췌만 근거로 답하고, 없으면 찾을 수 없다고 하라」).
- 로컬: Ollama(1080 Ti 0.30.2 / 0.40.5, 3090 0.40.2), temperature 0, 출력 한도 1,024토큰(생각 켬과 gpt-oss는 8,192토큰). Raon-1 mini는 Ollama 미지원이라 크래프톤 llama.cpp 브랜치, Q4_K_M.
- Claude: Opus·Sonnet·Haiku 5.5, API, effort medium, 출력 한도 16,000토큰, 기본 adaptive thinking.
- 채점: 주 채점기 qwen3.6 27B(2024년 클라우드 답변 452개에서 Allganize 판정과 일치율 88.5%, 코헨 카파 0.76), 두 번째 채점기 Claude Opus 5.5. 같은 프롬프트로 정답과 비교해 O/X.
- 2024년 상용 RAG(Alli + Claude 3.5 Sonnet 등)는 각자 다른 파서·검색을 써서 「같은 5쪽」 조건이 아니므로 이 표에 넣지 않았습니다. 같은 채점기로 다시 매긴 점수는 첫 글에 있습니다.
- 재현: 스크립트와 문항별 O/X 판정은 ko-rag-eval.zip에 있습니다.
원 글
In English
This table scores local LLMs and Claude 5.5 on 299 Korean document questions with known answers (Allganize RAG-Evaluation-Dataset-KO). Every model gets the same top-5 retrieved pages and the same prompt, and a qwen3.6 27B judge, validated at 88.5% agreement with Allganize's own labels, marks each answer right or wrong. On one RTX 3090, qwen3.8 27B with thinking on (77.3%) was indistinguishable from Claude Opus 5.5 (76.6%) under both judges in paired tests, and KRAFTON's Raon-1 mini preview landed just behind them. Each configuration was run once, so gaps under about 3 points are noise; the posts linked above have the paired comparisons. Last updated Oct 27, 2026. Full write-up: Local RAG scored on 300 questions.