크래프톤 Raon-1 mini, 한국어 문서 RAG 300문항으로 채점해 보니: 3090 한 장·1080 Ti 두 장에서 돌린 결과

이 글의 숫자는 모두 제 서버에서 직접 돌려 채점한 값입니다. 시험지와 비교 대상은 지난 글 「로컬 RAG, 한국어 문서에 정말 맞게 답할까」와 같습니다. preview 버전을 공개 이틀 안에 잰 결과라, 정식판이 나오면 숫자가 달라질 수 있습니다. (English version: Raon-1 mini on a Korean document-QA benchmark)

요약

• 정답률(주 채점기 / 두 번째 채점기): thinking 켬 74.2% / 76.9%, 모델 카드 권장 샘플링 74.9% / 76.6%, thinking 끔 72.6% / 74.9%.
• thinking을 끄면 활성 4B인 Raon과 dense 27B인 qwen3.8(thinking 끔, 71.2% / 72.2%) 사이에 의미 있는 차이가 없었습니다. 국산 비교 대상인 EXAONE 3.5 7.8B(63.2%), 같은 11GB급인 qwen3.5 9B(65.6%)보다는 확실히 높았습니다.
• thinking을 켜면 차이가 벌어집니다. qwen3.8 27B(thinking 켬)는 77.3% / 80.6%로 Raon보다 높았고, 두 채점기 모두 qwen3.8 쪽이 더 많은 문항을 맞혔습니다. 다만 통계적으로 유의한 건 두 번째 채점기에서만입니다. thinking으로 얻는 이득도 qwen3.8은 +6.0%p, Raon은 +1.7%p(유의하지 않음)로 작았습니다(주 채점기 기준).
• thinking을 켜고 temperature 0으로 돌리면 320문항 중 16개가 8,192토큰을 다 쓰도록 생각만 하다 끝났습니다. 모델 카드 권장 샘플링으로 한 번 돌렸을 때는 11개였습니다. 없어지지는 않았습니다.
• Ollama로는 아직 못 돌립니다. 크래프톤 llama.cpp 브랜치를 빌드하면 RTX 3090 한 장에서 문항당 2.0초(thinking 끔), 2017년에 나온 GTX 1080 Ti 두 장에서도 16초에 돌아갑니다.
• 문서에 답이 없는 질문 20개에는 모든 조건에서 20개 모두 「찾을 수 없다」고 답했습니다.

Raon-1 mini가 뭔가

크래프톤이 2026년 10월 21일 공개한 오픈 웨이트 언어 모델입니다(Apache 2.0).

• 전체 약 300억 개(모델 카드 기준 28.8B) 파라미터 중 추론할 때 약 40억 개(4.3B)만 쓰는 MoE 구조
• 크래프톤이 만든 선형 어텐션(Raon Delta Attention)을 섞은 하이브리드 구조: 선형 어텐션 층 18개 + 일반 어텐션 층 7개
• 최대 262K 토큰 문맥, 한국어·영어 대화와 추론, 에이전트 작업을 내세웠고, 크래프톤 자체 수치로 IFBench 84.2, AIME 2026 93.3, SWE-Verified 70.8을 발표했습니다(크래프톤 보도자료, 모델 카드)

크래프톤이 낸 숫자는 수학·코딩·지시 따르기입니다. 그래서 **「한국어 문서를 주고 질문하면 정답을 말하나」**를 정답이 있는 시험지로 따로 쟀습니다.

측정 조건

지난 글과 똑같습니다.

항목	내용
시험지	Allganize 한국어 RAG 평가 데이터 300문항(금융·공공·의료·법률·커머스), 근거 페이지 번호가 빈 1문항을 뺀 299문항 + 제가 만든 「문서에 답 없는 질문」 20개
검색	도메인 문서 전체에서 하이브리드(kiwi 형태소 BM25 + bge-m3) 상위 5쪽. 모든 모델이 같은 5쪽을 받음
지시문	「발췌만 근거로 답하고, 없으면 찾을 수 없다고 하라」
Raon	Q4_K_M(19.7GB), 크래프톤 llama.cpp 브랜치(커밋 fb89566), 문맥 16,384
조건 3가지	① thinking 켬, temperature 0 ② thinking 켬, 모델 카드 권장 샘플링(temp 1.0, top_p 0.95, top_k 20, presence penalty 1.5) ③ thinking 끔, temperature 0
출력 한도	thinking 켬 8,192토큰, 끔 1,024토큰
채점	주 채점기 qwen3.6 27B(지난 글에서 Allganize 판정과 88.5% 일치 검증), 두 번째 채점기 Claude Opus 5.5

결과: 같은 시험지에서 어디쯤인가

모델	주 채점기	두 번째 채점기	검색이 맞았을 때	문단	텍스트	표	이미지
qwen3.8 27B, thinking 켬	77.3%	80.6%	90.1%	87%	84%	80%	44%
Claude Opus 5.5	76.6%	80.3%	89.7%	85%	84%	80%	46%
Raon-1 mini, 모델 카드 설정	74.9%	76.6%	87.7%	89%	80%	74%	35%
Raon-1 mini, thinking 켬	74.2%	76.9%	86.0%	87%	76%	76%	39%
Claude Sonnet 5.5	73.9%	79.3%	86.0%	83%	78%	82%	40%
Raon-1 mini, thinking 끔	72.6%	74.9%	84.8%	88%	71%	68%	37%
Claude Haiku 5.5	72.2%	78.3%	85.6%	83%	73%	76%	40%
qwen3.8 27B, thinking 끔	71.2%	72.2%	84.0%	85%	76%	68%	35%
gemma4 31B	70.2%	72.9%	81.5%	84%	78%	66%	33%
gpt-oss 20B	69.6%	71.6%	79.4%	82%	80%	70%	30%
gemma4 12B	66.6%	68.2%	77.4%	84%	62%	58%	32%
qwen3.5 9B	65.6%	66.9%	76.5%	84%	64%	52%	32%
gemma4 26B MoE	63.5%	68.9%	74.5%	78%	67%	56%	30%
EXAONE 3.5 7.8B	63.2%	61.5%	72.8%	81%	60%	50%	32%

Raon 세 줄은 RTX 3090 결과입니다. 표는 주 채점기 기준으로 정렬했고, 유형별 칸도 주 채점기 기준입니다. 문항 수는 문단 147, 텍스트 45, 표 50, 이미지 57이고, 「검색이 맞았을 때」는 근거 페이지가 상위 5쪽에 들어온 243문항입니다. 다른 모델들은 지난 글과 같은 결과입니다.

같은 문항으로 짝지어 비교(McNemar 정확 검정, 299문항. 「A만」은 A만 맞히고 B는 틀린 문항 수)

비교	주 채점기 A만 / B만 (p)	두 번째 채점기 A만 / B만 (p)
Raon thinking 켬 vs qwen3.8 27B thinking 켬	7 / 16 (0.09)	3 / 14 (0.01)
Raon thinking 켬 vs Claude Opus 5.5	8 / 15 (0.21)	5 / 15 (0.04)
Raon thinking 끔 vs qwen3.8 27B thinking 끔	14 / 10 (0.54)	19 / 11 (0.20)
Raon thinking 끔 vs qwen3.5 9B	28 / 7 (0.001 미만)	34 / 10 (0.001 미만)
Raon thinking 끔 vs EXAONE 3.5 7.8B	38 / 10 (0.001 미만)	49 / 9 (0.001 미만)
Raon thinking 켬 vs 끔	14 / 9 (0.41)	15 / 9 (0.31)
Raon 모델 카드 설정 vs thinking 켬(temp 0)	7 / 5 (0.77)	7 / 8 (1.0)

읽는 법:

• thinking을 끄면 Raon과 qwen3.8 27B 사이에 차이가 검출되지 않았습니다(같다는 증명은 아닙니다). 활성 파라미터 4B인 MoE로서는 좋은 결과입니다.
• thinking을 켜면 qwen3.8 27B가 앞섭니다. 두 채점기 모두 qwen3.8만 맞힌 문항이 더 많았지만, 주 채점기로는 우연 범위(p=0.09)입니다. 「확실히 낮다」고까지는 말하지 않겠습니다.
• 국산 7.8B인 EXAONE 3.5보다는 확실히 높습니다. 다만 크기·구조·출시 시기가 모두 달라서, 무엇 때문인지는 이 실험으로 가릴 수 없습니다.
• Raon은 thinking으로 얻는 이득이 작았습니다(켬 vs 끔 14 / 9, 유의하지 않음). 이 시험지에서는 thinking을 끄고 약 2.3배 빠르게 쓰는 것도 합리적인 선택입니다.

「생각만 하다 끝나는」 문항

thinking을 켜면 모델이 답하기 전에 생각을 길게 씁니다. 출력 한도를 8,192토큰으로 두었는데, temperature 0에서는 320문항 중 16개가 한도를 다 쓰도록 생각만 하다 끝났고, 그중 14개는 답이 비어 있었습니다.

temperature 0은 매번 가장 확률이 높은 단어만 고르는 방식이라, 같은 생각을 반복하는 루프에 빠지기 쉽습니다. 그래서 모델 카드가 권장하는 샘플링(temperature 1.0, top_p 0.95, top_k 20, presence penalty 1.5)으로 다시 돌렸습니다.

조건	한도(8,192토큰)까지 생각	빈 답	정답률(주 / 두 번째)
thinking 켬, temperature 0	16	14	74.2% / 76.9%
thinking 켬, 모델 카드 설정	11	11	74.9% / 76.6%

설정마다 한 번씩만 돌린 결과라(루프에 빠진 문항도 두 실행에서 6개만 겹침) 「줄었다」고 단정하긴 어렵지만, 권장 설정으로도 루프는 없어지지 않았고 정답률은 같았습니다. thinking을 켜서 쓴다면 모델 카드 설정을 쓰고, 출력 한도에 걸린 응답을 따로 처리하는 코드를 넣어 두는 게 좋겠습니다. 같은 조건에서 qwen3.8 27B는 한도에 걸린 문항이 없었습니다.

Ollama로는 아직 안 된다: 직접 돌리는 법

10월 22일 기준으로 Raon-1 mini는 Ollama와 정식 llama.cpp에서 돌아가지 않습니다. 새 어텐션 구조라 정식 llama.cpp 지원이 「pending」 상태이고, 크래프톤이 공개한 llama.cpp 브랜치를 직접 빌드해야 합니다.

git clone --depth 1 -b raon-1-mini-preview https://github.com/krafton-ai/llama.cpp raon-llama.cpp
cd raon-llama.cpp
# RTX 3090(Ampere)은 86, GTX 1080 Ti(Pascal)는 61
CC=gcc-12 CXX=g++-12 cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 \
  -DCMAKE_CUDA_HOST_COMPILER=g++-12 -DCMAKE_BUILD_TYPE=Release
cmake --build build -j --target llama-server llama-cli

• CUDA 12.0 + gcc 13(Ubuntu 24.04 기본)이면 주의하세요. CUDA 12.0이 공식 지원하는 호스트 컴파일러는 gcc 12까지라, 저는 위처럼 gcc 12를 지정해 빌드했습니다.
• 모델은 Hugging Face KRAFTON/Raon-1-mini-preview-gguf에 있습니다. 공개 당일에는 신청해야 받는(gated) 저장소였는데, 다음 날(10월 22일) 잠금이 풀렸습니다.

./build/bin/llama-server -m raon-1-mini-preview-Q4_K_M.gguf -ngl 99 -c 16384 --jinja --port 8090

thinking은 요청마다 켜고 끕니다. OpenAI 호환 API에 "chat_template_kwargs": {"enable_thinking": true}를 넣으면 생각한 내용은 reasoning_content로, 답은 content로 따로 옵니다. 한국어로 물어도 생각은 영어로 합니다. 모델 카드는 thinking을 끄는 것을 권장하지 않습니다.

속도와 메모리: RTX 3090 한 장 vs GTX 1080 Ti 두 장

	RTX 3090 한 장	GTX 1080 Ti 두 장
VRAM	약 19.9GB (전부 GPU)	10.9GB + 10.3GB (전부 GPU)
프롬프트 처리	초당 약 2,800토큰	초당 약 330토큰
생성	초당 약 96토큰	초당 약 10토큰
문항당, thinking 끔	2.0초	16초
문항당, thinking 켬	4.8초	39초 (28문항만 측정)

320문항 실행의 중앙값입니다(프롬프트는 문항당 약 2,500토큰). 1080 Ti 두 장에서 thinking을 켜고 320문항을 다 돌리지 않은 이유는, 생각 루프에 빠진 문항 하나가 생성 초당 10토큰으로 8,192토큰을 채우는 데 13분쯤 걸려서입니다(실측 784~812초).

• 1080 Ti(Pascal, 2017년)에서도 돌아갑니다. 크래프톤의 새 어텐션이 구형 카드에서 오류 없이 동작했고, thinking 끔 320문항 정답률은 74.2% / 75.9%로 3090(72.6% / 74.9%)과 비슷했습니다. 같은 모델·같은 설정인데 장비와 빌드가 다르면 9문항의 판정이 엇갈렸습니다(1080 Ti 쪽만 맞힘 7, 3090 쪽만 맞힘 2. 지난 글의 qwen3.8도 11문항).
• 다만 느립니다. 같은 1080 Ti 두 장에서 비슷한 크기의 MoE인 qwen3.6 35B-A3B는 생성이 초당 약 20토큰이었습니다. Raon이 그 절반인 것은 새 어텐션 커널이 구형 카드에 아직 최적화되지 않았기 때문으로 추정합니다(확인하지는 않았습니다).

돌리다 걸린 것

1. Ollama 미지원: ollama pull로는 받을 수 없습니다. 모델 카드는 Transformers·vLLM·MLX도 지원한다고 적고 있지만, GGUF로 가볍게 돌리려면 지금은 위의 브랜치 빌드가 방법입니다.
2. temperature 0에서 생각 루프: 위 「생각만 하다 끝나는 문항」 참고. 모델 카드 권장 샘플링을 쓰세요.
3. WSL에서 LAN에 서버를 열 때: WSL을 mirrored 네트워크로 쓰면 Windows Hyper-V 방화벽이 들어오는 연결을 막습니다. 관리자 권한으로 해당 포트 규칙을 추가해야 다른 PC에서 접속됩니다. 저는 이미 열려 있던 포트로 우회했습니다.
4. Windows가 GPU 메모리를 잡고 있는 날: 같은 3090이 전날에는 Windows 쪽 프로그램이 9.5GB를 쓰고 있어서 Q4_K_M(19.7GB)이 다 올라가지 않았고, 다음 날에는 0.7GB라 전부 올라갔습니다. 돌리기 전에 nvidia-smi부터 보세요.

한계

• preview 버전입니다. 크래프톤은 정식판과 기술 보고서를 따로 낼 예정이라고 밝혔습니다.
• Q4_K_M 양자화 하나만 썼습니다. 원본(BF16)이나 더 높은 양자화에서는 결과가 다를 수 있습니다.
• 한 번씩만 돌렸습니다. 지난 글에서 같은 모델도 장비·버전이 바뀌면 판정이 11문항쯤 엇갈렸으니, 1~2%p 차이는 순위로 읽지 마세요.
• 채점은 LLM 두 개가 했습니다. 두 번째 채점기(Opus)는 Claude 답변에 더 후했던 적이 있어, 로컬 모델끼리 비교는 두 채점기를 함께 보세요.
• 시험지 하나(한국어 공공 문서 64개)의 결과입니다.

재현

문항별 판정과 스크립트는 지난 글의 재현 파일과 같은 구성으로 올렸습니다. Raon용 생성 스크립트(gen_openai.py, llama-server의 OpenAI 호환 API 사용)와 Raon 판정이 추가됐습니다.

다음에 읽을 글

• 로컬 RAG, 한국어 문서에 정말 맞게 답할까 (300문항 채점): 이 글의 시험지와 다른 모델들 결과
• 로컬 LLM 설치 가이드 2026 (1080 Ti 실측): Ollama로 돌릴 수 있는 모델들
• 35B MoE를 1080 Ti 두 장에서: 비슷한 크기 MoE의 구형 GPU 속도