Review or Reviews
테크, 개발, AI, 하드웨어 — 실사용 기반 리뷰와 가이드
최신 글
Model-Card Sampling vs Temperature 0 on a Korean Document-QA Benchmark: qwen3.8 27B and Nanbeige4.3, 320 Questions Rerun
After a Hugging Face comment that temperature 0 is unfair to qwen3.8, I reran qwen3.8 27B and Nanbeige4.3 33B on all 320 questions of a Korean document-RAG benchmark at their model cards' recommended sampling. No accuracy difference showed up; the output-token cap is what moved the score. Higher temperature also produced more answers that never finished.
모델 카드 권장 샘플링으로 다시 재 보니: qwen3.8 27B와 Nanbeige4.3, 한국어 문서 RAG 320문항
한국어 문서 RAG 시험지를 온도 0으로 잰 것이 불공정하다는 지적을 받고, qwen3.8 27B와 Nanbeige4.3 33B를 모델 카드 권장 샘플링으로 320문항 다시 쟀습니다. 정답률 차이는 찾지 못했고, 점수를 움직인 것은 출력 토큰 한도였습니다. 온도를 올리면 끝나지 않는 답이 늘어난다는 것도 확인했습니다.
Same Task, Five Tries: 4 Local LLMs and 2 Claude Models on 100 Multi-Turn Tool-Use Tasks
I ran 100 BFCL multi-turn tool-use tasks five times per model and graded the final state. gemma4 26B on one RTX 3090 solved 60 tasks in all five runs, close to Claude Sonnet 5.5 (57). Answering 'yes' when a model asked 'shall I go ahead?' lowered scores; answering 'do exactly what I asked' left average success almost unchanged.
더 보기
같은 일을 5번 시켰더니: 로컬 LLM 4종과 Claude 2종, 도구 호출 100과제 «매번 해내나» 채점
BFCL 다단계 도구 호출 과제 100개를 모델마다 5번씩 시키고 최종 상태로 채점했습니다. 3090 한 장의 gemma4 26B가 5번 다 해낸 과제 60개로 Claude Sonnet 5.5(57개)와 비슷했습니다. «진행할까요?»에 «예»라고 답해 주면 점수가 오히려 떨어졌고, «시킨 것만 하세요»로 답하면 평균 성공률은 거의 그대로였습니다.
LFM2.5 24B-A2B on a Korean Document-QA Benchmark: Below qwen3.8 27B (Thinking), No Detectable Gap to gemma4 12B
Liquid AI's LFM2.5 24B-A2B, a 24B MoE reasoning model with 2.4B active parameters released October 12, scored on 299 Korean document questions with known answers, against qwen3.8 27B, gemma4 12B and gemma4 26B MoE (a comparator on its card): same retrieved pages, prompt and judge (sampling and output caps differ). Plus speed on two GTX 1080 Tis and what to watch when measuring a model that always thinks.
LFM2.5 24B-A2B, 한국어 문서 RAG 300문항으로 채점해 보니: qwen3.8 27B(생각 켬)보다 낮고, gemma4 12B와는 차이가 검출되지 않았다
Liquid AI가 10월 12일 공개한 24B MoE(활성 2.4B) 추론 모델 LFM2.5 24B-A2B를 정답이 있는 한국어 문서 RAG 시험지로 채점했습니다. 같은 검색 결과, 같은 지시문, 같은 채점기로(샘플링과 출력 한도는 다름) qwen3.8 27B, gemma4 12B, 카드의 비교 대상 gemma4 26B MoE와 비교했고, GTX 1080 Ti 두 장에서의 속도와 늘 생각하는 모델을 잴 때 주의할 점을 정리했습니다.
Nanbeige4.3 33B on a Korean Document-QA Benchmark: The Model That Leads qwen3.8 27B on Its Card, Compared Under the Same Conditions
Nanbeige4.3 33B, released October 24, scored on 299 Korean document questions with known answers, side by side with qwen3.8 27B, the model its card compares against: same retrieved pages, prompt and judge. Plus what went wrong when its thinking ran into the output cap, how the capped questions were rerun, and RTX 3090 speed.
Nanbeige4.3 33B, 한국어 문서 RAG 300문항으로 채점해 보니: 모델 카드에서 qwen3.8 27B를 앞선 모델, 같은 조건으로 비교
10월 24일 공개된 33B 오픈 모델 Nanbeige4.3을 정답이 있는 한국어 문서 RAG 시험지로 채점했습니다. 모델 카드가 비교한 qwen3.8 27B와 같은 검색 결과, 같은 지시문, 같은 채점기로 쟀고, 출력 한도에 걸려 답을 못 쓴 문항을 다시 돌린 과정과 RTX 3090 속도도 정리했습니다.
NVIDIA Nemotron 3.5 Bolt E4B on a Korean Document-QA Benchmark: Scored Against Its Base Model, gemma4 E4B
NVIDIA's Nemotron 3.5 Bolt E4B, released October 23, scored on 299 Korean document questions with known answers, side by side with the model it was post-trained from (gemma4 E4B): same retrieved pages, prompt, judge and quantization label, with thinking off and on. Plus GTX 1080 Ti and RTX 3090 speed, and how to turn thinking on in Ollama.