Review or Reviews
테크, 개발, AI, 하드웨어 — 실사용 기반 리뷰와 가이드
최신 글
Can a Local LLM Redact the Same Document Five Times? 100 Korean Documents, Graded
I planted fake personal data in 100 Korean documents, asked each model to redact every document five times, and graded against the answer key. qwen3.8 27B on one RTX 3090 passed 96 documents in all five tries, close to Claude Sonnet 5.5 (99); with a regex pass first it reached 99. Small models that fit a 1080 Ti passed half or fewer, and qwen3.5 9B masked the form fields while missing names inside sentences.
회사 문서를 클라우드에 못 보낼 때: 로컬 LLM은 개인정보를 5번 다 가릴까, 한국어 문서 100건 채점
가짜 개인정보를 심은 한국어 문서 100건을 모델마다 5번씩 가리게 하고 정답표로 채점했습니다. RTX 3090 한 장의 qwen3.8 27B가 5번 모두 통과한 문서 96건으로 Claude Sonnet 5.5(99건)에 가까웠고, 정규식을 앞에 붙이면 99건이 됐습니다. 1080 Ti에 들어가는 작은 모델은 절반 이하였고, qwen3.5 9B는 양식 칸만 가리고 문장 속 이름을 놓쳤습니다.
Model-Card Sampling vs Temperature 0 on a Korean Document-QA Benchmark: qwen3.8 27B and Nanbeige4.3, 320 Questions Rerun
After a Hugging Face comment that temperature 0 is unfair to qwen3.8, I reran qwen3.8 27B and Nanbeige4.3 33B on all 320 questions of a Korean document-RAG benchmark at their model cards' recommended sampling. No accuracy difference showed up; the output-token cap is what moved the score. Higher temperature also produced more answers that never finished.
더 보기
모델 카드 권장 샘플링으로 다시 재 보니: qwen3.8 27B와 Nanbeige4.3, 한국어 문서 RAG 320문항
한국어 문서 RAG 시험지를 온도 0으로 잰 것이 불공정하다는 지적을 받고, qwen3.8 27B와 Nanbeige4.3 33B를 모델 카드 권장 샘플링으로 320문항 다시 쟀습니다. 정답률 차이는 찾지 못했고, 점수를 움직인 것은 출력 토큰 한도였습니다. 온도를 올리면 끝나지 않는 답이 늘어난다는 것도 확인했습니다.
Same Task, Five Tries: 4 Local LLMs and 2 Claude Models on 100 Multi-Turn Tool-Use Tasks
I ran 100 BFCL multi-turn tool-use tasks five times per model and graded the final state. gemma4 26B on one RTX 3090 solved 60 tasks in all five runs, close to Claude Sonnet 5.5 (57). Answering 'yes' when a model asked 'shall I go ahead?' lowered scores; answering 'do exactly what I asked' left average success almost unchanged.
같은 일을 5번 시켰더니: 로컬 LLM 4종과 Claude 2종, 도구 호출 100과제 «매번 해내나» 채점
BFCL 다단계 도구 호출 과제 100개를 모델마다 5번씩 시키고 최종 상태로 채점했습니다. 3090 한 장의 gemma4 26B가 5번 다 해낸 과제 60개로 Claude Sonnet 5.5(57개)와 비슷했습니다. «진행할까요?»에 «예»라고 답해 주면 점수가 오히려 떨어졌고, «시킨 것만 하세요»로 답하면 평균 성공률은 거의 그대로였습니다.
LFM2.5 24B-A2B on a Korean Document-QA Benchmark: Below qwen3.8 27B (Thinking), No Detectable Gap to gemma4 12B
Liquid AI's LFM2.5 24B-A2B, a 24B MoE reasoning model with 2.4B active parameters released October 12, scored on 299 Korean document questions with known answers, against qwen3.8 27B, gemma4 12B and gemma4 26B MoE (a comparator on its card): same retrieved pages, prompt and judge (sampling and output caps differ). Plus speed on two GTX 1080 Tis and what to watch when measuring a model that always thinks.
LFM2.5 24B-A2B, 한국어 문서 RAG 300문항으로 채점해 보니: qwen3.8 27B(생각 켬)보다 낮고, gemma4 12B와는 차이가 검출되지 않았다
Liquid AI가 10월 12일 공개한 24B MoE(활성 2.4B) 추론 모델 LFM2.5 24B-A2B를 정답이 있는 한국어 문서 RAG 시험지로 채점했습니다. 같은 검색 결과, 같은 지시문, 같은 채점기로(샘플링과 출력 한도는 다름) qwen3.8 27B, gemma4 12B, 카드의 비교 대상 gemma4 26B MoE와 비교했고, GTX 1080 Ti 두 장에서의 속도와 늘 생각하는 모델을 잴 때 주의할 점을 정리했습니다.
Nanbeige4.3 33B on a Korean Document-QA Benchmark: The Model That Leads qwen3.8 27B on Its Card, Compared Under the Same Conditions
Nanbeige4.3 33B, released October 24, scored on 299 Korean document questions with known answers, side by side with qwen3.8 27B, the model its card compares against: same retrieved pages, prompt and judge. Plus what went wrong when its thinking ran into the output cap, how the capped questions were rerun, and RTX 3090 speed.