Review or Reviews
테크, 개발, AI, 하드웨어 — 실사용 기반 리뷰와 가이드
최신 글
Same Task, Five Tries: 4 Local LLMs and 2 Claude Models on 100 Multi-Turn Tool-Use Tasks
I ran 100 BFCL multi-turn tool-use tasks five times per model and graded the final state. gemma4 26B on one RTX 3090 solved 60 tasks in all five runs, close to Claude Sonnet 5.5 (57). Answering 'yes' when a model asked 'shall I go ahead?' lowered scores; answering 'do exactly what I asked' left average success almost unchanged.
같은 일을 5번 시켰더니: 로컬 LLM 4종과 Claude 2종, 도구 호출 100과제 «매번 해내나» 채점
BFCL 다단계 도구 호출 과제 100개를 모델마다 5번씩 시키고 최종 상태로 채점했습니다. 3090 한 장의 gemma4 26B가 5번 다 해낸 과제 60개로 Claude Sonnet 5.5(57개)와 비슷했습니다. «진행할까요?»에 «예»라고 답해 주면 점수가 오히려 떨어졌고, «시킨 것만 하세요»로 답하면 평균 성공률은 거의 그대로였습니다.
LFM2.5 24B-A2B on a Korean Document-QA Benchmark: Below qwen3.8 27B (Thinking), No Detectable Gap to gemma4 12B
Liquid AI's LFM2.5 24B-A2B, a 24B MoE reasoning model with 2.4B active parameters released October 12, scored on 299 Korean document questions with known answers, against qwen3.8 27B, gemma4 12B and gemma4 26B MoE (a comparator on its card): same retrieved pages, prompt and judge (sampling and output caps differ). Plus speed on two GTX 1080 Tis and what to watch when measuring a model that always thinks.
더 보기
LFM2.5 24B-A2B, 한국어 문서 RAG 300문항으로 채점해 보니: qwen3.8 27B(생각 켬)보다 낮고, gemma4 12B와는 차이가 검출되지 않았다
Liquid AI가 10월 12일 공개한 24B MoE(활성 2.4B) 추론 모델 LFM2.5 24B-A2B를 정답이 있는 한국어 문서 RAG 시험지로 채점했습니다. 같은 검색 결과, 같은 지시문, 같은 채점기로(샘플링과 출력 한도는 다름) qwen3.8 27B, gemma4 12B, 카드의 비교 대상 gemma4 26B MoE와 비교했고, GTX 1080 Ti 두 장에서의 속도와 늘 생각하는 모델을 잴 때 주의할 점을 정리했습니다.
Nanbeige4.3 33B on a Korean Document-QA Benchmark: The Model That Leads qwen3.8 27B on Its Card, Compared Under the Same Conditions
Nanbeige4.3 33B, released October 24, scored on 299 Korean document questions with known answers, side by side with qwen3.8 27B, the model its card compares against: same retrieved pages, prompt and judge. Plus what went wrong when its thinking ran into the output cap, how the capped questions were rerun, and RTX 3090 speed.
Nanbeige4.3 33B, 한국어 문서 RAG 300문항으로 채점해 보니: 모델 카드에서 qwen3.8 27B를 앞선 모델, 같은 조건으로 비교
10월 24일 공개된 33B 오픈 모델 Nanbeige4.3을 정답이 있는 한국어 문서 RAG 시험지로 채점했습니다. 모델 카드가 비교한 qwen3.8 27B와 같은 검색 결과, 같은 지시문, 같은 채점기로 쟀고, 출력 한도에 걸려 답을 못 쓴 문항을 다시 돌린 과정과 RTX 3090 속도도 정리했습니다.
NVIDIA Nemotron 3.5 Bolt E4B on a Korean Document-QA Benchmark: Scored Against Its Base Model, gemma4 E4B
NVIDIA's Nemotron 3.5 Bolt E4B, released October 23, scored on 299 Korean document questions with known answers, side by side with the model it was post-trained from (gemma4 E4B): same retrieved pages, prompt, judge and quantization label, with thinking off and on. Plus GTX 1080 Ti and RTX 3090 speed, and how to turn thinking on in Ollama.
엔비디아 Nemotron 3.5 Bolt E4B, 한국어 문서 RAG 300문항으로 채점해 보니: 바탕 모델 gemma4 E4B와 같은 조건 비교
엔비디아가 10월 23일 공개한 4B급 로컬 모델 Nemotron 3.5 Bolt E4B를 정답이 있는 한국어 문서 RAG 시험지로 채점했습니다. 바탕 모델인 gemma4 E4B와 같은 검색 결과·같은 지시문·같은 채점기로 생각 모드를 끄고 켜서 비교했고, GTX 1080 Ti와 RTX 3090 속도, Ollama에서 생각 모드를 켜는 방법도 정리했습니다.
Krafton's Raon-1 mini on a Korean Document-QA Benchmark: 300 Questions with Known Answers, Run on an RTX 3090 and Two GTX 1080 Tis
Raon-1 mini preview (30B MoE, ~4B active) scored on 299 Korean RAG questions with gold answers, same retrieved pages and judges as qwen3.8, Claude Opus 5.5 and EXAONE. Plus how to build and run it today, and a thinking-loop issue at temperature 0.