블로그

총 41개의 글

전체AI/MLLocal LLM바이오인포매틱스개발AI/LLMDevOps
AI/ML2026년 11월 11일· 14 min read

Can a Local LLM Redact the Same Document Five Times? 100 Korean Documents, Graded

I planted fake personal data in 100 Korean documents, asked each model to redact every document five times, and graded against the answer key. qwen3.8 27B on one RTX 3090 passed 96 documents in all five tries, close to Claude Sonnet 5.5 (99); with a regex pass first it reached 99. Small models that fit a 1080 Ti passed half or fewer, and qwen3.5 9B masked the form fields while missing names inside sentences.

#privacy#PII#redaction#de-identification
AI/ML2026년 11월 11일· 25 min read

회사 문서를 클라우드에 못 보낼 때: 로컬 LLM은 개인정보를 5번 다 가릴까, 한국어 문서 100건 채점

가짜 개인정보를 심은 한국어 문서 100건을 모델마다 5번씩 가리게 하고 정답표로 채점했습니다. RTX 3090 한 장의 qwen3.8 27B가 5번 모두 통과한 문서 96건으로 Claude Sonnet 5.5(99건)에 가까웠고, 정규식을 앞에 붙이면 99건이 됐습니다. 1080 Ti에 들어가는 작은 모델은 절반 이하였고, qwen3.5 9B는 양식 칸만 가리고 문장 속 이름을 놓쳤습니다.

#개인정보#비식별화#PII#로컬 LLM
Local LLM2026년 11월 6일· 11 min read

Model-Card Sampling vs Temperature 0 on a Korean Document-QA Benchmark: qwen3.8 27B and Nanbeige4.3, 320 Questions Rerun

After a Hugging Face comment that temperature 0 is unfair to qwen3.8, I reran qwen3.8 27B and Nanbeige4.3 33B on all 320 questions of a Korean document-RAG benchmark at their model cards' recommended sampling. No accuracy difference showed up; the output-token cap is what moved the score. Higher temperature also produced more answers that never finished.

#qwen3.8 27B#Nanbeige4.3#sampling#temperature
AI/ML2026년 11월 6일· 20 min read

모델 카드 권장 샘플링으로 다시 재 보니: qwen3.8 27B와 Nanbeige4.3, 한국어 문서 RAG 320문항

한국어 문서 RAG 시험지를 온도 0으로 잰 것이 불공정하다는 지적을 받고, qwen3.8 27B와 Nanbeige4.3 33B를 모델 카드 권장 샘플링으로 320문항 다시 쟀습니다. 정답률 차이는 찾지 못했고, 점수를 움직인 것은 출력 토큰 한도였습니다. 온도를 올리면 끝나지 않는 답이 늘어난다는 것도 확인했습니다.

#qwen3.8 27B#Nanbeige4.3#샘플링#temperature
AI/ML2026년 11월 3일· 22 min read

같은 일을 5번 시켰더니: 로컬 LLM 4종과 Claude 2종, 도구 호출 100과제 «매번 해내나» 채점

BFCL 다단계 도구 호출 과제 100개를 모델마다 5번씩 시키고 최종 상태로 채점했습니다. 3090 한 장의 gemma4 26B가 5번 다 해낸 과제 60개로 Claude Sonnet 5.5(57개)와 비슷했습니다. «진행할까요?»에 «예»라고 답해 주면 점수가 오히려 떨어졌고, «시킨 것만 하세요»로 답하면 평균 성공률은 거의 그대로였습니다.

#에이전트#도구 호출#function calling#BFCL
Local LLM2026년 11월 2일· 11 min read

LFM2.5 24B-A2B on a Korean Document-QA Benchmark: Below qwen3.8 27B (Thinking), No Detectable Gap to gemma4 12B

Liquid AI's LFM2.5 24B-A2B, a 24B MoE reasoning model with 2.4B active parameters released October 12, scored on 299 Korean document questions with known answers, against qwen3.8 27B, gemma4 12B and gemma4 26B MoE (a comparator on its card): same retrieved pages, prompt and judge (sampling and output caps differ). Plus speed on two GTX 1080 Tis and what to watch when measuring a model that always thinks.

#LFM2.5#Liquid AI#MoE#Korean LLM
AI/ML2026년 11월 2일· 18 min read

LFM2.5 24B-A2B, 한국어 문서 RAG 300문항으로 채점해 보니: qwen3.8 27B(생각 켬)보다 낮고, gemma4 12B와는 차이가 검출되지 않았다

Liquid AI가 10월 12일 공개한 24B MoE(활성 2.4B) 추론 모델 LFM2.5 24B-A2B를 정답이 있는 한국어 문서 RAG 시험지로 채점했습니다. 같은 검색 결과, 같은 지시문, 같은 채점기로(샘플링과 출력 한도는 다름) qwen3.8 27B, gemma4 12B, 카드의 비교 대상 gemma4 26B MoE와 비교했고, GTX 1080 Ti 두 장에서의 속도와 늘 생각하는 모델을 잴 때 주의할 점을 정리했습니다.

#LFM2.5#Liquid AI#MoE#한국어 LLM
Local LLM2026년 10월 28일· 15 min read

Nanbeige4.3 33B on a Korean Document-QA Benchmark: The Model That Leads qwen3.8 27B on Its Card, Compared Under the Same Conditions

Nanbeige4.3 33B, released October 24, scored on 299 Korean document questions with known answers, side by side with qwen3.8 27B, the model its card compares against: same retrieved pages, prompt and judge. Plus what went wrong when its thinking ran into the output cap, how the capped questions were rerun, and RTX 3090 speed.

#Nanbeige4.3#qwen3.8 27B#Korean LLM#local RAG
AI/ML2026년 10월 28일· 25 min read

Nanbeige4.3 33B, 한국어 문서 RAG 300문항으로 채점해 보니: 모델 카드에서 qwen3.8 27B를 앞선 모델, 같은 조건으로 비교

10월 24일 공개된 33B 오픈 모델 Nanbeige4.3을 정답이 있는 한국어 문서 RAG 시험지로 채점했습니다. 모델 카드가 비교한 qwen3.8 27B와 같은 검색 결과, 같은 지시문, 같은 채점기로 쟀고, 출력 한도에 걸려 답을 못 쓴 문항을 다시 돌린 과정과 RTX 3090 속도도 정리했습니다.

#Nanbeige4.3#qwen3.8 27B#한국어 LLM#로컬 RAG
Local LLM2026년 10월 26일· 9 min read

NVIDIA Nemotron 3.5 Bolt E4B on a Korean Document-QA Benchmark: Scored Against Its Base Model, gemma4 E4B

NVIDIA's Nemotron 3.5 Bolt E4B, released October 23, scored on 299 Korean document questions with known answers, side by side with the model it was post-trained from (gemma4 E4B): same retrieved pages, prompt, judge and quantization label, with thinking off and on. Plus GTX 1080 Ti and RTX 3090 speed, and how to turn thinking on in Ollama.

#Nemotron 3.5 Bolt#NVIDIA#gemma4 E4B#Korean LLM
AI/ML2026년 10월 26일· 17 min read

엔비디아 Nemotron 3.5 Bolt E4B, 한국어 문서 RAG 300문항으로 채점해 보니: 바탕 모델 gemma4 E4B와 같은 조건 비교

엔비디아가 10월 23일 공개한 4B급 로컬 모델 Nemotron 3.5 Bolt E4B를 정답이 있는 한국어 문서 RAG 시험지로 채점했습니다. 바탕 모델인 gemma4 E4B와 같은 검색 결과·같은 지시문·같은 채점기로 생각 모드를 끄고 켜서 비교했고, GTX 1080 Ti와 RTX 3090 속도, Ollama에서 생각 모드를 켜는 방법도 정리했습니다.

#Nemotron 3.5 Bolt#NVIDIA#gemma4 E4B#한국어 LLM
AI/ML2026년 10월 22일· 18 min read

크래프톤 Raon-1 mini, 한국어 문서 RAG 300문항으로 채점해 보니: 3090 한 장·1080 Ti 두 장에서 돌린 결과

크래프톤이 10월 21일 공개한 Raon-1 mini preview를 정답이 있는 한국어 문서 RAG 시험지 300문항으로 채점했습니다. qwen3.8·Claude Opus 5.5·EXAONE과 같은 검색 결과, 같은 채점기로 비교하고, Ollama로는 아직 못 돌리는 이 모델을 RTX 3090과 GTX 1080 Ti에서 직접 돌리는 법과 속도도 정리했습니다.

#Raon-1 mini#라온 미니#크래프톤 LLM#한국어 LLM
AI/ML2026년 10월 21일· 34 min read

로컬 RAG, 한국어 문서에 정말 맞게 답할까 — 정답 있는 300문항으로 채점해 보니 로컬 27B가 Opus 5.5와 비겼고, 남은 점수는 파싱과 검색에서 샜다

공개된 한국어 RAG 시험지 300문항으로 로컬 모델 7종과 Claude 5.5 세 모델을 같은 검색 결과 위에서 채점했습니다. 3090 한 장의 qwen3.8 27B는 thinking을 켜면 채점기 두 개 모두에서 Opus 5.5와 구분되지 않았고, 상위 모델이 틀린 문항의 약 3분의 2는 생성이 아니라 PDF 파싱과 검색 단계에서 근거를 놓친 문항이었습니다.

#로컬 RAG#한국어 RAG#RAG 평가#Ollama
Local LLM2026년 6월 23일· 7 min read

The Open-Model Cost Chart Everyone's Sharing Is API Prices. Here's What Self-Hosting Actually Gets You (Measured)

The intelligence-vs-cost chart making the rounds shows open models winning the value quadrant. True, but the x-axis is API token price. The cheap open winners are 100B-to-1T MoEs you can't run on a desktop GPU. Here's what you can actually self-host on an 11GB and a 24GB card, measured, and where the real ceiling is.

#local LLM#open source#self-hosting#GPU poor
Local LLM2026년 6월 19일· 10 min read

I Added a Verify Layer to My Local RAG to Catch Hallucinations. It Caught Me Being Wrong Twice About My Own Corpus

A claim-verification layer for a local RAG co-scientist, inspired by Karpathy's llm-wiki pattern. I tried to measure whether it catches hallucinations, almost shipped a false finding, and ended up with a clearer picture of what claim-checking can and can't do: it reliably catches values that are absent from the context, misses a real number pinned to the wrong question, and misses a false premise outright, and a model can't reliably referee its own blind spots.

#local LLM#RAG#hallucination#ollama
Local LLM2026년 6월 10일· 6 min read

The Prefill Wall: Why MTP's 2× Barely Moves Long-Context Latency (Qwen3.6-27B, RTX 3090)

My last post doubled generation with MTP. A reader asked the question I'd skipped — what about prompt processing at long context? I measured prefill across context sizes on a 3090: a 64k prompt takes ~59s before the first token, and MTP can't touch that. Here's the math on when MTP's 2× actually matters, and when prefill swallows it.

#local LLM#RTX 3090#prefill#long context
Local LLM2026년 6월 9일· 11 min read

Doubling Qwen3.6-27B on One RTX 3090: ollama → llama.cpp + MTP, Lever by Lever (35.7 → ~75 tok/s)

A commenter pointed me at a faster backend and multi-token prediction to roughly double my 3090's throughput. I measured it one lever at a time: 35.7 tok/s on Ollama → ~75 with MTP, a real ~2.1× (a community re-test corrected my first lucky 80.2 draw). Plus Gemma 4 12B: 1.95× with MTP on the 3090, but 0.87× (slower) on an M1 Max.

#local LLM#RTX 3090#llama.cpp#MTP
바이오인포매틱스2026년 3월 18일· 14 min read

연구자를 위한 AI 어시스턴트 구축기: OpenClaw로 바이오인포매틱스 워크플로우 자동화하기

반복적인 프로테오믹스 분석 작업을 OpenClaw로 자동화하여 연구 효율성을 90% 이상 향상시킨 실제 경험담. DIA-NN 파이프라인 구축부터 바이오마커 데이터베이스 개발까지, 구체적인 구현 과정과 성과를 상세히 공개합니다.

#OpenClaw#바이오인포매틱스#프로테오믹스#AI자동화