로컬 LLM 대시보드 읽는 법: 어떤 모델을 어떤 용도로 골라야 하나

로컬 LLM 대시보드는 모델 목록, 파라미터, 파일 크기, 양자화, 로드 버튼, 삭제 버튼 같은 정보를 한꺼번에 보여준다. 이 화면을 제대로 읽으면 “일단 제일 큰 모델”이나 “일단 제일 작은 모델” 같은 선택을 피할 수 있다. 모델 선택은 용도와 장비, 컨텍스트, 품질 기대치의 균형 문제다.

예를 들어 대시보드에 SmolLM2 135M Instruct Q4_K_M, Gemma 3 270M Instruct Q4_K_M, Qwen2.5 0.5B Instruct Q4_K_M, TinyLlama 1.1B Chat Q4_K_M 같은 모델이 보인다면, 이는 초소형 온디바이스 모델 목록에 가깝다. 반대로 Qwen3.6-27B-4bit, Qwen3.6-35B-A3B-4bit, Gemma-4-26B-A4B-it-4bit는 훨씬 큰 실무형 로컬 모델 후보에 가깝다.

작은 모델은 빠르지만 역할이 제한적이다

135M, 270M, 360M, 0.5B, 1.1B 모델은 매우 가볍다. 다운로드 용량도 수백 MB 수준일 수 있고, 휴대폰이나 일반 노트북에서도 빠르게 돌아갈 가능성이 높다. 개인정보를 서버에 보내지 않고 짧은 분류, 간단한 문장 다듬기, 짧은 요약, 오프라인 데모를 만들 때 유용하다.

하지만 이런 모델을 ChatGPT 대체재로 기대하면 실망하기 쉽다. 복잡한 코딩, 긴 문서 분석, 법률·세무·의료처럼 정확성이 중요한 작업, 여러 단계 추론은 어렵다. 초소형 모델은 “작은 기기 안의 빠른 언어 기능”에 가깝다. 앱 안에서 간단한 추천 문구를 만들거나, 짧은 텍스트를 분류하거나, 네트워크가 없을 때 기본 응답을 제공하는 용도로 보면 맞다.

작은 모델 중에서는 파라미터가 크다고 무조건 최신 모델보다 좋은 것도 아니다. TinyLlama 1.1B가 Qwen2.5 0.5B보다 크지만, 특정 다국어 지시 수행에서는 Qwen 소형 모델이 더 나을 수 있다. 크기와 세대, 튜닝 품질을 함께 봐야 한다.

중대형 모델은 실무 보조에 가깝다

7B부터 14B는 본격적인 로컬 assistant의 시작점으로 볼 수 있다. 27B, 35B-A3B, 26B-A4B는 코딩, 문서 분석, 복잡한 요약, 에이전트 작업까지 노릴 수 있는 구간이다. 물론 장비 요구사항도 크게 오른다. 4bit라 하더라도 27B급은 수십 GB 메모리 여유가 있으면 훨씬 안정적이다.

Qwen3.6-35B-A3B-4bit 같은 모델은 코딩과 에이전트 작업에 매력적이다. 전체 35B 규모의 지식과 구조를 가지면서 토큰당 활성 계산량은 3B에 가깝기 때문이다. Qwen3.6-27B-4bit 같은 dense 모델은 더 무겁지만 계산 경로가 안정적이어서 일관성이 장점일 수 있다. Gemma-4-26B-A4B-it-4bit는 효율적인 MoE와 Gemma 생태계, 범용 챗/문서 작업에 장점이 있을 수 있다.

대시보드에서 로드 버튼이 보이면 이미 모델이 다운로드되어 있고 메모리에 올려 실행할 수 있다는 뜻이다. 다운로드 버튼은 아직 기기에 파일이 없다는 뜻이다. 삭제는 로컬 파일 제거다. 단순하지만 운영에서는 중요하다. 큰 모델 몇 개만 받아도 디스크를 금방 차지한다.

용도별 선택 기준

일반 채팅, 짧은 메모 요약, 개인정보 보호형 오프라인 기능이라면 0.5B~3B 모델도 쓸 수 있다. 다만 정확성이 중요한 답변에는 한계가 있다. 짧은 응답과 빠른 반응이 중요하면 작은 모델이 좋고, 품질이 중요하면 7B 이상을 봐야 한다.

개발 보조와 코딩은 최소 7B~14B 이상을 권장한다. 실제 레포지토리 분석, 다중 파일 변경 계획, 에러 로그 추적까지 하려면 27B 또는 35B-A3B급이 훨씬 낫다. 특히 Qwen 계열은 코딩과 다국어에서 자주 좋은 후보가 된다.

긴 문서 처리에서는 모델 크기만큼 컨텍스트와 KV cache가 중요하다. 128K 컨텍스트를 지원해도 장비 메모리가 부족하면 느려지거나 실패한다. 긴 회의록, 계약서, 코드베이스를 다룰 때는 모델 자체 용량보다 실행 중 메모리와 prompt eval 속도를 반드시 확인해야 한다.

하드웨어별 현실적인 범위

8GB 메모리나 VRAM에서는 7B 4bit도 빠듯할 수 있고, 3B7B가 현실적이다. 16GB에서는 7B14B가 편하고, 27B 4bit는 설정을 줄여야 할 수 있다. 24GB에서는 27B 4bit와 35B-A3B 4bit가 후보가 된다. 32GB 이상이면 중대형 로컬 모델을 더 안정적으로 쓸 수 있고, 64GB 이상이면 긴 컨텍스트와 에이전트 워크플로우까지 여유가 생긴다.

Apple Silicon Mac은 unified memory라 전체 메모리와 메모리 대역폭을 함께 봐야 한다. NVIDIA GPU는 VRAM 용량과 CUDA 최적화가 중요하다. CPU만으로도 실행은 가능하지만 대형 모델에서는 답변 속도가 크게 느려질 수 있다.

결국 모델 선택은 “내 장비에서 원하는 작업을 원하는 속도로 수행하는가”의 문제다. 벤치마크 숫자가 좋아도 내 장비에서 2 tokens/sec라면 실무성이 떨어진다.

대시보드에서 봐야 할 순서

먼저 파라미터 수를 본다. M인지 B인지 구분하고, 초소형인지 중대형인지 판단한다. 다음으로 A3B, A4B 같은 MoE 표기가 있는지 본다. 있으면 전체 크기와 활성 계산량을 나눠 생각한다. 그다음 양자화 표기를 본다. Q4_K_M은 균형형, Q5 이상은 품질 쪽, Q3 이하는 저메모리 쪽으로 이해하면 된다.

그 다음은 다운로드 크기와 로드 상태다. 이미 받은 모델인지, 지금 받을 모델인지, 디스크와 메모리가 충분한지 확인한다. 마지막으로 실제 테스트를 한다. 같은 질문, 같은 문서, 같은 코딩 작업을 넣어보고 속도와 품질을 비교해야 한다.

실행 체크리스트

• 대시보드에서 M과 B를 먼저 구분해 모델 규모를 판단한다.
• A3B, A4B가 있으면 MoE 모델로 보고 전체 파라미터와 활성 파라미터를 분리한다.
• Q4_K_M은 로컬용 균형형 4bit 양자화로 이해한다.
• 작은 모델은 빠른 온디바이스 기능, 큰 모델은 실무 보조에 맞춘다.
• 코딩과 에이전트 작업은 가능하면 Qwen 14B 이상, 여유가 있으면 27B~35B-A3B를 테스트한다.
• 긴 문서 작업은 context 지원뿐 아니라 KV cache 메모리까지 본다.
• 최종 선택은 벤치마크보다 내 장비에서의 실제 tokens/sec와 결과 품질로 결정한다.

로컬 LLM 대시보드는 단순한 다운로드 목록이 아니다. 각 모델이 어떤 장비와 작업에 맞는지 알려주는 압축된 운영 화면이다. 이름, 파라미터, active parameter, quant, 용량, context를 함께 읽으면 작은 모델로 할 일과 큰 모델이 필요한 일을 명확히 나눌 수 있다.