로컬 LLM 모델명 읽는 법: 35B-A3B, 4bit, Instruct가 뜻하는 것

로컬 LLM 대시보드에서 가장 먼저 부딪히는 장벽은 모델 이름이다. Qwen3.6-35B-A3B-4bit, Gemma-4-26B-A4B-it, TinyLlama 1.1B Chat Q4_K_M 같은 이름은 처음 보면 제품 코드처럼 보인다. 하지만 이 표기는 대부분 규칙이 있다. 이름을 읽을 수 있으면 모델의 대략적인 크기, 실행 부담, 용도, 품질 기대치를 빠르게 판단할 수 있다.

핵심은 모델명을 하나의 문장으로 읽는 것이다. 예를 들어 Qwen3.6-35B-A3B-4bit는 “Qwen 3.6 계열의, 전체 35B 파라미터를 가진, 토큰당 약 3B 파라미터만 활성화하는 MoE 모델을, 4bit로 양자화한 버전”이다. 이 문장을 이해하면 로컬 LLM 선택이 훨씬 쉬워진다.

모델 패밀리와 세대

모델명 앞부분은 보통 모델 패밀리와 세대를 뜻한다. Qwen, Gemma, Llama, Mistral, TinyLlama, SmolLM 같은 이름이 여기에 해당한다. 패밀리는 만든 조직과 학습 방향을 어느 정도 알려준다. Qwen 계열은 대체로 코딩, 수학, 다국어 작업에서 강한 편이고, Gemma 계열은 Google의 경량·온디바이스 친화 흐름과 연결된다. Llama는 생태계가 넓고, Mistral은 효율적인 구조와 MoE 모델로 자주 언급된다.

3.6, 4, 2.5 같은 숫자는 세대 또는 버전이다. 일반적으로 새 버전일수록 학습 데이터, 후처리, 컨텍스트, 도구 사용 능력이 개선됐을 가능성이 높다. 다만 최신 버전이 항상 모든 작업에서 우수한 것은 아니다. 작은 최신 모델보다 잘 튜닝된 이전 대형 모델이 코딩이나 추론에서 더 나을 수 있다. 그래서 세대는 힌트일 뿐, 최종 판단은 파라미터, 구조, 양자화, 벤치마크, 실제 테스트를 함께 봐야 한다.

B와 M은 파라미터 규모다

B는 billion, 즉 10억이다. 27B는 약 270억 개 파라미터, 35B는 약 350억 개 파라미터다. M은 million, 즉 100만이다. 135M은 1억 3,500만 개, 360M은 3억 6,000만 개다. 1B는 1000M이므로 0.5B는 500M이다.

파라미터는 모델 안에 저장된 가중치 숫자다. 쉽게 말하면 모델이 학습한 패턴과 지식을 담고 있는 숫자들의 총량이다. 보통 파라미터가 많을수록 더 복잡한 언어 패턴, 더 많은 지식, 더 어려운 추론을 처리할 가능성이 높다. 하지만 동시에 다운로드 용량, 메모리 사용량, 계산량도 커진다.

초소형 대시보드에 보이는 SmolLM2 135M, Gemma 3 270M, Qwen2.5 0.5B, TinyLlama 1.1B는 휴대폰이나 저사양 기기에서 빠르게 돌리기 위한 모델에 가깝다. 반면 Qwen3.6 27B, Gemma 4 26B-A4B, Qwen3.6 35B-A3B는 로컬 PC나 서버급 장비에서 실무 보조를 노리는 중대형 모델이다.

Instruct, Chat, Base의 차이

Instruct, IT, Chat, Base도 중요하다. Instruct와 IT는 instruction tuned의 뜻이다. 사용자가 “요약해줘”, “번역해줘”, “코드 설명해줘”처럼 지시했을 때 잘 따르도록 후처리된 모델이다. 일반 사용자는 대부분 instruct 또는 chat 버전을 고르는 것이 맞다.

Chat은 대화형으로 튜닝된 모델이다. 실제 앱에서는 Instruct와 Chat이 많이 겹친다. 둘 다 채팅 UI에서 쓸 수 있다. 반면 Base는 기본 사전학습 모델이다. 대화용 예절이나 지시 수행 방식이 충분히 들어 있지 않을 수 있다. 파인튜닝, 연구, 모델 병합, 도메인 특화 학습을 하려는 사람이 아니라면 Base 모델을 바로 챗봇으로 쓰는 것은 보통 비추천이다.

Q4_K_M과 4bit는 압축 방식이다

4bit, Q4_K_M, Q5_K_M, Q8_0 같은 표기는 양자화와 관련된다. 원본 모델 가중치는 보통 FP16 또는 BF16처럼 더 큰 숫자 형식으로 저장된다. 4bit 양자화는 이 숫자들을 4비트 수준으로 압축해 파일 크기와 메모리 사용량을 줄인다.

Q4_K_M은 GGUF 계열에서 흔히 쓰는 균형형 4bit 양자화다. Q4는 4bit, K는 K-quants 계열, M은 medium 성격의 균형 설정으로 보면 된다. 보통 Q4_K_M은 로컬 LLM에서 품질과 용량의 균형이 좋아 많이 쓰인다. Q5_K_M은 더 크지만 품질이 낫고, Q8_0은 원본에 더 가깝지만 용량이 크다.

중요한 점은 4bit가 모델 지능을 4분의 1로 만든다는 뜻이 아니라는 것이다. 저장 정밀도를 줄이는 것이다. 좋은 양자화는 원본 품질을 꽤 잘 유지한다. 하지만 너무 낮은 bit로 줄이면 수학, 코딩, 긴 추론에서 손실이 커질 수 있다.

이름만 보고 알 수 있는 것과 없는 것

모델명만 봐도 대략적인 실행 부담은 추정할 수 있다. 35B 4bit라면 대략 18GB 이상 파일일 가능성이 높고, 여기에 KV cache와 런타임 오버헤드가 붙는다. 1.1B Q4_K_M이라면 수백 MB 수준의 가벼운 모델일 가능성이 높다. A3B 또는 A4B가 있으면 MoE 구조로, 전체 파라미터와 실제 활성 계산량이 다르다는 힌트다.

하지만 모델명만으로 실제 품질은 확정할 수 없다. 학습 데이터, 후처리, 평가셋, 토크나이저, 양자화 품질, 런타임 구현이 모두 결과에 영향을 준다. 특히 최신 소형 모델이 오래된 대형 모델보다 특정 작업에서 더 나을 수도 있고, 반대로 파라미터가 큰 모델이 압도적으로 안정적인 경우도 있다.

실행 체크리스트

• 모델명에서 패밀리, 세대, 파라미터, 튜닝 방식, 양자화를 분리해서 읽는다.
• B는 10억, M은 100만 파라미터라는 점을 먼저 본다.
• 일반 챗봇 용도라면 Base보다 Instruct, IT, Chat을 고른다.
• Q4_K_M은 로컬에서 많이 쓰는 4bit 균형형 양자화로 이해한다.
• 다운로드 용량은 주로 전체 파라미터와 양자화 bit에 비례한다.
• A3B, A4B가 붙으면 MoE 모델이므로 전체 크기와 토큰당 계산량을 나눠서 본다.
• 이름은 1차 필터일 뿐, 실제 선택은 내 장비에서의 속도와 작업별 품질 테스트로 결정한다.

로컬 LLM 모델명은 복잡해 보이지만, 사실은 운영자가 빠르게 판단하라고 붙어 있는 압축 정보다. “무슨 모델인지 모르겠다”에서 멈추지 말고, 이름을 구성요소로 쪼개면 다운로드해야 할 크기, 내 장비에서 돌 가능성, 어떤 용도에 맞을지까지 꽤 정확히 예측할 수 있다.