Gemma 4와 Qwen3, 로컬 LLM 후보로 보면 무엇이 다른가

Gemma 4와 Qwen3를 비교할 때 가장 먼저 정리해야 할 것은 “둘 중 뭐가 더 좋냐”가 아니다. 두 모델 계열은 같은 로컬 LLM 후보처럼 보이지만, 실제로는 강점이 꽤 다르다. Gemma 4는 Google DeepMind가 Gemini 계열 연구를 바탕으로 만든 open-weight 모델 패밀리이고, 핵심 메시지는 멀티모달, 긴 컨텍스트, 온디바이스부터 워크스테이션까지 이어지는 배포 폭이다. Qwen3는 Alibaba Qwen 팀이 공개한 모델 패밀리이고, 핵심 메시지는 reasoning 모드와 non-thinking 모드를 오가며 코딩, 수학, 에이전트, 다국어 작업을 강하게 밀어붙이는 쪽에 가깝다.

그래서 이 글은 모델명 읽는 법을 다시 설명하려는 글이 아니다. 26B-A4B나 30B-A3B 같은 표기는 필요한 만큼만 다룬다. 중심 질문은 더 단순하다. 로컬이나 사내 서버에서 LLM을 고를 때 Gemma 4와 Qwen3는 각각 어떤 성격의 선택지인가. 성능은 어떤 영역에서 강하다고 봐야 하는가. 문서 분석, 코딩 에이전트, 멀티모달, 한국어/다국어, 운영 비용을 놓고 보면 어느 쪽을 먼저 테스트해야 하는가.

공식 문서 기준으로 보면 Gemma 4 26B A4B는 총 25.2B 파라미터에 토큰당 약 3.8B 파라미터를 활성화하는 MoE 모델이고, 256K 토큰 컨텍스트와 텍스트·이미지 입력을 지원한다. Qwen3-30B-A3B는 총 30.5B 파라미터에 약 3.3B 활성 파라미터를 쓰는 MoE 모델이며, Qwen3 계열은 thinking/non-thinking 전환, 119개 언어·방언, 코딩과 agentic tool-use를 전면에 둔다. 둘 다 “작은 활성 파라미터로 큰 모델 느낌을 내는” 후보지만, 실제 선택 기준은 다르다.

Gemma 4는 멀티모달과 배포 스펙트럼을 넓게 잡은 모델이다

Gemma 4의 첫인상은 “로컬에서 돌릴 수 있는 Google 계열 모델”이다. 하지만 모델 카드와 DeepMind 소개를 보면 방향은 조금 더 넓다. Gemma 4는 E2B, E4B, 12B, 26B A4B, 31B 같은 여러 크기로 나뉘고, 모바일·엣지·브라우저·개인 PC·워크스테이션·서버까지 이어지는 배포 범위를 의식한다. 작은 E2B/E4B는 모바일과 엣지 쪽을 겨냥하고, 26B A4B와 31B는 개인 PC나 소비자 GPU, 로컬 서버에서 더 강한 추론과 에이전트 작업을 노리는 포지션이다.

Gemma 4의 특징을 한 줄로 줄이면 “텍스트만 잘하는 모델”이 아니라 “긴 컨텍스트와 이미지 입력, 그리고 로컬 배포를 같이 염두에 둔 모델”이다. 공식 문서에서는 Gemma 4가 텍스트, 이미지, 비디오 프레임, 일부 모델의 오디오 입력을 다루고, 텍스트를 출력한다고 설명한다. 26B A4B와 31B급 모델은 256K 토큰 컨텍스트를 지원한다. DeepMind 페이지의 벤치마크에서도 Gemma 4 31B IT Thinking과 26B A4B IT Thinking이 Gemma 3 27B IT보다 큰 폭으로 높은 점수를 보인다.

예를 들어 DeepMind 공개 표에서 Gemma 4 26B A4B IT Thinking은 MMMLU Multilingual Q&A 82.6%, MMMU Pro 73.8%, AIME 2026 88.3%, LiveCodeBench v6 77.1%, GPQA Diamond 82.3%, τ2-bench Retail 85.5%로 제시된다. 같은 표에서 Gemma 3 27B IT는 각각 67.6%, 49.7%, 20.8%, 29.1%, 42.4%, 6.6%다. 이 숫자만 놓고 보면 Gemma 4는 이전 Gemma 3 대비 특히 수학, 코딩, 과학 지식, 에이전트 도구 사용 쪽에서 세대 차이를 크게 만들었다고 볼 수 있다.

Qwen3는 코딩·추론·에이전트 쪽의 실전 감각이 강하다

Qwen3의 핵심은 “생각하는 모델과 빠르게 답하는 모델을 따로 쓰지 말고 한 모델 안에서 전환하자”에 가깝다. Qwen3 공식 블로그와 Hugging Face 모델 카드는 thinking mode와 non-thinking mode를 명확히 구분한다. thinking mode는 수학, 코딩, 복잡한 논리 문제처럼 중간 reasoning이 필요한 작업에 쓰고, non-thinking mode는 빠른 대화나 단순 요청처럼 지연 시간이 더 중요한 작업에 쓴다.

이건 로컬 운영에서 꽤 큰 차이다. 같은 모델을 쓰더라도 “항상 깊게 생각하게 만들 것인가”와 “간단한 질문에는 바로 답하게 할 것인가”를 나눌 수 있기 때문이다. 고객지원 챗봇, 사내 문서 Q&A, 코드리뷰 봇, 브라우저 조작 에이전트를 한 모델로 모두 처리하려면 이 전환이 유용하다. 단순 인사말이나 짧은 요약에 매번 긴 reasoning을 쓰면 느리고 비싸다. 반대로 SQL 생성, 버그 원인 추적, 복잡한 정책 문서 해석에는 더 긴 reasoning budget이 필요하다.

Qwen3-30B-A3B는 이 방향을 잘 보여주는 모델이다. 공식 Hugging Face 카드 기준으로 총 30.5B 파라미터, 활성 3.3B, 48 layers, 128 total experts 중 8 active experts, native 32,768 토큰 컨텍스트, YaRN 사용 시 131,072 토큰 확장을 지원한다. Qwen 공식 블로그는 Qwen3-30B-A3B가 더 많은 활성 파라미터를 쓰는 QwQ-32B보다 좋은 성과를 낸다고 설명하고, Qwen3 계열이 코딩과 agentic capability, MCP 지원, 119개 언어와 방언 지원을 강화했다고 밝힌다.

즉 Qwen3는 “개발자가 바로 붙여보고 싶은 모델”에 가깝다. vLLM, SGLang, Ollama, LM Studio, MLX, llama.cpp 같은 로컬·서버 실행 도구 지원도 넓고, 모델 카드에 thinking parser, reasoning parser, sampling parameter까지 비교적 구체적으로 안내된다. 제품에 붙일 때는 이런 세부 정보가 중요하다. 모델이 똑똑해도 서버로 띄우기 어렵거나 추론 모드 제어가 불안정하면 운영 비용이 커진다.

성능 비교는 벤치마크 숫자보다 작업 유형으로 봐야 한다

Gemma 4와 Qwen3를 단순 벤치마크 숫자로만 줄 세우면 판단이 흐려진다. 벤치마크는 필요하지만, 로컬 모델 선택에서는 작업 유형이 더 중요하다. 이미지까지 넣어야 하는가. 긴 문서를 자주 넣는가. 코딩 에이전트로 쓸 것인가. 다국어 고객 대응을 할 것인가. 도구 호출과 function calling이 중요한가. 이 질문에 따라 우선순위가 달라진다.

Gemma 4는 공식적으로 멀티모달과 긴 컨텍스트, 로컬 배포 폭을 강하게 내세운다. 26B A4B와 31B급은 256K 컨텍스트를 지원하고, 26B A4B는 텍스트와 이미지 입력을 지원한다. DeepMind 벤치마크 표 기준으로 Gemma 4 26B A4B는 이전 세대 Gemma 3 27B 대비 수학, 코딩, 과학 지식, 에이전트 도구 사용에서 크게 향상된 수치를 보인다. 이미지가 섞인 문서, 스크린샷 기반 분석, 긴 자료 묶음 처리, 로컬-first 앱을 만들고 싶다면 Gemma 4를 먼저 볼 이유가 있다.

Qwen3는 코딩·추론·에이전트 도구 사용의 개발자 체감이 강하다. Qwen3-30B-A3B와 Qwen3-32B는 둘 다 로컬 커뮤니티에서 많이 비교되는 후보이고, Qwen3 모델 카드들은 thinking/non-thinking 제어를 명시한다. 코딩 문제, 수학 문제, repo 분석, tool calling, MCP 기반 에이전트처럼 “모델이 답변만 하는 게 아니라 작업을 진행해야 하는” 상황에서는 Qwen3 쪽을 먼저 테스트하는 편이 자연스럽다.

둘 중 하나가 모든 면에서 이긴다고 말하기는 어렵다. Gemma 4 26B A4B의 공식 벤치마크는 매우 강하게 나오지만, Qwen3는 실제 개발 워크플로우에서 reasoning 모드와 배포 생태계가 주는 장점이 있다. 특히 Qwen3는 30B-A3B MoE 외에도 32B dense, 14B, 8B, 4B, 1.7B, 0.6B, 235B-A22B까지 모델 폭이 넓다. 작은 모델부터 큰 모델까지 같은 계열로 실험하기 쉽다는 점도 무시하기 어렵다.

로컬 실행에서는 Gemma 4 26B A4B와 Qwen3-30B-A3B가 직접 비교 대상이다

실제 로컬 사용자가 가장 많이 비교할 만한 조합은 Gemma 4 26B A4B와 Qwen3-30B-A3B다. 둘 다 MoE이고, 전체 파라미터는 2030B대지만 활성 파라미터는 34B 수준이다. 겉으로는 비슷해 보인다. 하지만 메모리, 컨텍스트, 멀티모달, 추론 모드에서 차이가 있다.

Gemma 4 26B A4B는 공식 문서 기준 Q4_0 4bit 로딩 메모리 예시가 약 14.4GB로 제시된다. BF16은 57.7GB, SFP8은 28.8GB다. 이 값은 20% 오버헤드를 포함한 근사치이고 실제 llama.cpp, Ollama, LM Studio, MLX 설정에 따라 달라질 수 있다. 중요한 점은 A4B라고 해서 4B 모델처럼 메모리가 줄어드는 것이 아니라는 점이다. 25.2B 전체 파라미터를 로드해야 MoE 라우팅이 가능하다.

Qwen3-30B-A3B도 마찬가지다. 활성 파라미터는 3.3B지만 전체 파라미터는 30.5B다. 4bit 양자화 파일은 배포 포맷에 따라 다르지만, 메모리 계획은 30B급 모델 기준으로 잡아야 한다. 대신 토큰 생성 시 실제 계산량은 dense 30B보다 낮을 수 있다. 그래서 같은 장비에서 dense 32B보다 빠르게 느껴질 수 있고, 다만 MoE 양자화 품질이나 라우팅 특성에 따라 작업별 편차가 생길 수 있다.

컨텍스트는 Gemma 4가 더 공격적이다. Gemma 4 중대형 모델은 256K 컨텍스트를 내세우고, Qwen3-30B-A3B는 모델 카드 기준 native 32K, YaRN 확장 시 131K다. 긴 문서 전체를 한 번에 넣는 제품을 만들려면 Gemma 4의 256K가 매력적이다. 하지만 긴 컨텍스트는 무료가 아니다. KV cache가 커지고, prompt eval 시간이 길어지고, 실제 답변 품질이 끝까지 유지되는지 별도로 봐야 한다. “지원한다”와 “내 업무에서 안정적으로 잘 쓴다”는 다르다.

멀티모달이 필요하면 Gemma 4 쪽을 먼저 테스트하는 게 맞다

두 모델을 가르는 가장 쉬운 기준은 멀티모달이다. Gemma 4는 모델 패밀리 자체가 이미지, 비디오 프레임, 일부 모델의 오디오 입력을 주요 기능으로 내세운다. 26B A4B는 텍스트와 이미지 입력을 지원하고, 31B도 텍스트와 이미지 쪽에 강점을 둔다. E2B/E4B/12B는 오디오까지 들어간다. 스크린샷, 문서 이미지, 차트, UI 화면, 사진 기반 설명 같은 작업을 로컬에서 처리하려면 Gemma 4의 장점이 더 직접적이다.

예를 들어 고객사가 보낸 대시보드 캡처를 읽고 “어떤 지표가 이상한지” 설명해야 하는 내부 도구를 만든다고 하자. 이 경우 텍스트 LLM에 OCR 결과만 넘기는 것보다 이미지 입력을 모델이 직접 다룰 수 있는 쪽이 자연스럽다. 계약서 PDF의 스캔 이미지, 화이트보드 사진, 앱 UI 스크린샷도 비슷하다. 이런 작업에서는 Gemma 4의 멀티모달 설계가 단순 모델명 스펙보다 중요하다.

Qwen3도 매우 강한 텍스트·코딩 모델이지만, 이 비교에서는 텍스트 중심 후보로 보는 편이 안전하다. Qwen 생태계에는 VL 모델도 따로 존재하지만, Qwen3-30B-A3B나 Qwen3-32B 자체를 기준으로 보면 핵심 포지션은 텍스트 reasoning, 코딩, 다국어, agentic workflow다. 이미지까지 한 모델로 넣어야 한다면 Gemma 4를 먼저 테스트하고, 텍스트만 다룬다면 Qwen3와 Gemma 4를 같은 데이터셋으로 붙여보는 식이 낫다.

코딩 에이전트와 도구 호출은 Qwen3가 더 익숙한 선택지일 수 있다

코딩 에이전트에서는 모델의 순수 지식보다 “작업을 계속 밀고 나가는 능력”이 중요하다. 에러 로그를 읽고, 파일을 고치고, 테스트를 돌리고, 실패하면 원인을 좁히고, 다시 고치는 흐름이다. 이때 필요한 것은 코드 생성 점수만이 아니다. 긴 지시를 얼마나 잘 유지하는지, tool call 형식을 얼마나 잘 지키는지, reasoning을 어디까지 쓸지 제어할 수 있는지, 같은 실수를 반복하지 않는지가 중요하다.

Qwen3는 이 지점에서 강한 인상을 준다. 공식 블로그와 모델 카드는 coding, agentic capability, MCP 지원, thinking budget 제어를 반복해서 강조한다. enable_thinking=True와 enable_thinking=False를 명시적으로 나누고, SGLang과 vLLM에서 reasoning parser를 쓰는 예시도 제공한다. 이건 “연구용 모델”보다 “도구에 붙일 모델”에 가까운 문서화다.

Gemma 4도 function calling과 agentic workflow를 내세운다. DeepMind 벤치마크의 τ2-bench Retail 점수만 보면 26B A4B IT Thinking이 85.5%로 매우 높고, Gemma 3 27B IT의 6.6%와 비교하면 큰 변화다. 따라서 Gemma 4를 에이전트 후보에서 제외할 이유는 없다. 다만 실제 개발 현장에서는 Qwen 계열이 이미 코딩 모델로 많이 쓰였고, Qwen3의 thinking/non-thinking 제어 방식이 명확하다는 점이 운영상 장점이 될 수 있다.

정리하면 이렇다. IDE 보조, repo 분석, 자동 수정, 테스트 실패 분석처럼 텍스트와 코드 중심이면 Qwen3를 먼저 붙여본다. 스크린샷, UI, 이미지 문서, 멀티모달 입력이 섞이는 에이전트라면 Gemma 4를 같이 테스트한다. 둘 다 tool calling을 지원한다고 해서 같은 결과가 나오는 것은 아니다. 실제 판단은 내부 eval로 해야 한다.

한국어와 다국어에서는 둘 다 후보지만, 확인 방식이 달라야 한다

Gemma 4와 Qwen3 모두 다국어를 강조한다. Gemma 4 모델 카드는 140개 이상 언어로 pre-training되었고, 35개 이상 언어를 out-of-the-box로 지원한다고 설명한다. DeepMind 페이지도 140개 언어 지원과 문화적 맥락 이해를 메시지로 내세운다. Qwen3 공식 블로그는 119개 언어와 방언을 지원한다고 밝힌다.

하지만 한국어 실사용은 공식 지원 언어 수만으로 판단하면 안 된다. 한국어로 긴 회의록을 요약할 때 자연스러운지, 존댓말과 반말이 섞이지 않는지, 법률·의료·금융처럼 조심해야 하는 문장을 과감하게 단정하지 않는지, 영어 원문을 한국어로 옮길 때 전문 용어를 어떻게 처리하는지를 봐야 한다. 특히 한국어 블로그나 고객응대에 쓸 모델이라면 “문법적으로 맞는 한국어”보다 “사람이 읽어도 어색하지 않은 한국어”가 더 중요하다.

Gemma 4는 Google 계열의 다국어·멀티모달 장점을 기대할 수 있고, Qwen3는 아시아권 언어와 코딩·추론에서 강한 체감을 기대할 수 있다. 어느 쪽이 한국어에서 더 낫다고 일반화하기보다는, 실제 회사 문서 20개 정도로 작은 eval을 만들어보는 것이 낫다. 예를 들어 고객 문의 10개, 내부 정책 문서 5개, 개발 이슈 5개를 넣고 요약 정확도, 용어 보존, 답변 자연스러움, hallucination을 사람이 점수화한다. 이 정도만 해도 “벤치마크상 더 좋은 모델”과 “우리 서비스에서 더 좋은 모델”이 갈릴 수 있다.

운영 비용과 응답 속도는 active parameter만 보면 안 된다

Gemma 4 26B A4B와 Qwen3-30B-A3B는 둘 다 active parameter가 작다는 점 때문에 효율적으로 보인다. 실제로 MoE 모델은 dense 모델보다 토큰당 계산량을 줄일 수 있다. 하지만 운영 비용은 active parameter 하나로 끝나지 않는다. 전체 가중치 로딩 메모리, KV cache, prompt eval, context 길이, batch size, 동시 사용자 수, quantization 품질, 런타임 최적화가 모두 들어간다.

예를 들어 256K 컨텍스트를 쓰는 Gemma 4 작업은 모델 자체가 빠르더라도 prompt eval이 길어질 수 있다. 긴 문서가 매번 새로 들어오면 토큰 생성 속도보다 입력 처리 시간이 병목이 된다. 반대로 Qwen3-30B-A3B를 coding agent로 쓰면 출력 토큰이 많고 reasoning token도 길어질 수 있다. thinking mode를 켜면 답변 품질은 올라가지만 latency와 비용은 같이 오른다.

그래서 로컬 서버에 붙일 때는 모델별로 최소한 세 가지 숫자를 따로 봐야 한다. 첫째, 8K·32K·128K 입력에서 prompt eval tokens/sec. 둘째, 일반 답변과 긴 reasoning 답변의 generation tokens/sec. 셋째, 동시 요청 2개, 4개, 8개에서 메모리와 latency가 어떻게 무너지는지. 이 숫자 없이 “A4B라 빠르다”거나 “A3B라 가볍다”고 말하면 실제 운영에서 틀릴 가능성이 높다.

선택 기준: Gemma 4를 먼저 볼 때와 Qwen3를 먼저 볼 때

Gemma 4를 먼저 테스트할 상황은 비교적 분명하다. 이미지나 스크린샷이 들어간다. 긴 문서를 한 번에 넣고 싶다. Google 계열의 멀티모달·긴 컨텍스트 모델을 로컬이나 사내 서버에서 써보고 싶다. 모바일·엣지부터 워크스테이션까지 같은 모델 패밀리 안에서 확장 가능성을 보고 싶다. 이 경우 Gemma 4 E2B/E4B부터 26B A4B, 31B까지 이어지는 라인업이 장점이 된다.

Qwen3를 먼저 테스트할 상황도 분명하다. 코딩 에이전트가 핵심이다. reasoning을 켜고 끄는 제어가 중요하다. vLLM이나 SGLang으로 OpenAI-compatible endpoint를 띄워 agent framework에 붙이려 한다. 다국어 텍스트 작업과 tool calling, MCP 같은 개발자 워크플로우가 중요하다. 이 경우 Qwen3-30B-A3B와 Qwen3-32B를 같이 테스트하고, 더 작은 14B/8B 모델까지 latency와 품질을 비교하는 편이 낫다.

한 가지 모델만 고르라면, 제품 유형에 따라 답이 달라진다. 로컬 문서·이미지 분석 앱이면 Gemma 4가 더 먼저다. 개발자용 코드 에이전트면 Qwen3가 더 먼저다. 한국어 장문 콘텐츠 생성이나 사내 지식 Q&A는 둘 다 붙여봐야 한다. 벤치마크만 보고 결정하기보다, 실제 입력 30개와 사람이 채점하는 기준표를 만들어 비교하는 것이 훨씬 정확하다.

이 글의 핵심 정리

Gemma 4와 Qwen3는 둘 다 로컬 LLM 후보로 충분히 진지하게 볼 만하다. 다만 같은 이유로 좋은 모델은 아니다. Gemma 4는 멀티모달, 긴 컨텍스트, on-device부터 workstation까지 이어지는 배포 폭, 그리고 Gemma 3 대비 크게 오른 reasoning·coding·agent benchmark가 강점이다. Qwen3는 thinking/non-thinking 전환, 코딩과 에이전트 워크플로우, 다국어 텍스트 처리, vLLM·SGLang·Ollama·LM Studio 같은 실행 생태계가 강점이다.

Gemma 4 26B A4B와 Qwen3-30B-A3B는 숫자만 보면 비슷한 MoE 모델처럼 보인다. 하지만 Gemma 4는 256K 컨텍스트와 이미지 입력을 중심으로, Qwen3는 reasoning budget과 코딩·도구 사용을 중심으로 봐야 한다. 모델명 표기는 판단의 일부일 뿐이다. 이번 비교에서 중요한 것은 “A4B가 무슨 뜻인가”가 아니라 “Gemma 4를 쓰면 어떤 제품 문제가 쉬워지고, Qwen3를 쓰면 어떤 개발 워크플로우가 쉬워지는가”다.

실무적으로는 하나만 믿고 가기보다 둘을 같은 eval 세트에 올려야 한다. 이미지가 있는 문서, 순수 텍스트 문서, 코드 이슈, 한국어 고객 문의, tool calling 시나리오를 각각 5~10개씩 준비한다. 그리고 정확도, 자연스러움, latency, 메모리, 실패 패턴을 같이 본다. 그 결과 이미지·긴 문서에서 Gemma 4가 이기고, 코드·에이전트에서 Qwen3가 이길 수도 있다. 그게 정상이다. 좋은 모델 선택은 전체 순위표를 고르는 일이 아니라, 우리 제품의 병목에 맞는 실패가 적은 모델을 고르는 일이다.