Ollama Windows에서 AMD GPU가 안 잡힐 때: ROCm·Vulkan 확인 순서

Windows에서 AMD Radeon을 쓰는데 Ollama가 CPU로만 실행된다면 ‘AMD는 지원하지 않는다’고 단정할 필요는 없다. 현재 Ollama는 Windows에서 AMD ROCm v7/HIP7 드라이버 스택을 지원하고, ROCm 목록 밖의 일부 GPU에는 Vulkan 백엔드를 추가 경로로 제공한다. 특히 일부 RDNA2·RX 6000 시스템은 현재 Windows 드라이버에서 ROCm v7이 노출되지 않을 수 있어, 공식 문서는 Vulkan을 기본이자 권장 fallback으로 안내한다.

문제 해결 순서는 GPU 이름만 보는 것이 아니라 실제 처리 장치 확인 → 공식 ROCm 목록 대조 → Vulkan 선택 상태 확인 → 로그 수집이다. 환경변수를 여러 개 무작정 넣기 전에 어느 백엔드가 선택됐는지부터 확인해야 한다.

먼저 정말 CPU로 실행 중인지 확인한다

모델을 실행한 상태에서 새 PowerShell을 열고 다음 명령을 실행한다.

ollama ps

출력의 PROCESSOR가 GPU인지 CPU인지 확인한다. 모델 일부만 GPU에 올라간 경우에는 혼합 비율이 표시될 수 있다. 답변이 느리다는 느낌만으로 GPU 미사용을 판단하지 말아야 한다. 첫 응답의 모델 로딩 시간, 긴 프롬프트 처리, 토큰 생성 속도는 서로 다른 구간이고 모델 크기와 메모리 여유에 따라 체감이 달라진다.

GPU를 전혀 쓰지 않는다면 Windows의 작업 관리자 → 성능 → GPU도 같이 본다. 다만 그래프가 기본으로 3D 엔진을 보여 주면 compute 사용량이 눈에 잘 안 보일 수 있다. ollama ps와 서버 로그를 우선 근거로 삼는 편이 낫다.

ROCm 공식 지원 목록에 내 카드가 있는지 본다

Ollama 하드웨어 문서의 현재 Windows ROCm 목록에는 다음 Radeon RX 계열이 명시되어 있다.

RX 7900 XTX, 7900 XT, 7900 GRE
RX 7800 XT, 7700 XT
RX 7600 XT, 7600

Radeon PRO는 W7900, W7800, W7700, W7600, W7500이 적혀 있다. 이 목록에 카드가 있다고 끝나는 것은 아니다. Windows에서는 AMD ROCm v7/HIP7을 사용할 수 있는 드라이버 스택이 필요하다. GPU 모델은 맞지만 오래된 드라이버나 맞지 않는 스택이면 발견 단계에서 실패할 수 있다.

반대로 RX 6800 계열처럼 Windows ROCm 표에 없는 카드를 억지로 ROCm 카드처럼 만들려고 Linux용 HSA_OVERRIDE_GFX_VERSION 예제를 따라 하면 안 된다. Ollama 문서의 해당 override 설명은 Linux 절에 있다. Windows에서는 Vulkan 경로를 먼저 확인하는 것이 공식 안내와 맞다.

RX 6000 계열은 Vulkan fallback을 확인한다

Ollama의 Windows 문서는 일부 RDNA2·Radeon RX 6000 시스템, 특히 RX 6800급 카드에서 현재 AMD Windows 드라이버가 ROCm v7을 노출하지 않을 수 있다고 설명한다. 이 경우 Vulkan이 기본 활성화되어 있으며 권장 fallback이다.

Ollama 하드웨어 문서에 따르면 Vulkan은 필요한 백엔드가 설치되어 있으면 기본으로 활성화된다. Windows의 주요 GPU 드라이버는 대체로 Vulkan 지원을 함께 제공하므로 별도 Vulkan SDK를 먼저 설치할 필요는 없다. 개발자용 Vulkan SDK와 실제 GPU 드라이버의 Vulkan 런타임을 혼동하기 쉽다. Ollama 실행을 위해 SDK부터 받기보다 AMD 그래픽 드라이버를 최신 호환 버전으로 설치하고 재부팅한 뒤 확인한다.

Vulkan을 끄는 환경변수도 확인한다. 다음 값이 시스템이나 사용자 환경에 남아 있으면 Vulkan GPU를 비활성화할 수 있다.

OLLAMA_VULKAN=0
GGML_VK_VISIBLE_DEVICES=-1

이 값을 다른 문제 해결 글을 따라 넣었다면 제거하고 Ollama 트레이 앱을 완전히 종료한 뒤 다시 실행한다. 환경변수는 이미 실행 중인 프로세스에 자동 반영되지 않는다.

내장 GPU와 외장 GPU가 함께 있으면 장치 선택을 본다

노트북이나 APU 데스크톱은 AMD 내장 GPU와 외장 Radeon이 동시에 보일 수 있다. Ollama 공식 문서는 혼합 iGPU/dGPU 시스템에서 불안정한 Vulkan iGPU가 선택될 경우 GGML_VK_VISIBLE_DEVICES로 외장 GPU 인덱스를 지정하라고 안내한다. 예를 들어 로그에서 Vulkan1이 외장 GPU라면 현재 PowerShell 세션에서 다음처럼 시험할 수 있다.

$env:GGML_VK_VISIBLE_DEVICES="1"
ollama serve

중요한 것은 숫자 1을 모든 PC에 그대로 복사하지 않는 것이다. 장치 순서는 시스템마다 다르다. 로그에 표시된 Vulkan 장치와 실제 GPU 이름을 대조한 뒤 인덱스를 선택해야 한다. 테스트가 성공하면 Windows 사용자 환경변수로 저장하고, 트레이 앱을 종료·재실행해 적용한다. 실패하면 임시 PowerShell 창을 닫아 원래 환경으로 돌아갈 수 있다.

트레이 앱이 이미 서버를 실행 중인데 같은 포트에서 ollama serve를 또 시작하면 포트 충돌이 날 수 있다. 수동 서버 테스트 전에는 트레이 메뉴에서 Ollama를 종료한다.

Windows 로그를 켜서 백엔드 선택을 확인한다

Windows의 최근 서버 로그는 다음 폴더에 있다.

explorer $env:LOCALAPPDATA\Ollama

server.log에서 Vulkan, ROCm, HIP, GPU, discovery, VRAM 같은 단어를 찾는다. 더 자세한 로그가 필요하면 트레이 앱을 먼저 종료한 뒤 PowerShell에서 디버그 모드로 실행한다.

$env:OLLAMA_DEBUG="1"
& "ollama app.exe"

공식 troubleshooting 문서는 이 방식으로 추가 GPU discovery 정보를 얻을 수 있다고 안내한다. 실행 파일을 찾지 못하면 기본 설치 폴더도 확인한다.

explorer $env:LOCALAPPDATA\Programs\Ollama

로그에서 봐야 할 것은 단순히 ‘오류가 있다’가 아니다. 어떤 GPU가 몇 번 장치로 발견됐는지, ROCm과 Vulkan 중 어느 라이브러리를 선택했는지, 사용 가능한 VRAM을 얼마로 읽었는지, 발견 실패 후 CPU로 fallback했는지를 순서대로 본다.

모델이 VRAM보다 크면 GPU 인식 성공 후에도 느릴 수 있다

GPU가 정상 인식됐는데도 ollama ps에 CPU와 GPU가 함께 표시될 수 있다. 모델 전체와 컨텍스트용 메모리가 VRAM에 들어가지 않으면 일부 처리가 CPU 쪽에 남을 수 있기 때문이다. 이 경우는 ‘AMD GPU 미지원’ 문제가 아니다. 더 작은 양자화 모델을 선택하거나 컨텍스트 길이를 줄여 같은 모델을 다시 로드하면 원인을 구분할 수 있다.

비교 테스트는 같은 프롬프트로 해야 한다. 모델을 바꾸고 컨텍스트도 바꾸고 드라이버도 바꾸면 무엇이 효과를 냈는지 알 수 없다. 먼저 작은 모델로 GPU 경로가 동작하는지 확인하고, 그다음 실제 사용할 모델 크기로 올린다.

해결 순서 요약

모델 실행 중 ollama ps의 PROCESSOR를 확인한다.
GPU가 Windows ROCm 공식 목록에 있는지와 AMD 드라이버 상태를 확인한다.
RX 6000 등 ROCm v7이 노출되지 않는 장치는 Vulkan fallback을 확인한다.
OLLAMA_VULKAN=0이나 GGML_VK_VISIBLE_DEVICES=-1이 남아 있지 않은지 본다.
iGPU와 dGPU가 함께 있으면 로그의 Vulkan 인덱스를 확인한 뒤 GGML_VK_VISIBLE_DEVICES를 시험한다.
트레이 앱을 종료하고 OLLAMA_DEBUG=1로 실행해 server.log의 백엔드·VRAM·fallback 메시지를 확인한다.
작은 모델과 짧은 컨텍스트로 GPU 경로를 먼저 검증한다.

RX 6800처럼 ROCm 표에 없는 카드에서 ROCm 이름만 붙잡고 시간을 쓰는 것이 가장 흔한 잘못된 접근이다. Windows에서는 Vulkan이 별도 차선책이 아니라 공식 지원 경로 중 하나다. 반대로 ROCm 목록에 있는 RX 7000 계열이라면 카드 이름만 믿지 말고 ROCm v7/HIP7 드라이버 스택과 실제 discovery 로그를 함께 봐야 한다.

출처: Ollama Windows, Ollama Hardware support, Ollama Troubleshooting