llama.cpp 1.0에서 달라진 것

llama.cpp는 GGUF 형식으로 된 AI 언어 모델을 내 컴퓨터에서 직접 돌리는 C/C++ 오픈소스입니다. 클라우드 API를 부르지 않고 노트북, 데스크톱, 서버의 CPU나 그래픽카드로 답을 만들기 때문에 대화 내용이 밖으로 나가지 않습니다. 밑에서 실제 계산을 맡는 텐서 라이브러리가 ggml이고, 두 프로젝트 모두 ggml-org가 관리합니다.

11월 13일에 llama.cpp와 ggml이 함께 v1.0.0을 냈습니다. Hugging Face 블로그 발표에 따르면 프로젝트를 시작한 지 3년 반 만이고, 이번 숫자는 기능보다 약속에 가깝습니다. 앞으로 공개 C API를 깨는 변경은 앞자리 버전을 올려서 알리고, 호환되는 기능 추가와 모델 지원은 가운데 자리, 버그 수정은 끝자리로 올리겠다는 규칙을 정했습니다. llama.cpp를 가져다 쓰는 앱이 많아진 만큼 업데이트 때 무엇이 깨지는지 미리 알 수 있게 하겠다는 뜻입니다.

릴리스 노트에서 일반 사용자에게 바로 보이는 변화는 웹 화면입니다. llama-server에 붙어 있는 채팅 화면이 새로 바뀌어 대화 묶음과 마크다운 편집기가 들어갔고, 서버 쪽은 SSRF, CORS, DNS 리바인딩 같은 공격을 막는 처리가 더해졌습니다. 지원하는 모델 구조는 150가지가 넘는다고 밝혔습니다.

릴리스 페이지에는 v1.0.0 말고도 b12377처럼 번호가 붙은 빌드가 하루에도 여러 번 올라옵니다. 이번에 받은 b12377은 1.0 다음 날 나온 빌드라 버전을 찍으면 1.0.0-dev로 나옵니다. 윈도우용 실행 파일은 이 번호 붙은 빌드에 들어 있으니, 그날 최신 번호를 받으면 됩니다.

명령어가 부담스러운 사람을 위해 llama.cpp 팀과 Hugging Face가 만든 Llama 데스크톱 앱(macOS, 윈도우)도 발표 글 끝에 함께 소개돼 있습니다. 이 글은 명령어로 직접 받는 방법을 따라갑니다. 실행 파일이 무엇을 하는지 알고 나면 앱이 안에서 어떤 일을 하는지도 감이 잡히고, 문제가 생겼을 때 어디를 봐야 할지도 보입니다.

근거 [1] [2]

llama.cpp 윈도우 설치, 압축 파일 하나

윈도우에서는 따로 빌드할 필요가 없습니다. 릴리스 페이지에서 내 하드웨어에 맞는 압축 파일 하나를 받아 풀면 llama-cli, llama-server, llama-bench 같은 실행 파일이 바로 나옵니다. 그래픽카드가 없으면 win-cpu-x64, 엔비디아 카드면 cuda가 들어간 파일을 고르고, 그 밖에 vulkan, sycl, rocm판도 따로 있습니다. b12377 기준으로 CPU용은 25MB, 쿠다 12.4용은 319MB입니다.

그래픽카드 없는 4코어 윈도우 서버에서 CPU용 파일을 받는 데 7.4초, 0.8B 모델 파일 563MB를 받는 데 49.3초가 걸렸습니다. 압축을 푼 폴더에는 파일 52개, 64.7MB가 들어 있었습니다. 그중 ggml-cpu로 시작하는 DLL이 여러 개인데, 실행할 때 CPU 종류를 보고 맞는 것을 하나 골라 씁니다. 이 서버에서는 skylakex용이 잡혔습니다.

명령은 PowerShell 기준으로 아래와 같습니다. 브라우저로 받아서 압축 풀기를 해도 똑같습니다. Hugging Face 발표의 배포 표에는 Winget, conda-forge도 윈도우 배포 경로로 올라 있습니다.

PowerShell 화면. llama-b12377-bin-win-cpu-x64.zip 받기 7.4초, Expand-Archive로 풀기, Qwen3.5-0.8B-Q4_0.gguf 받기 49.3초, llama-cli.exe --version 결과 version: 1.0.0-dev (build 12377, commit 32bdc3a89), built with Clang 20.1.8 for Windows x86_64
실행 파일은 7초, 모델은 49초 만에 받았고 버전은 1.0.0-dev로 찍힌다.BlueBWorks · 원문
powershell · 마지막 줄에 version: 1.0.0으로 시작하는 줄이 나오면 실행 파일이 제대로 풀린 것이다.
# 작업 폴더 만들기
mkdir C:\llm; cd C:\llm

# CPU용 실행 파일 받고 풀기 (b12377은 받은 날 기준 번호, 릴리스 페이지에서 최신 번호로 바꾼다)
curl.exe -sL -o llama-cpu.zip https://github.com/ggml-org/llama.cpp/releases/download/b12377/llama-b12377-bin-win-cpu-x64.zip
Expand-Archive llama-cpu.zip -DestinationPath .\llama

# 작은 모델 받기 (Qwen3.5 0.8B, 4비트 Q4_0, 563MB)
curl.exe -sL -o Qwen3.5-0.8B-Q4_0.gguf https://huggingface.co/ggml-org/Qwen3.5-0.8B-GGUF/resolve/main/Qwen3.5-0.8B-Q4_0.gguf

# 버전 확인
.\llama\llama-cli.exe --version

근거 [6] [3] [2]

GGUF 모델 고르기, 크기와 양자화

llama.cpp가 읽는 모델 파일은 GGUF 형식입니다. 같은 모델이라도 숫자를 얼마나 줄여 저장했느냐에 따라 파일이 여러 개로 나뉩니다. 이름 끝의 BF16은 원래에 가까운 16비트, Q8_0은 8비트, Q4_0은 4비트로 줄인 파일입니다. 비트를 줄일수록 파일이 작아지고 메모리도 덜 쓰지만 답의 품질은 조금씩 떨어집니다.

처음 돌려 볼 때는 작은 모델의 Q4 파일로 설치가 제대로 됐는지부터 보는 편이 편합니다. 큰 모델은 받는 데만 몇 분이 걸리고, 메모리가 모자라면 켜지지도 않습니다. ggml-org 계정에 올라온 파일 크기를 비교하면 아래와 같습니다.

모델 파일크기쓰임
Qwen3.5 0.8B Q4_0563MB설치 확인, 아주 짧은 답
Qwen3.5 0.8B Q8_0834MB같은 모델, 품질 조금 더
Qwen3.5 0.8B BF161,558MB원본에 가까운 파일
Gemma 4 E2B Q4_02,841MB한국어 대화를 조금 더 기대할 때

Hugging Face ggml-org 저장소 파일 목록 기준.

근거 [4]

llama-bench로 CPU 속도 재기

채팅을 열기 전에 llama-bench로 이 컴퓨터에서 얼마나 빠른지 먼저 재 봤습니다. 스레드 4개로 질문 128토큰을 읽는 속도(pp128)와 답 32토큰을 쓰는 속도(tg32)를 한 번씩만 쟀고, 전체 18초가 걸렸습니다.

질문 읽기는 초당 66.5토큰, 답 쓰기는 초당 3.61토큰이 나왔습니다. 읽기는 여러 토큰을 한꺼번에 계산할 수 있어서 빠르고, 쓰기는 한 토큰씩 차례로 만들어야 해서 훨씬 느립니다. 초당 3.6토큰이면 화면에 답이 천천히 한 조각씩 찍히는 정도입니다.

같은 명령을 내 컴퓨터에서 돌리면 비교할 숫자가 생깁니다. -r 1을 빼면 기본값대로 여러 번 재서 평균을 내는데, 느린 CPU에서는 몇 분씩 걸릴 수 있으니 처음에는 위처럼 줄여서 재는 쪽을 권합니다.

PowerShell 화면. llama-bench.exe 실행 결과, loaded CPU backend from ggml-cpu-skylakex.dll, qwen35 0.8B Q4_0 526.50 MiB CPU 4 threads pp128 66.50 t/s, tg32 3.61 t/s, bench 18.3초
질문 읽기 pp128은 초당 66.5토큰, 답 쓰기 tg32는 초당 3.61토큰.BlueBWorks · 원문
powershell · -t는 스레드 수, -p는 읽을 토큰 수, -n은 쓸 토큰 수, -r은 반복 횟수다.
.\llama\llama-bench.exe -m .\Qwen3.5-0.8B-Q4_0.gguf -t 4 -p 128 -n 32 -r 1

근거 [3]

llama-server 웹 채팅 화면 띄우기

채팅 화면은 llama-server를 켜면 같이 뜹니다. 모델 파일과 포트를 주고 실행하면 6초쯤 뒤 model loaded와 listening on 줄이 나오고, 그 주소를 브라우저로 열면 바로 대화할 수 있습니다. 이번에 받은 빌드의 도움말을 보면 기본 포트가 9931이라, 기억하기 쉽게 8088로 직접 정했습니다.

켜자마자 경고가 한 줄 나옵니다. API 키가 설정되지 않았고 CORS가 모든 출처를 허용한다는 내용입니다. 이 상태로 외부에서 닿는 주소에 열면 누구나 내 서버에 질문을 보낼 수 있습니다. 그래서 --host 127.0.0.1로 내 컴퓨터 안에서만 열었고, 다른 기기에서 써야 한다면 --api-key로 키를 걸어 두는 편이 안전합니다.

화면 구성은 단순합니다. 입력창 왼쪽의 + 버튼으로 파일, 프롬프트, 도구, MCP 서버를 붙일 수 있고, 오른쪽에는 생각 정도를 고르는 전구 버튼과 지금 올라간 모델 이름이 보입니다. 답 아래에는 복사, 수정, 다시 만들기, 갈래 만들기, 삭제 버튼이 있어서 같은 질문을 설정만 바꿔 다시 돌려 보기 편합니다. 대화는 왼쪽 목록에 쌓이고, 1.0부터는 이 대화들을 묶음으로 나눠 둘 수 있습니다.

PowerShell 화면. llama-server.exe 실행, 노란 경고 security: no API key is set and CORS allows all origins, load_model loading model Qwen3.5-0.8B-Q4_0.gguf, n_slots 4, n_ctx_slot 4096, model loaded, listening on http://127.0.0.1:8088
listening on 줄의 주소를 브라우저로 열면 된다. 위쪽 노란 줄이 API 키 경고다.BlueBWorks · 원문
powershell · -c는 한 번에 기억하는 대화 길이(토큰)다. 창을 닫거나 Ctrl+C를 누르면 서버가 꺼진다.
# 웹 채팅과 API 서버 켜기 (내 컴퓨터 안에서만)
.\llama\llama-server.exe -m .\Qwen3.5-0.8B-Q4_0.gguf -t 4 -c 4096 --host 127.0.0.1 --port 8088

# 브라우저 주소창에
# http://127.0.0.1:8088

# 다른 기기에서 접속해야 할 때는 키를 건다
.\llama\llama-server.exe -m .\Qwen3.5-0.8B-Q4_0.gguf --host 0.0.0.0 --port 8088 --api-key 내가정한긴문자열

근거 [1] [3]

0.8B 모델에게 운동 루틴을 물어본 결과

새 채팅 화면에 퇴근 후 30분 운동 루틴을 세 줄로 짜 달라고 적었습니다. 제목은 30분 운동 루틴(3줄로 작성)이라고 그럴듯하게 달았는데, 그 아래 나온 것은 운동 루틴이 아니라 15초, 20초 타이머를 거는 자바스크립트 코드였습니다. 설명과 팁도 그 코드를 실행하는 법이었습니다.

답 하나에 720토큰, 3분 7초가 걸렸고 화면 아래 속도 표시는 초당 3.84토큰이었습니다. 앞에서 잰 3.61토큰과 거의 같습니다. 질문 쪽에는 476토큰을 8.3초에 읽었다고 나오는데, 내가 쓴 짧은 질문에 채팅 형식 문구가 붙어 그만큼 늘어난 것입니다.

0.8B는 아주 작은 모델이라 설치가 됐는지, 내 CPU에서 속도가 어느 정도인지 보는 용도로는 충분하지만 한국어 일상 질문을 맡기기에는 부족했습니다. 실제로 쓸 생각이라면 위 표의 Gemma 4 E2B처럼 몇 GB짜리 모델로 올리고, 그만큼 느려지는 것을 감안해야 합니다. 이 글에서는 더 큰 모델의 속도는 재지 않았습니다.

llama.cpp 웹 채팅 화면. 사용자 질문 퇴근 후 30분 운동 루틴을 세 줄로 짜줘, 476 tokens 8.3s 57.67 tokens/s, Reasoning 접힘, 답변 제목 30분 운동 루틴(3줄로 작성) 아래 JAVASCRIPT 코드 블록 function workoutRoutine, setInterval, setTimeout, alert 운동 완료
운동 루틴을 물었는데 타이머 자바스크립트 코드를 답했다.BlueBWorks · 원문
llama.cpp 웹 채팅 화면 아래쪽. 팁 3줄, Qwen3.5 0.8B Q4_0 표시, 720 tokens, 3min 7s, 3.84 t/s
답 하나에 720토큰, 3분 7초, 초당 3.84토큰.BlueBWorks · 원문

근거 [4]

생각 단계 끄기와 API로 부르기

속도가 느렸던 이유 하나는 Qwen3.5가 답하기 전에 생각하는 단계를 먼저 거친다는 점입니다. 같은 서버에 API로 한국의 수도를 한 단어로 물으면서 답 길이를 200토큰으로 막아 봤더니, 48.9초 동안 영어로 생각만 적다가 200토큰을 다 써서 정작 답 칸은 비어 있었습니다.

서버가 돌려준 기록을 보면 생각 단계를 켠 요청은 질문 20토큰을 2.9초에 읽고, 답 쪽 200토큰을 초당 4.37토큰으로 45.5초 동안 썼습니다. 속도 자체는 웹 채팅 때와 비슷한데, 그 200토큰이 전부 생각에 들어가 버린 셈입니다. 답 길이를 넉넉히 주면 언젠가 답이 나오기는 하겠지만, 이 CPU에서는 짧은 질문 하나에 1분 넘게 기다려야 합니다.

요청에 생각 단계를 끄는 값을 넣자 1.9초 만에 서울이라는 두 토큰짜리 답이 왔습니다. 웹 채팅에서도 매번 이렇게 하려면 서버를 켤 때 --reasoning off를 붙이면 됩니다. 빠른 답이 필요한 짧은 질문이나 작은 모델에서는 끄는 쪽이 훨씬 낫고, 계산이나 추론이 필요한 질문만 켜서 쓰는 식으로 나누면 됩니다.

API는 OpenAI 채팅 API와 같은 주소 형식(/v1/chat/completions)이라, OpenAI 형식을 지원하는 다른 앱의 주소 칸에 내 서버 주소를 넣어 붙일 수도 있습니다. 이번에 보낸 요청은 아래와 같습니다.

PowerShell 결과 화면. 생각 단계 켠 기본 상태 max_tokens 200은 elapsed 48.9s, content 빈칸, reasoning Thinking Process, completion_tokens 200. enable_thinking false는 elapsed 1.9s, content 서울, completion_tokens 2
생각 단계를 켜면 48.9초에 답이 비었고, 끄면 1.9초에 서울이 나왔다.BlueBWorks · 원문
powershell · 한글이 깨지지 않도록 본문을 UTF-8 바이트로 바꿔 보낸다.
# 생각 단계 끄고 서버 켜기
.\llama\llama-server.exe -m .\Qwen3.5-0.8B-Q4_0.gguf --host 127.0.0.1 --port 8088 --reasoning off

# 요청마다 끄기 (PowerShell)
$body = @{
  messages = @(@{ role = 'user'; content = '한국의 수도는 어디야? 한 단어로' })
  max_tokens = 60
  chat_template_kwargs = @{ enable_thinking = $false }
} | ConvertTo-Json -Depth 4
Invoke-RestMethod -Uri http://127.0.0.1:8088/v1/chat/completions -Method Post -ContentType 'application/json; charset=utf-8' -Body ([Text.Encoding]::UTF8.GetBytes($body))

근거 [3]

윈도우에서 돌릴 때 알아 둘 것

모델 파일을 직접 받는 대신 서버에 Hugging Face 저장소 이름을 넘기는 방법도 있습니다. llama-server 도움말에는 -hf 옵션에 ggml-org/Qwen3.5-0.8B-GGUF처럼 저장소 이름과 양자화 종류를 주는 형식이 나와 있습니다. 이번에는 파일 크기와 받는 시간을 따로 보려고 curl로 받았습니다.

모델 파일은 Hugging Face에서 받지만 모델마다 사용 조건이 따로 있습니다. 개인적으로 돌려 보는 것과 서비스에 붙이는 것은 다를 수 있으니, 상업적으로 쓸 생각이면 모델 페이지의 라이선스 항목을 먼저 읽어야 합니다. llama.cpp 자체는 MIT 라이선스입니다.

1.0부터는 공개 API를 깨는 변경이 앞자리 버전으로 표시되니, 직접 코드에서 libllama를 불러 쓰는 사람이라면 2.0이 나오기 전까지는 같은 코드가 그대로 돌 것으로 기대할 수 있습니다. 실행 파일만 받아 쓰는 사람에게는 번호 붙은 최신 빌드를 받아 압축만 다시 풀면 되는 점이 그대로입니다.

근거 [2] [3]