Cum rulez Hermes cu llama.cpp și fișiere GGUF?

llama.cpp îți permite să rulezi modele precum Hermes eficient, inclusiv pe CPU sau pe GPU-uri modeste, folosind fișiere în format GGUF (cuantizate). Este o opțiune excelentă când nu ai un GPU puternic.

Ce este GGUF

GGUF este formatul de fișier folosit de llama.cpp pentru modele cuantizate. Vei găsi variante Hermes în GGUF pe Hugging Face, cu niveluri diferite de cuantizare (Q4_K_M, Q5_K_M, Q8 etc.).

1. Obține llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build && cmake --build build --config Release

2. Descarcă un model Hermes în GGUF

Descarcă fișierul GGUF dorit (de exemplu o variantă 8B, cuantizare Q4_K_M) de pe Hugging Face în folderul models.

3. Rulează modelul

./build/bin/llama-cli -m models/hermes-3-8b-Q4_K_M.gguf \
  -p "Salut! Cine ești?"

4. Pornește un server compatibil OpenAI

./build/bin/llama-server -m models/hermes-3-8b-Q4_K_M.gguf --port 8080

Astfel obții un endpoint local pe care îl poți folosi în alte aplicații.

Alegerea cuantizării

• Q4_K_M — cel mai mic consum de memorie, calitate bună (recomandat pentru început).
• Q5 / Q8 — calitate mai mare, consum de memorie mai mare.