---
title: Cum rulez Hermes cu llama.cpp și fișiere GGUF?
description: "**llama.cpp** îți permite să rulezi modele precum Hermes eficient, inclusiv pe **CPU** sau pe GPU-uri modeste, folosind fișiere în format **GGUF** (cuantizate). Este o opțiune excelentă când nu ai un GPU puternic. ## Ce este GGUF GGUF este formatul de…"
url: "https://www.hostx.ro/kb/cum-rulez-hermes-cu-llama-cpp-si-fisiere-gguf/"
updated: "2026-08-03"
category: "AI & Automatizări / Hermes (Nous Research)"
tags:
  - API
  - CLI
  - configurare
  - Hermes
  - linia de comandă
  - Node.js
  - server
  - terminal
---

# Cum rulez Hermes cu llama.cpp și fișiere GGUF?

**llama.cpp** îți permite să rulezi modele precum Hermes eficient, inclusiv pe **CPU** sau pe GPU-uri modeste, folosind fișiere în format **GGUF** (cuantizate). Este o opțiune excelentă când nu ai un GPU puternic.

## Ce este GGUF

GGUF este formatul de fișier folosit de llama.cpp pentru modele cuantizate. Vei găsi variante Hermes în GGUF pe Hugging Face, cu niveluri diferite de cuantizare (Q4_K_M, Q5_K_M, Q8 etc.).

## 1. Obține llama.cpp

```
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build && cmake --build build --config Release
```

## 2. Descarcă un model Hermes în GGUF

Descarcă fișierul GGUF dorit (de exemplu o variantă 8B, cuantizare Q4_K_M) de pe Hugging Face în folderul `models`.

## 3. Rulează modelul

```
./build/bin/llama-cli -m models/hermes-3-8b-Q4_K_M.gguf 
  -p "Salut! Cine ești?"
```

## 4. Pornește un server compatibil OpenAI

```
./build/bin/llama-server -m models/hermes-3-8b-Q4_K_M.gguf --port 8080
```

Astfel obții un endpoint local pe care îl poți folosi în alte aplicații.

## Alegerea cuantizării

- **Q4_K_M** — cel mai mic consum de memorie, calitate bună (recomandat pentru început).
- **Q5 / Q8** — calitate mai mare, consum de memorie mai mare.

**Sfat:** Ollama folosește tot GGUF „în culise". Dacă vrei simplitate, folosește Ollama; dacă vrei control fin asupra parametrilor, folosește llama.cpp direct.