Cum folosesc API-ul Ollama (REST și endpoint compatibil OpenAI)?

Pe lângă linia de comandă, Ollama expune un API local pe portul 11434, cu care alte aplicații pot folosi modelele. Are atât un API propriu, cât și un endpoint compatibil OpenAI.

Generarea de text (/api/generate)

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "Explică pe scurt ce este un certificat SSL",
  "stream": false
}'

Chat cu istoric (/api/chat)

curl http://127.0.0.1:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [
    {"role":"system","content":"Ești un asistent util."},
    {"role":"user","content":"Salut!"}
  ],
  "stream": false
}'

Embeddings (/api/embeddings)

Pentru căutare semantică / RAG:

curl http://127.0.0.1:11434/api/embeddings -d '{
  "model": "nomic-embed-text",
  "prompt": "text de indexat"
}'

Endpoint compatibil OpenAI

Ollama oferă și un endpoint compatibil OpenAI la /v1, astfel încât multe aplicații care „vorbesc” protocolul OpenAI îl pot folosi direct:

curl http://127.0.0.1:11434/v1/chat/completions -d '{
  "model": "llama3.1",
  "messages": [{"role":"user","content":"Salut!"}]
}'

Streaming

Implicit, API-ul „transmite” răspunsul token cu token (streaming). Setează "stream": false dacă vrei răspunsul complet dintr-o dată.