HuggingChat se conectează la modele exclusiv prin API compatibil OpenAI. Asta îl face universal: poate folosi modele locale sau servicii externe, cu aceeași configurație.
Variabilele cheie
Conexiunea se face prin două variabile de mediu:
OPENAI_BASE_URL=adresa_endpointului/v1
OPENAI_API_KEY=cheia_taModel local prin Ollama
OPENAI_BASE_URL=http://host.docker.internal:11434/v1
OPENAI_API_KEY=ollamaAstfel folosești modele descărcate în Ollama, cu datele păstrate pe serverul tău.
Model local prin TGI sau llama.cpp
Dacă rulezi un server TGI (Text Generation Inference) sau llama.cpp cu endpoint compatibil OpenAI, indică adresa lui în OPENAI_BASE_URL.
Serviciu extern
Pentru un furnizor comercial compatibil OpenAI (inclusiv routerul Hugging Face), setează OPENAI_BASE_URL către adresa lui și OPENAI_API_KEY cu cheia respectivă.
Aplică modificările
După orice modificare de configurație, repornește containerul ca schimbările să intre în vigoare. Poți folosi și un fișier .env.local (sau --env-file) pentru a evita expunerea secretelor în istoricul comenzilor.
Sfat: Folosește --env-file în loc să pui cheile direct în comanda docker run — astfel eviți să lași secrete în istoricul shell-ului.
