Implicit, GPT-Researcher folosește modele OpenAI dar poate lucra și cu modele locale prin Ollama sau cu orice API compatibil OpenAI. Astfel reduci costurile și păstrezi datele pe serverul tău.
De ce modele locale?
Cercetarea generează multe apeluri către model deci costul cu un furnizor comercial poate crește. Un model local elimină costul per token și îți păstrează temele de cercetare private.
1. Pregătește Ollama
Instalează Ollama și descarcă un model capabil (cercetarea beneficiază de un model bun la raționament):
ollama pull llama3.12. Indică API-ul compatibil OpenAI
GPT-Researcher acceptă un OPENAI_BASE_URL personalizat. Îl setezi către endpointul compatibil OpenAI al Ollama:
OPENAI_BASE_URL=http://host.docker.internal:11434/v1
OPENAI_API_KEY=ollama3. Alege modelele locale
Setează variabilele de model (FAST/SMART/STRATEGIC) către modelul local descărcat, conform documentației. Ai grijă ca modelul să fie suficient de capabil pentru sinteza rapoartelor.
4. Motorul de căutare
Chiar și cu model local, ai nevoie de un motor de căutare pentru surse (de exemplu DuckDuckGo, fără cheie, sau Tavily).
5. Testează
Generează un raport scurt și verifică viteza și calitatea. Modelele locale mari cer resurse serioase — vezi ghidul despre hardware pentru Ollama.
Sfat: Cercetarea este solicitantă pentru model. Dacă rezultatele locale sunt slabe, folosește un model local mai capabil (dacă hardware-ul permite) sau combină: model local pentru pași simpli, model comercial pentru sinteza finală.
