Pentru ca AnythingLLM să folosească RAG are nevoie de două componente în afară de LLM: un embedder (transformă textul în vectori) și o bază vectorială (stochează vectorii). Iată cum le configurezi.
Embedder-ul
Mergi la Settings → Embedding Preference. Opțiuni uzuale:
- Embedder încorporat — AnythingLLM include un embedder local implicit, suficient pentru început, fără chei externe
- OpenAI Embeddings — calitate bună, dar trimite textul către OpenAI (cost + confidențialitate)
- Ollama Embeddings — local, privat (de exemplu modelul
nomic-embed-text)
Baza vectorială
Mergi la Settings → Vector Database. AnythingLLM include implicit LanceDB (locală, fără configurare), dar suportă și baze externe precum Chroma, Qdrant, Pinecone, Milvus etc.
- LanceDB (implicit) — cea mai simplă; datele rămân local
- Baze externe — utile la volume mari sau infrastructură dedicată
Important: consistența embedder-ului
Dacă schimbi embedder-ul după ce ai indexat documente, va trebui să le reindexezi, pentru că vectorii vechi nu mai sunt compatibili. Alege embedder-ul înainte de a încărca documentele importante.
Sfat: Pentru confidențialitate maximă și cost zero, folosește embedder-ul local (încorporat sau Ollama) împreună cu LanceDB. Astfel, indexarea documentelor rămâne complet pe serverul tău.
