Embeddings și bazele de date vectoriale sunt conceptele din spatele căutării semantice și al RAG. Deși par tehnice, ideea din spatele lor este intuitivă.
Ce sunt embeddings
Un embedding este o reprezentare numerică (un vector — o listă de numere) a unui text, care surprinde înțelesul lui. Texte cu sens apropiat au vectori apropiați. Astfel, „mașină” și „automobil” ajung „aproape” unul de altul, chiar dacă sunt cuvinte diferite.
La ce folosesc
Embeddings permit căutarea semantică: în loc să cauți cuvinte exacte, cauți după sens. E baza pentru RAG, recomandări, clasificare și detectarea duplicatelor.
Ce este o bază de date vectorială
O bază vectorială stochează acești vectori și îi poate căuta rapid pe cei mai apropiați de o interogare. Exemple: Chroma, Qdrant, Milvus, Weaviate, pgvector (o extensie pentru PostgreSQL).
Cum se leagă de RAG
- Documentele sunt împărțite în fragmente și transformate în embeddings.
- Vectorii sunt stocați în baza vectorială.
- La o întrebare, aceasta devine și ea vector, iar baza returnează fragmentele cele mai apropiate ca sens.
- Fragmentele sunt trimise modelului ca context.
De reținut
Calitatea căutării depinde de modelul de embeddings ales și de modul de fragmentare a textului. Poți folosi modele de embeddings comerciale sau locale (de exemplu prin Ollama), în funcție de nevoile de cost și confidențialitate.
Sfat: Pentru a începe, multe instrumente (Flowise, Open WebUI) includ deja opțiuni de embeddings și vector store, fără să configurezi manual o bază vectorială separată.
