Embeddings transformă conținutul într-un vector numeric astfel încât elementele apropiate semantic să poată fi găsite prin similitudine. Într-un sistem RAG, embeddings pot reprezenta fragmentele și întrebarea pentru retrieval. Similaritatea nu dovedește relevanța, adevărul sau dreptul de acces, deci este combinată frecvent cu termeni exacți, metadata și reranking. Modelul de embeddings și strategia de chunking trebuie evaluate pe limbajul și documentele reale.
Termeni înrudiți
- RAG — Retrieval-Augmented Generation — RAG recuperează fragmente relevante din surse externe și le oferă unui model drept context pentru generarea unui răspuns.
- Reranking — Reranking este reordonarea unui set de rezultate recuperate folosind un model sau o regulă mai precisă decât căutarea inițială.
- LLM — Large Language Model — Un LLM (Large Language Model) este un model AI antrenat să estimeze și să genereze secvențe de limbaj din tipare învățate din date.