feat: busca híbrida (vetorial + BM25 com fusão RRF) e janela de contexto
Recuperação: - keyword.py: tokenizador PT (acentos, stopwords, dígitos), BM25 Okapi com índice invertido, e reciprocal_rank_fusion com desempate determinístico - retrieval.py: VectorRetriever e HybridRetriever; fusão por posição, não por nota (cosseno 0..1 e BM25 sem teto são escalas incomparáveis) - identidade de fusão é a coordenada (arquivo,livro,capítulo,versículo): o mesmo versículo chega das duas buscas com distance diferente e o dataclass nunca os igualaria, então o RRF não premiaria o que ambas confirmam - ChatService recebe retriever injetado; referência explícita mantém precedência Contexto: - VerseChunk ganha context (janela de CONTEXT_WINDOW vizinhos por lado, dentro do livro, atravessando capítulos) e embedding_text - store grava a janela como documento e o versículo em verse_text; a UI mostra o versículo citado e o modelo recebe a janela - snapshot() nos dois stores: o BM25 é em memória e o Chroma persiste, então o arranque precisa reconstruir o índice lexical ou a busca degrada em silêncio Motivação medida em 5703 versículos reais: a busca vetorial não liga 'estou com medo do futuro' a 'não temas' (0,19, nível de par sem relação), e e5-small tem faixa de similaridade de só 0,02 — inutilizaria o piso de evidência.
This commit is contained in:
1 parent
2043d5ddcf
commit
957c73b09e
16 files changed
+1085
-45
No files matched your search
+8
-1
@@ -40,6 +40,9 @@ EMBEDDING_MODEL=paraphrase-multilingual-MiniLM-L12-v2
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Busca
|
||||
# A recuperação é híbrida: similaridade vetorial + BM25, fundidos por posição
|
||||
# (RRF). MIN_SIMILARITY é o piso do lado vetorial; abaixo dele o trecho só entra
|
||||
# se o BM25 o encontrar.
|
||||
# ---------------------------------------------------------------------------
|
||||
TOP_K=6
|
||||
MIN_SIMILARITY=0.35
|
||||
@@ -47,10 +50,14 @@ MIN_SIMILARITY=0.35
|
||||
# ---------------------------------------------------------------------------
|
||||
# Ingestão do corpus
|
||||
# Diretório com os arquivos USFX (*.xml), montado somente-leitura em /data/corpus.
|
||||
# Tamanho do lote gravado no banco vetorial por vez.
|
||||
# INDEX_BATCH_SIZE: versículos gravados no banco vetorial por lote.
|
||||
# CONTEXT_WINDOW: vizinhos indexados junto com cada versículo. Um versículo
|
||||
# isolado é curto demais para o embedding captar o tema; a referência exibida
|
||||
# continua sendo a do versículo central.
|
||||
# ---------------------------------------------------------------------------
|
||||
# CORPUS_DIR=/data/corpus
|
||||
INDEX_BATCH_SIZE=512
|
||||
CONTEXT_WINDOW=2
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# API
|
||||
|
||||
Reference in new issue
Block a user