feat: stemming português no BM25 e índice lexical sobre o versículo
Dois defeitos medidos no índice real (31.098 versículos), ambos na metade
lexical da busca híbrida:
1. Sem normalização morfológica, 'amar' da pergunta nunca casava com 'amai' ou
'amarás' do versículo. Para 'o que Jesus disse sobre amar os inimigos?',
Mateus 5:44 ficava em 434º no BM25 enquanto Marcos 12:34 liderava por casar
apenas 'jesus'+'disse'. keyword.py ganha um stemmer de sufixos em etapas
(estilo RSLP, sem dependência externa) com guarda de comprimento mínimo do
radical — sem ela 'deus' viraria 'd' e 'mar' viraria 'm'. Rank de Mt 5:44: 12º.
2. O BM25 indexava a janela de contexto. Os dois lados querem granularidades
opostas: a janela dá tema ao embedding, mas multiplica os termos incidentais
que o BM25 pontua. Indexando o versículo isolado, Mt 5:44 vai a 1º e os
achados só-lexicais deixam de ser aleatórios ('ansioso e não consigo dormir'
-> Jó 3:13 'teria dormido'; 'não sei que decisão tomar' -> Joel 3:14 'vale da
decisão').
Colisão conhecida do stemming: 'luto' e 'lutavam' reduzem ao mesmo radical.
This commit is contained in:
1 parent
957c73b09e
commit
8f5e098d8f
5 files changed
+226
-15
No files matched your search
@@ -98,7 +98,14 @@ class HybridRetriever(VectorRetriever):
|
||||
entries = self.store.snapshot()
|
||||
self._order = [_key(entry) for entry in entries]
|
||||
self._entries = {_key(entry): entry for entry in entries}
|
||||
self.keyword_index.build([entry.text for entry in entries])
|
||||
# BM25 sobre o versículo, não sobre a janela de contexto. Os dois lados
|
||||
# querem granularidades opostas: a janela dá tema ao embedding, mas
|
||||
# multiplica os termos incidentais que o BM25 pontua. Medido no corpus
|
||||
# real, para "o que Jesus disse sobre amar os inimigos?" Mateus 5:44 fica
|
||||
# em 12º indexando a janela e em 1º indexando o versículo.
|
||||
self.keyword_index.build(
|
||||
[entry.verse_text or entry.text for entry in entries]
|
||||
)
|
||||
logger.info("Índice de palavras-chave construído com %s trechos", len(entries))
|
||||
|
||||
def search(self, message: str) -> list[SearchResult]:
|
||||
|
||||
Reference in new issue
Block a user