refactor: troca PDF+OCR por corpus USFX em domínio público
- corpus/: Almeida (João Ferreira de Almeida) em USFX, domínio público, 66 livros / 1189 capítulos / 31098 versículos, versionado com SHA-256 - app/corpus.py: parser USFX (texto no tail de <v/>), nomes canônicos dos livros, aliases (abreviaturas e numerais romanos), VerseChunk sem página - indexer: descobre *.xml em CORPUS_DIR, progresso em versículos, lote configurável, manifesto incremental por SHA-256 - remove extraction.py, parallel.py, bible_parser.py, Tesseract e PyMuPDF - campo page removido de Source/SearchResult/StatusResponse e do frontend - embedder: propriedade name; status reporta o embedder em uso, não o do .env - create_app constrói o embedder ANTES do store (o default HashEmbedder do VectorStore impedia o modelo configurado de ser carregado em produção) - fallback do modelo agora aparece em /api/status.errors - torch 2.6.0 + transformers 5.22.1 pinados (transformers 5.x exige torch>=2.6)
This commit is contained in:
1 parent
621679cee5
commit
2043d5ddcf
34 files changed
+34561
-1842
No files matched your search
@@ -27,6 +27,7 @@ class Embedder(Protocol):
|
||||
"""Interface de geração de embeddings."""
|
||||
|
||||
dimensions: int
|
||||
name: str
|
||||
|
||||
def encode(self, texts: Sequence[str]) -> list[list[float]]:
|
||||
"""Devolve um vetor normalizado por texto."""
|
||||
@@ -40,6 +41,8 @@ class HashEmbedder:
|
||||
integridade do pipeline (ids, contagens, filtros de metadados).
|
||||
"""
|
||||
|
||||
name = "hash-determinístico (sem semântica)"
|
||||
|
||||
def __init__(self, dimensions: int = 384):
|
||||
self.dimensions = dimensions
|
||||
|
||||
@@ -57,15 +60,31 @@ class HashEmbedder:
|
||||
return vectors
|
||||
|
||||
|
||||
class _Shim:
|
||||
"""Adapta a classe `SentenceTransformer` à interface de módulo injetável."""
|
||||
|
||||
def __init__(self, factory):
|
||||
self.SentenceTransformer = factory # noqa: N803 - imita o nome da API
|
||||
|
||||
|
||||
class SentenceTransformerEmbedder:
|
||||
"""Embedder de produção, baseado em sentence-transformers."""
|
||||
|
||||
def __init__(self, model_name: str, batch_size: int = 32, device: str = "cpu"):
|
||||
from sentence_transformers import SentenceTransformer
|
||||
def __init__(
|
||||
self,
|
||||
model_name: str,
|
||||
batch_size: int = 32,
|
||||
device: str = "cpu",
|
||||
module=None,
|
||||
):
|
||||
if module is None:
|
||||
from sentence_transformers import SentenceTransformer
|
||||
|
||||
module = _Shim(SentenceTransformer)
|
||||
self.model_name = model_name
|
||||
self.name = model_name
|
||||
self.batch_size = batch_size
|
||||
self._model = SentenceTransformer(model_name, device=device)
|
||||
self._model = module.SentenceTransformer(model_name, device=device)
|
||||
self.dimensions = int(self._model.get_sentence_embedding_dimension())
|
||||
|
||||
def encode(self, texts: Sequence[str]) -> list[list[float]]:
|
||||
|
||||
Reference in new issue
Block a user