refactor: troca PDF+OCR por corpus USFX em domínio público
- corpus/: Almeida (João Ferreira de Almeida) em USFX, domínio público, 66 livros / 1189 capítulos / 31098 versículos, versionado com SHA-256 - app/corpus.py: parser USFX (texto no tail de <v/>), nomes canônicos dos livros, aliases (abreviaturas e numerais romanos), VerseChunk sem página - indexer: descobre *.xml em CORPUS_DIR, progresso em versículos, lote configurável, manifesto incremental por SHA-256 - remove extraction.py, parallel.py, bible_parser.py, Tesseract e PyMuPDF - campo page removido de Source/SearchResult/StatusResponse e do frontend - embedder: propriedade name; status reporta o embedder em uso, não o do .env - create_app constrói o embedder ANTES do store (o default HashEmbedder do VectorStore impedia o modelo configurado de ser carregado em produção) - fallback do modelo agora aparece em /api/status.errors - torch 2.6.0 + transformers 5.22.1 pinados (transformers 5.x exige torch>=2.6)
This commit is contained in:
1 parent
621679cee5
commit
2043d5ddcf
34 files changed
+34561
-1842
No files matched your search
@@ -8,7 +8,7 @@ from dataclasses import dataclass
|
||||
from pathlib import Path
|
||||
from typing import Iterable, Sequence
|
||||
|
||||
from .bible_parser import VerseChunk
|
||||
from .corpus import VerseChunk
|
||||
from .embedding import Embedder, HashEmbedder
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
@@ -21,7 +21,6 @@ class SearchResult:
|
||||
book: str
|
||||
chapter: int
|
||||
verse: int
|
||||
page: int
|
||||
file: str
|
||||
text: str
|
||||
distance: float = 0.0
|
||||
@@ -91,7 +90,6 @@ class VectorStore:
|
||||
"book": chunk.book,
|
||||
"chapter": chunk.chapter,
|
||||
"verse": chunk.verse,
|
||||
"page": chunk.page,
|
||||
"file": chunk.file,
|
||||
"reference": f"{chunk.book} {chunk.chapter}:{chunk.verse}",
|
||||
}
|
||||
@@ -134,7 +132,6 @@ class VectorStore:
|
||||
book=str(metadata.get("book", "")),
|
||||
chapter=int(metadata.get("chapter", 0)),
|
||||
verse=int(metadata.get("verse", 0)),
|
||||
page=int(metadata.get("page", 0)),
|
||||
file=str(metadata.get("file", "")),
|
||||
text=document or "",
|
||||
distance=float(distance),
|
||||
@@ -163,7 +160,6 @@ class VectorStore:
|
||||
book=str(metadata.get("book", book)),
|
||||
chapter=int(metadata.get("chapter", chapter)),
|
||||
verse=int(metadata.get("verse", verse)),
|
||||
page=int(metadata.get("page", 0)),
|
||||
file=str(metadata.get("file", "")),
|
||||
text=document or "",
|
||||
distance=0.0,
|
||||
@@ -215,7 +211,6 @@ class InMemoryVectorStore:
|
||||
book=chunk.book,
|
||||
chapter=chunk.chapter,
|
||||
verse=chunk.verse,
|
||||
page=chunk.page,
|
||||
file=chunk.file,
|
||||
text=chunk.text,
|
||||
distance=1.0 - similarity,
|
||||
@@ -232,7 +227,6 @@ class InMemoryVectorStore:
|
||||
book=chunk.book,
|
||||
chapter=chunk.chapter,
|
||||
verse=chunk.verse,
|
||||
page=chunk.page,
|
||||
file=chunk.file,
|
||||
text=chunk.text,
|
||||
distance=0.0,
|
||||
|
||||
Reference in new issue
Block a user