refactor: troca PDF+OCR por corpus USFX em domínio público
- corpus/: Almeida (João Ferreira de Almeida) em USFX, domínio público, 66 livros / 1189 capítulos / 31098 versículos, versionado com SHA-256 - app/corpus.py: parser USFX (texto no tail de <v/>), nomes canônicos dos livros, aliases (abreviaturas e numerais romanos), VerseChunk sem página - indexer: descobre *.xml em CORPUS_DIR, progresso em versículos, lote configurável, manifesto incremental por SHA-256 - remove extraction.py, parallel.py, bible_parser.py, Tesseract e PyMuPDF - campo page removido de Source/SearchResult/StatusResponse e do frontend - embedder: propriedade name; status reporta o embedder em uso, não o do .env - create_app constrói o embedder ANTES do store (o default HashEmbedder do VectorStore impedia o modelo configurado de ser carregado em produção) - fallback do modelo agora aparece em /api/status.errors - torch 2.6.0 + transformers 5.22.1 pinados (transformers 5.x exige torch>=2.6)
This commit is contained in:
1 parent
621679cee5
commit
2043d5ddcf
34 files changed
+34561
-1842
No files matched your search
@@ -10,7 +10,7 @@ import pytest
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1]))
|
||||
|
||||
from app.bible_parser import VerseChunk # noqa: E402
|
||||
from app.corpus import VerseChunk # noqa: E402
|
||||
from app.chat import ( # noqa: E402
|
||||
NO_EVIDENCE_MESSAGE,
|
||||
ChatService,
|
||||
@@ -56,8 +56,7 @@ def make_chunk(book="Gênesis", chapter=1, verse=1, text="No princípio criou De
|
||||
book=book,
|
||||
chapter=chapter,
|
||||
verse=verse,
|
||||
page=6,
|
||||
file="biblia.pdf",
|
||||
file="biblia.usfx.xml",
|
||||
text=text,
|
||||
)
|
||||
|
||||
@@ -65,7 +64,7 @@ def make_chunk(book="Gênesis", chapter=1, verse=1, text="No princípio criou De
|
||||
@pytest.fixture
|
||||
def settings():
|
||||
return Settings(
|
||||
pdf_dir=Path("/tmp/pdfs-test"),
|
||||
corpus_dir=Path("/tmp/corpus-test"),
|
||||
vector_db_dir=Path("/tmp/vector-test"),
|
||||
embedding_model="hash-test",
|
||||
top_k=6,
|
||||
|
||||
Reference in new issue
Block a user