refactor: troca PDF+OCR por corpus USFX em domínio público
- corpus/: Almeida (João Ferreira de Almeida) em USFX, domínio público, 66 livros / 1189 capítulos / 31098 versículos, versionado com SHA-256 - app/corpus.py: parser USFX (texto no tail de <v/>), nomes canônicos dos livros, aliases (abreviaturas e numerais romanos), VerseChunk sem página - indexer: descobre *.xml em CORPUS_DIR, progresso em versículos, lote configurável, manifesto incremental por SHA-256 - remove extraction.py, parallel.py, bible_parser.py, Tesseract e PyMuPDF - campo page removido de Source/SearchResult/StatusResponse e do frontend - embedder: propriedade name; status reporta o embedder em uso, não o do .env - create_app constrói o embedder ANTES do store (o default HashEmbedder do VectorStore impedia o modelo configurado de ser carregado em produção) - fallback do modelo agora aparece em /api/status.errors - torch 2.6.0 + transformers 5.22.1 pinados (transformers 5.x exige torch>=2.6)
This commit is contained in:
1 parent
621679cee5
commit
2043d5ddcf
34 files changed
+34561
-1842
No files matched your search
+5
-5
@@ -45,12 +45,12 @@ TOP_K=6
|
||||
MIN_SIMILARITY=0.35
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# OCR (necessário quando o PDF não tem camada textual utilizável)
|
||||
# Ingestão do corpus
|
||||
# Diretório com os arquivos USFX (*.xml), montado somente-leitura em /data/corpus.
|
||||
# Tamanho do lote gravado no banco vetorial por vez.
|
||||
# ---------------------------------------------------------------------------
|
||||
OCR_DPI=200
|
||||
OCR_LANGUAGE=por+eng
|
||||
OCR_TIMEOUT=120
|
||||
OCR_WORKERS=4
|
||||
# CORPUS_DIR=/data/corpus
|
||||
INDEX_BATCH_SIZE=512
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# API
|
||||
|
||||
Reference in new issue
Block a user