refactor: troca PDF+OCR por corpus USFX em domínio público
- corpus/: Almeida (João Ferreira de Almeida) em USFX, domínio público, 66 livros / 1189 capítulos / 31098 versículos, versionado com SHA-256 - app/corpus.py: parser USFX (texto no tail de <v/>), nomes canônicos dos livros, aliases (abreviaturas e numerais romanos), VerseChunk sem página - indexer: descobre *.xml em CORPUS_DIR, progresso em versículos, lote configurável, manifesto incremental por SHA-256 - remove extraction.py, parallel.py, bible_parser.py, Tesseract e PyMuPDF - campo page removido de Source/SearchResult/StatusResponse e do frontend - embedder: propriedade name; status reporta o embedder em uso, não o do .env - create_app constrói o embedder ANTES do store (o default HashEmbedder do VectorStore impedia o modelo configurado de ser carregado em produção) - fallback do modelo agora aparece em /api/status.errors - torch 2.6.0 + transformers 5.22.1 pinados (transformers 5.x exige torch>=2.6)
This commit is contained in:
1 parent
621679cee5
commit
2043d5ddcf
34 files changed
+34561
-1842
No files matched your search
+3
-6
@@ -7,7 +7,7 @@ services:
|
||||
container_name: pastor-online-backend
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
PDF_DIR: /data/pdfs
|
||||
CORPUS_DIR: /data/corpus
|
||||
VECTOR_DB_DIR: /data/vector_db
|
||||
LLM_PROVIDER: ${LLM_PROVIDER:-ollama}
|
||||
OLLAMA_BASE_URL: ${OLLAMA_BASE_URL:-http://ollama:11434}
|
||||
@@ -24,16 +24,13 @@ services:
|
||||
EMBEDDING_MODEL: ${EMBEDDING_MODEL:-paraphrase-multilingual-MiniLM-L12-v2}
|
||||
TOP_K: ${TOP_K:-6}
|
||||
MIN_SIMILARITY: ${MIN_SIMILARITY:-0.35}
|
||||
OCR_DPI: ${OCR_DPI:-200}
|
||||
OCR_LANGUAGE: ${OCR_LANGUAGE:-por+eng}
|
||||
OCR_TIMEOUT: ${OCR_TIMEOUT:-120}
|
||||
OCR_WORKERS: ${OCR_WORKERS:-4}
|
||||
INDEX_BATCH_SIZE: ${INDEX_BATCH_SIZE:-512}
|
||||
CORS_ORIGINS: ${CORS_ORIGINS:-http://localhost:8080,http://127.0.0.1:8080}
|
||||
REINDEX_TOKEN: ${REINDEX_TOKEN:-}
|
||||
AUTO_INDEX: ${AUTO_INDEX:-true}
|
||||
HF_HOME: /data/models
|
||||
volumes:
|
||||
- ./PDF:/data/pdfs:ro
|
||||
- ./corpus:/data/corpus:ro
|
||||
- vector_db:/data/vector_db
|
||||
networks:
|
||||
- pastor
|
||||
|
||||
Reference in new issue
Block a user