refactor: troca PDF+OCR por corpus USFX em domínio público

- corpus/: Almeida (João Ferreira de Almeida) em USFX, domínio público,
  66 livros / 1189 capítulos / 31098 versículos, versionado com SHA-256
- app/corpus.py: parser USFX (texto no tail de <v/>), nomes canônicos dos
  livros, aliases (abreviaturas e numerais romanos), VerseChunk sem página
- indexer: descobre *.xml em CORPUS_DIR, progresso em versículos, lote
  configurável, manifesto incremental por SHA-256
- remove extraction.py, parallel.py, bible_parser.py, Tesseract e PyMuPDF
- campo page removido de Source/SearchResult/StatusResponse e do frontend
- embedder: propriedade name; status reporta o embedder em uso, não o do .env
- create_app constrói o embedder ANTES do store (o default HashEmbedder do
  VectorStore impedia o modelo configurado de ser carregado em produção)
- fallback do modelo agora aparece em /api/status.errors
- torch 2.6.0 + transformers 5.22.1 pinados (transformers 5.x exige torch>=2.6)
This commit is contained in:
omp committed 2026-11-02 11:16:07 -03:00
1 parent 621679cee5
commit 2043d5ddcf
34 files changed
+34561 -1842

No files matched your search

+5 -6
View File
@@ -7,20 +7,19 @@ ENV PYTHONUNBUFFERED=1 \
TOKENIZERS_PARALLELISM=false \
TORCH_HOME=/data/models
# tesseract-ocr + pacote de idioma português + libs de imagem do MuPDF
# curl é usado pelo healthcheck; o corpus é XML estruturado, então não há OCR.
RUN apt-get update && apt-get install -y --no-install-recommends \
tesseract-ocr \
tesseract-ocr-por \
tesseract-ocr-eng \
curl \
&& rm -rf /var/lib/apt/lists/*
WORKDIR /app
# PyTorch só com CPU: o wheel padrão traz ~4 GB de bibliotecas CUDA, inúteis aqui.
# 2.6.0 é o mínimo exigido pelo transformers 5.x; com 2.5.1 o sentence-transformers
# desativa o PyTorch e o modelo de embeddings nunca carrega.
RUN pip install --no-cache-dir \
--index-url https://download.pytorch.org/whl/cpu \
"torch==2.5.1"
"torch==2.6.0"
COPY requirements.txt requirements-dev.txt ./
RUN pip install --no-cache-dir -r requirements-dev.txt
@@ -28,7 +27,7 @@ RUN pip install --no-cache-dir -r requirements-dev.txt
COPY app ./app
COPY tests ./tests
RUN mkdir -p /data/vector_db /data/pdfs /data/models
RUN mkdir -p /data/vector_db /data/corpus /data/models
EXPOSE 8000