Commit Graph
11 Commits
Author SHA1 Message Date
omp 2043d5ddcf refactor: troca PDF+OCR por corpus USFX em domínio público
- corpus/: Almeida (João Ferreira de Almeida) em USFX, domínio público,
  66 livros / 1189 capítulos / 31098 versículos, versionado com SHA-256
- app/corpus.py: parser USFX (texto no tail de <v/>), nomes canônicos dos
  livros, aliases (abreviaturas e numerais romanos), VerseChunk sem página
- indexer: descobre *.xml em CORPUS_DIR, progresso em versículos, lote
  configurável, manifesto incremental por SHA-256
- remove extraction.py, parallel.py, bible_parser.py, Tesseract e PyMuPDF
- campo page removido de Source/SearchResult/StatusResponse e do frontend
- embedder: propriedade name; status reporta o embedder em uso, não o do .env
- create_app constrói o embedder ANTES do store (o default HashEmbedder do
  VectorStore impedia o modelo configurado de ser carregado em produção)
- fallback do modelo agora aparece em /api/status.errors
- torch 2.6.0 + transformers 5.22.1 pinados (transformers 5.x exige torch>=2.6)
2026-11-02 11:16:07 -03:00
omp 621679cee5 fix: corrige bugs críticos de índice de páginas e cache de OCR
- C-1: corrige índice de páginas OCR'd (retorna page_number em vez de position)
- C-2: adiciona tratamento para falhas de OCR no cache (não distingue erro de não processado)
- Integra paralelização do OCR via subprocessos (parallel.py)
- Indexador usa extração paralela quando disponível
- Melhora relatório de progresso com contagem de páginas processadas
2026-11-01 20:01:28 -03:00
omp b3f8019e01 feat: report indexing progress with page counts in status panel 2026-11-01 19:32:33 -03:00
omp 8f79993646 fix(backend): detect corrupted PDF text layer by control character density 2026-11-01 19:30:07 -03:00
omp 7a0396422f feat(backend): add FastAPI routes with SSE chat and reindex guard 2026-11-01 19:24:20 -03:00
omp 99bc46f053 feat(backend): add chat service with evidence gating and citation validation 2026-11-01 19:19:45 -03:00
omp 9be09921bc feat(backend): add LLM provider adapters for Ollama, OpenAI, Groq and Anthropic 2026-11-01 19:18:07 -03:00
omp 1748b561bd feat(backend): add incremental indexer with manifest and partial states 2026-11-01 19:17:07 -03:00
omp abf7d802ab feat(backend): add embeddings and ChromaDB vector store 2026-11-01 19:16:40 -03:00
omp 6dc7f634ea feat(backend): add biblical parser with book/chapter/verse reconstruction 2026-11-01 19:15:22 -03:00
omp b75b746a40 feat(backend): add PDF extraction with OCR fallback and cache 2026-11-01 19:14:06 -03:00