feat: report indexing progress with page counts in status panel
This commit is contained in:
1 parent
8f79993646
commit
b3f8019e01
7 files changed
+145
-2
No files matched your search
+57
-2
@@ -38,6 +38,9 @@ class IndexStatus:
|
|||||||
model: str = ""
|
model: str = ""
|
||||||
last_indexed_at: str | None = None
|
last_indexed_at: str | None = None
|
||||||
errors: list[str] = field(default_factory=list)
|
errors: list[str] = field(default_factory=list)
|
||||||
|
pages_processed: int = 0
|
||||||
|
pages_total: int = 0
|
||||||
|
current_file: str | None = None
|
||||||
|
|
||||||
|
|
||||||
@dataclass
|
@dataclass
|
||||||
@@ -78,6 +81,10 @@ class Indexer:
|
|||||||
self._lock = threading.Lock()
|
self._lock = threading.Lock()
|
||||||
self._last_indexed_at: str | None = None
|
self._last_indexed_at: str | None = None
|
||||||
self._errors: list[str] = []
|
self._errors: list[str] = []
|
||||||
|
self._indexing = False
|
||||||
|
self._pages_processed = 0
|
||||||
|
self._pages_total = 0
|
||||||
|
self._current_file: str | None = None
|
||||||
self._load_manifest()
|
self._load_manifest()
|
||||||
|
|
||||||
# ------------------------------------------------------------------ #
|
# ------------------------------------------------------------------ #
|
||||||
@@ -154,6 +161,21 @@ class Indexer:
|
|||||||
# Indexação
|
# Indexação
|
||||||
# ------------------------------------------------------------------ #
|
# ------------------------------------------------------------------ #
|
||||||
|
|
||||||
|
def mark_indexing(self) -> None:
|
||||||
|
"""Sinaliza que uma indexação está em andamento."""
|
||||||
|
self._indexing = True
|
||||||
|
self._pages_processed = 0
|
||||||
|
self._pages_total = 0
|
||||||
|
self._current_file = None
|
||||||
|
|
||||||
|
def report_progress(
|
||||||
|
self, pdf_name: str, pages_done: int, pages_total: int
|
||||||
|
) -> None:
|
||||||
|
"""Registra o progresso da extração de um arquivo."""
|
||||||
|
self._current_file = pdf_name
|
||||||
|
self._pages_processed = pages_done
|
||||||
|
self._pages_total = pages_total
|
||||||
|
|
||||||
def discover_pdfs(self) -> list[Path]:
|
def discover_pdfs(self) -> list[Path]:
|
||||||
"""Lista os PDFs do diretório configurado, ordenados por nome."""
|
"""Lista os PDFs do diretório configurado, ordenados por nome."""
|
||||||
directory = self.settings.pdf_dir
|
directory = self.settings.pdf_dir
|
||||||
@@ -165,8 +187,10 @@ class Indexer:
|
|||||||
"""Indexa os PDFs novos ou alterados."""
|
"""Indexa os PDFs novos ou alterados."""
|
||||||
with self._lock:
|
with self._lock:
|
||||||
self._errors = []
|
self._errors = []
|
||||||
|
self.mark_indexing()
|
||||||
pdfs = self.discover_pdfs()
|
pdfs = self.discover_pdfs()
|
||||||
|
|
||||||
|
try:
|
||||||
for pdf in pdfs:
|
for pdf in pdfs:
|
||||||
try:
|
try:
|
||||||
self._index_file(pdf, force=force)
|
self._index_file(pdf, force=force)
|
||||||
@@ -179,6 +203,9 @@ class Indexer:
|
|||||||
|
|
||||||
self._save_manifest()
|
self._save_manifest()
|
||||||
self._last_indexed_at = _now()
|
self._last_indexed_at = _now()
|
||||||
|
finally:
|
||||||
|
self._indexing = False
|
||||||
|
|
||||||
return self.status()
|
return self.status()
|
||||||
|
|
||||||
def _index_file(self, pdf: Path, force: bool) -> None:
|
def _index_file(self, pdf: Path, force: bool) -> None:
|
||||||
@@ -190,7 +217,15 @@ class Indexer:
|
|||||||
return
|
return
|
||||||
|
|
||||||
logger.info("Indexando %s", pdf.name)
|
logger.info("Indexando %s", pdf.name)
|
||||||
pages = list(self.extractor.extract_document(pdf, file_hash=file_hash))
|
pages = []
|
||||||
|
page_count = _pdf_page_count(pdf)
|
||||||
|
for position, page in enumerate(
|
||||||
|
self.extractor.extract_document(pdf, file_hash=file_hash), start=1
|
||||||
|
):
|
||||||
|
pages.append(page)
|
||||||
|
if position % 10 == 0 or position == page_count:
|
||||||
|
self.report_progress(pdf.name, position, page_count)
|
||||||
|
|
||||||
failed_pages = [page.page for page in pages if page.failed]
|
failed_pages = [page.page for page in pages if page.failed]
|
||||||
|
|
||||||
book_starts = self._book_starts(pages)
|
book_starts = self._book_starts(pages)
|
||||||
@@ -229,16 +264,36 @@ class Indexer:
|
|||||||
for entry in self._manifest.values()
|
for entry in self._manifest.values()
|
||||||
if entry.state in (STATE_COMPLETE, STATE_PARTIAL)
|
if entry.state in (STATE_COMPLETE, STATE_PARTIAL)
|
||||||
)
|
)
|
||||||
|
if self._indexing:
|
||||||
|
state = "indexing"
|
||||||
|
elif self._errors and indexed == 0:
|
||||||
|
state = "error"
|
||||||
|
else:
|
||||||
|
state = "ready"
|
||||||
return IndexStatus(
|
return IndexStatus(
|
||||||
state="error" if self._errors and indexed == 0 else "ready",
|
state=state,
|
||||||
pdfs_total=len(self.discover_pdfs()),
|
pdfs_total=len(self.discover_pdfs()),
|
||||||
pdfs_indexed=indexed,
|
pdfs_indexed=indexed,
|
||||||
chunks=self.store.count(),
|
chunks=self.store.count(),
|
||||||
model=self.settings.embedding_model,
|
model=self.settings.embedding_model,
|
||||||
last_indexed_at=self._last_indexed_at,
|
last_indexed_at=self._last_indexed_at,
|
||||||
errors=list(self._errors),
|
errors=list(self._errors),
|
||||||
|
pages_processed=self._pages_processed,
|
||||||
|
pages_total=self._pages_total,
|
||||||
|
current_file=self._current_file,
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def _pdf_page_count(pdf: Path) -> int:
|
||||||
|
"""Número de páginas do PDF, ou 0 se não for possível determinar."""
|
||||||
|
try:
|
||||||
|
import pymupdf
|
||||||
|
|
||||||
|
with pymupdf.open(pdf) as document:
|
||||||
|
return len(document)
|
||||||
|
except Exception: # pragma: no cover - PDF malformado
|
||||||
|
return 0
|
||||||
|
|
||||||
|
|
||||||
def _now() -> str:
|
def _now() -> str:
|
||||||
return datetime.now(timezone.utc).isoformat()
|
return datetime.now(timezone.utc).isoformat()
|
||||||
@@ -182,6 +182,9 @@ def create_app(
|
|||||||
model=current.model,
|
model=current.model,
|
||||||
last_indexed_at=current.last_indexed_at,
|
last_indexed_at=current.last_indexed_at,
|
||||||
errors=current.errors,
|
errors=current.errors,
|
||||||
|
pages_processed=current.pages_processed,
|
||||||
|
pages_total=current.pages_total,
|
||||||
|
current_file=current.current_file,
|
||||||
)
|
)
|
||||||
|
|
||||||
@app.post("/api/reindex", response_model=ReindexResponse, status_code=202)
|
@app.post("/api/reindex", response_model=ReindexResponse, status_code=202)
|
||||||
|
|||||||
@@ -38,6 +38,9 @@ class StatusResponse(BaseModel):
|
|||||||
model: str = ""
|
model: str = ""
|
||||||
last_indexed_at: str | None = None
|
last_indexed_at: str | None = None
|
||||||
errors: list[str] = Field(default_factory=list)
|
errors: list[str] = Field(default_factory=list)
|
||||||
|
pages_processed: int = 0
|
||||||
|
pages_total: int = 0
|
||||||
|
current_file: str | None = None
|
||||||
|
|
||||||
|
|
||||||
class HealthResponse(BaseModel):
|
class HealthResponse(BaseModel):
|
||||||
|
|||||||
@@ -207,3 +207,30 @@ def test_non_pdf_files_are_ignored(settings):
|
|||||||
|
|
||||||
assert status.pdfs_total == 0
|
assert status.pdfs_total == 0
|
||||||
assert extractor.calls == []
|
assert extractor.calls == []
|
||||||
|
|
||||||
|
|
||||||
|
def test_status_reports_indexing_while_work_is_in_progress(settings):
|
||||||
|
"""Durante a indexação o status deve mostrar progresso, não zero."""
|
||||||
|
write_pdf(settings.pdf_dir, "biblia.pdf")
|
||||||
|
extractor = FakeExtractor({"biblia.pdf": [PageText(page=6, text=GENESIS_PAGE)]})
|
||||||
|
indexer, _ = build_indexer(settings, extractor)
|
||||||
|
|
||||||
|
indexer.mark_indexing()
|
||||||
|
status = indexer.status()
|
||||||
|
|
||||||
|
assert status.state == "indexing"
|
||||||
|
assert status.pdfs_total == 1
|
||||||
|
|
||||||
|
|
||||||
|
def test_status_counts_pages_processed_during_indexing(settings):
|
||||||
|
write_pdf(settings.pdf_dir, "biblia.pdf")
|
||||||
|
extractor = FakeExtractor({"biblia.pdf": [PageText(page=6, text=GENESIS_PAGE)]})
|
||||||
|
indexer, _ = build_indexer(settings, extractor)
|
||||||
|
|
||||||
|
indexer.mark_indexing()
|
||||||
|
indexer.report_progress(pdf_name="biblia.pdf", pages_done=120, pages_total=3364)
|
||||||
|
|
||||||
|
status = indexer.status()
|
||||||
|
|
||||||
|
assert status.pages_processed == 120
|
||||||
|
assert status.pages_total == 3364
|
||||||
@@ -19,6 +19,9 @@ export interface Status {
|
|||||||
model: string;
|
model: string;
|
||||||
last_indexed_at: string | null;
|
last_indexed_at: string | null;
|
||||||
errors: string[];
|
errors: string[];
|
||||||
|
pages_processed: number;
|
||||||
|
pages_total: number;
|
||||||
|
current_file: string | null;
|
||||||
}
|
}
|
||||||
|
|
||||||
export interface ChatMessage {
|
export interface ChatMessage {
|
||||||
|
|||||||
@@ -44,6 +44,33 @@ export function StatusPanel({ status, onReindex, reindexing }: StatusPanelProps)
|
|||||||
</div>
|
</div>
|
||||||
</dl>
|
</dl>
|
||||||
|
|
||||||
|
{status?.state === "indexing" && (
|
||||||
|
<div className="status__progress">
|
||||||
|
<div className="status__progress-label">
|
||||||
|
{status.current_file ? `Lendo ${status.current_file}` : "Lendo PDFs"}
|
||||||
|
{status.pages_total > 0 && ` · ${status.pages_processed}/${status.pages_total} páginas`}
|
||||||
|
</div>
|
||||||
|
{status.pages_total > 0 && (
|
||||||
|
<div
|
||||||
|
className="status__progress-bar"
|
||||||
|
role="progressbar"
|
||||||
|
aria-valuenow={status.pages_processed}
|
||||||
|
aria-valuemin={0}
|
||||||
|
aria-valuemax={status.pages_total}
|
||||||
|
>
|
||||||
|
<span
|
||||||
|
style={{
|
||||||
|
width: `${Math.min(
|
||||||
|
100,
|
||||||
|
(status.pages_processed / status.pages_total) * 100,
|
||||||
|
)}%`,
|
||||||
|
}}
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
)}
|
||||||
|
</div>
|
||||||
|
)}
|
||||||
|
|
||||||
{status && status.errors.length > 0 && (
|
{status && status.errors.length > 0 && (
|
||||||
<ul className="status__errors">
|
<ul className="status__errors">
|
||||||
{status.errors.map((error) => (
|
{status.errors.map((error) => (
|
||||||
|
|||||||
@@ -212,6 +212,31 @@ body {
|
|||||||
font-size: 12px;
|
font-size: 12px;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
.status__progress {
|
||||||
|
margin-top: 14px;
|
||||||
|
}
|
||||||
|
|
||||||
|
.status__progress-label {
|
||||||
|
color: var(--muted);
|
||||||
|
font-size: 12px;
|
||||||
|
}
|
||||||
|
|
||||||
|
.status__progress-bar {
|
||||||
|
margin-top: 7px;
|
||||||
|
height: 5px;
|
||||||
|
border-radius: 999px;
|
||||||
|
background: var(--bg);
|
||||||
|
overflow: hidden;
|
||||||
|
}
|
||||||
|
|
||||||
|
.status__progress-bar > span {
|
||||||
|
display: block;
|
||||||
|
height: 100%;
|
||||||
|
border-radius: 999px;
|
||||||
|
background: var(--accent);
|
||||||
|
transition: width 0.4s ease;
|
||||||
|
}
|
||||||
|
|
||||||
.status__reindex {
|
.status__reindex {
|
||||||
width: 100%;
|
width: 100%;
|
||||||
margin-top: 16px;
|
margin-top: 16px;
|
||||||
|
|||||||
Reference in new issue
Block a user