fix: responder a partir dos livros com embeddings em português
Usa o modelo multilingual, ignora trechos curtos e o template do Llama 3.2 para a resposta sair em uma frase completa. O chat deixa a API livre durante a geração, o upload indexa o PDF e os agendamentos não são gravados duas vezes.
This commit is contained in:
1 parent
7af7ba530d
commit
8eeb6b89f4
11 files changed
+185
-90
No files matched your search
@@ -22,12 +22,15 @@ class PDFProcessor:
|
||||
|
||||
# Convert to dictionaries with metadata
|
||||
chunk_data = []
|
||||
for i, doc in enumerate(chunks):
|
||||
for doc in chunks:
|
||||
content = " ".join(doc.page_content.split())
|
||||
if len(content) < 80:
|
||||
continue
|
||||
chunk_data.append({
|
||||
"content": doc.page_content,
|
||||
"content": content,
|
||||
"metadata": {
|
||||
**metadata,
|
||||
"chunk_id": i,
|
||||
"chunk_id": len(chunk_data),
|
||||
"source": file_path,
|
||||
}
|
||||
})
|
||||
|
||||
Reference in new issue
Block a user