# Sistema de Consulta RAG para Livros de Espiritismo ## Intent and the Why Desenvolver um sistema de pesquisa assistida por IA (RAG) para consulta em linguagem natural aos livros de espiritismo em PDF, com interface web rica e integração com Telegram para envio de conteúdo diário. O sistema deve ser leve, executar em CPU sem GPU, e ser facilmente deployável em servidor dedicado via Docker. ## Goals, Non-goals, Anti-goals ### Goals (Objetivos) - Processar 6 livros de espiritismo em PDF (A Gênese, Livro dos Espíritos, Livro dos Médiuns, O Céu e o Inferno, O Evangelho Segundo o Espiritismo, O que é o Espiritismo) - Permitir consultas em linguagem natural via interface web - Interface web rica, amigável e responsiva - Agendar mensagens de conteúdo dos livros via bot Telegram - Suportar agregação de novos livros PDF no futuro - Executar totalmente em CPU sem GPU - Deploy simples via Docker em servidor dedicado - Armazenamento vetorial em Qdrant - Rastreamento de citações e fontes dos livros ### Non-goals (Não-objetivos) - Sincronização com outras fontes externas - Multi-tenancy (usuários múltiplos) - Tradução automática para outros idiomas - Processamento em tempo real de documentos via API ### Anti-goals (Anti-objetivos - comportamentos indesejados) - Sistema pesado, exigindo GPU - Interface web complexa ou difícil de usar - Agendamento sem controle visual - Perda de contexto ou citações sem referência - Configuração complexa para deploy ## Constraints (Restrições) - CPU-only, sem GPU - Máximo 8GB RAM (servidor dedicado típico) - Armazenamento: ~500MB para modelo (quantizado), ~2GB para vetores (6 livros) - Armazenamento vetorial: Qdrant em Docker - API Web: FastAPI + React (ou HTML/CSS/JS simples) - Bot Telegram: Python pyTelegramBotAPI - Agendamento: Celery + Redis ou Cron simples ## Approaches (Abordagens Consideradas) ### Abordagem A: Stack completa customizada (Llama3 + LangChain + Qdrant) - Usar Llama3 8B quantized via GPT4All - LangChain para pipeline de RAG - Qdrant para vectores - FastAPI para API web - React para frontend - pyTelegramBotAPI para bot Telegram - Cron jobs para agendamento - Docker compose para orquestração **Vantagens**: Mais controle, totalmente self-contained, pode adicionar recursos facilmente **Desvantagens**: Maior complexidade de configuração, mais manutenção ### Abordagem B: Stack minimalista (GPT4All + LangChain + Qdrant) - SELECIONADA - Usar GPT4All + Llama 3.2 3B (ou mistral 7B) - LangChain para pipeline de RAG - Qdrant para vectores - FastAPI para API web - Interface web simples mas rica (HTML/CSS/JS) - pyTelegramBotAPI para bot Telegram - Celery + Redis para agendamento - Docker compose para orquestração **Vantagens**: Menor complexidade, mais simples de manter, código legível **Desvantagens**: Menos flexibilidade para extensões complexas ### Abordagem C: Template open-source (chat-with-your-pdf + Telegram bot) - Usar template pronto chat-with-your-pdf - Integrar com bot Telegram existente - Docker para containerização **Vantagens**: Já funcional, comunidade, documentação **Desvantagens**: Menos customization, dependência de terceiros **Por que a Abordagem B?** - Balancea controle e complexidade - Permite fácil expansão futura - Código legível e manutenível - Comunitários ativos (GPT4All, LangChain, Qdrant) - Deploys simples via Docker - Tamanho moderado (aprox. 5GB total) ## Architecture Components (Componentes da Arquitetura) ### Backend - **FastAPI**: API REST para interface web - **LangChain**: Orquestração do pipeline RAG - **GPT4All**: Modelo de linguagem em CPU - **Qdrant**: Banco vetorial para embeddings - **PDF Loader**: Parse de PDFs com LangChain - **Embeddings**: SentenceTransformers ou model do GPT4All ### Frontend - **HTML/CSS/JS**: Interface web simples e responsiva - **Chat interface**: Input de perguntas e display de respostas com citações - **Upload de PDF**: Interface para adicionar novos livros - **Configuração de horários**: Formulário para agendar mensagens no Telegram ### Telegram Bot - **pyTelegramBotAPI**: Interface para Telegram - **Mensagens agendadas**: Celery tasks com cron expressions - **Controle via bot**: Comandos para configurar horários e visualizar conteúdo ### Orquestração - **Docker Compose**: Containerização de todos os serviços - **Celery**: Processamento assíncrono de tarefas (agendamentos) - **Redis**: Cache e broker para Celery - **Nginx**: Proxy reverso (opcional) ## Data Flow (Fluxo de Dados) 1. **Indexação inicial**: - PDFs são processados e divididos em chunks - Chunks são convertidos em embeddings - Embeddings são armazenados no Qdrant 2. **Consulta web**: - Usuário faz pergunta via interface web - Pergunta é convertida em embedding - Busca em Qdrant retorna chunks relevantes - Chunks são passados ao modelo LLM - Resposta é gerada com citações - Resposta é exibida na interface 3. **Mensagem agendada**: - Celery schedule executa task no horário agendado - Task gera conteúdo aleatório dos livros - Bot Telegram envia mensagem ## Future Extensions (Extensões Futuras) - Upload de novos PDFs via interface web - Múltiplos usuários com autenticação - Análise estatística de livros - Exportação de conteúdo - Configuração de horários via interface web - Histórico de consultas ## Development Phases (Fases de Desenvolvimento) 1. Setup Docker e componentes base (Qdrant, Redis) 2. Indexação dos 6 livros existentes 3. Desenvolvimento da API web com chat 4. Desenvolvimento da interface web 5. Integração com Telegram bot 6. Implementação de agendamento de mensagens 7. Testes e otimização 8. Deploy em produção ## Implementation Details (Detalhes de Implementação) ### Docker Services - `web`: FastAPI backend + HTML frontend - `vectorstore`: Qdrant - `redis`: Redis para Celery - `worker`: Celery worker para tarefas assíncronas - `nginx`: Proxy reverso (opcional) ### Environment Variables - `GPT4ALL_MODEL`: caminho do modelo (llama-3.2-3b-instruct-q4_0.gguf) - `QDRANT_URL`: URL do Qdrant - `TELEGRAM_BOT_TOKEN`: token do bot - `TELEGRAM_CHAT_ID`: ID do chat para envio de mensagens - `CELERY_BROKER_URL`: URL do Redis - `CELERY_RESULT_BACKEND`: URL do Redis ## Size of Work (Tamanho do Trabalho) **Projeto** - design completo com todos os componentes, arquitetura e implementação.