Implementar RAG no bot para usar fontes externas de conhecimento

Objetivo

Permitir que o bot consulte documentos externos antes de responder, usando RAG Retrieval Augmented Generation para reduzir alucinações e entregar respostas baseadas em dados reais do cliente

Descrição

• Integrar o bot a um mecanismo de RAG

• Conectar a pelo menos uma fonte de dados externa ex Google Drive Notion ou base interna

• Indexar e atualizar os documentos do cliente em um vetor store

• Ajustar o fluxo do bot para

  1 identificar a intenção

  2 buscar contexto relevante na base

  3 gerar resposta usando o contexto recuperado

Escopo técnico

• Escolher e configurar o vetor store ex Pinecone Qdrant Chroma ou similar

• Criar processo de ingestão de documentos

  • leitura

  • chunking

  • criação de embeddings

  • gravação no vetor store

• Criar endpoint de busca semântica que receba a pergunta do usuário e retorne os trechos mais relevantes

• Adaptar o prompt do modelo para incluir

  • pergunta do usuário

  • trechos recuperados contexto

  • instruções para citar apenas o que vier da base

• Logar perguntas contexto retornado e resposta gerada para futura análise

Critérios de aceite

• Bot responde usando informações de pelo menos uma fonte externa configurável por cliente

• Se não houver contexto relevante o bot responde informando que não encontrou informação na base em vez de inventar

• Tempo de resposta aceitável inferior a X segundos em 90 por cento das requisições definir valor conforme ambiente

• Logs mostram claramente

  • query do usuário

  • documentos usados no contexto

  • resposta final

• Documentos atualizados na fonte são reindexados em até Y minutos definir janela de atualização

Diferenciais se der tempo

• Permitir ativar ou desativar RAG por bot ou por fluxo

• Permitir escolher quais coleções de documentos cada bot pode usar

• Métrica básica

  • contagem de respostas com RAG

  • tamanho médio do contexto

  • tempo médio de busca