Conversar com documentos: RAG em linguagem simples

Nesta aula

O modelo não conhece a sua empresa. E não precisa conhecer: basta conseguir consultar.

Todo mundo que instala uma IA local faz a mesma pergunta em seguida: "e como ela aprende sobre o meu negócio?". A resposta que a maioria espera é "treinando". A resposta que funciona é outra: dar ao modelo os seus documentos na hora da pergunta, para ele responder com base neles e dizer de onde tirou. O nome técnico é RAG. Nesta aula você entende o mecanismo, monta uma coleção de documentos com ferramentas prontas, e faz a IA responder cinco perguntas citando a fonte. Sem código, sem nada saindo da empresa.

• Ao final, você vai explicar o que é RAG e por que ele é diferente de treinar um modelo.
• Vai saber onde o RAG funciona bem, onde falha e como perguntar para ter resposta com fonte.
• Vai sair com um entregável: 10 documentos indexados e 5 perguntas respondidas com a fonte conferida.

O problema, e as duas soluções erradas

Um modelo é treinado até uma data, com texto público. Ele não sabe o seu regulamento interno, a sua tabela de prazos, o seu catálogo. Se você perguntar "qual é o prazo de troca da loja?", ele vai inventar um prazo com cara de certo. Esse é o problema.

A primeira solução errada é colar tudo toda vez. Funciona para um documento curto e cansa no segundo dia. Além disso, a janela de contexto tem limite, e quanto mais texto você cola, mais o modelo se perde.

A segunda solução errada é "treinar o modelo com os meus dados". Treinar (o ajuste fino da aula 9) é caro, lento, exige gente, e serve para mudar o jeito do modelo, não para colocar fatos que mudam toda semana. Quem tenta ensinar a tabela de preços por treino descobre que precisa treinar de novo a cada reajuste.

A solução que funciona: buscar, depois gerar

Pense em dois estagiários. O primeiro decorou o manual da empresa há seis meses. O segundo não decorou nada, mas tem o manual aberto na mesa e sabe procurar. Quando você pergunta sobre uma regra que mudou mês passado, o primeiro responde errado com confiança. O segundo abre a página certa e lê. RAG é o segundo estagiário. A sigla vem do inglês e quer dizer "geração aumentada por busca": antes de responder, o sistema busca nos seus documentos os trechos mais parecidos com a pergunta e os entrega ao modelo junto com ela.

Como funciona por dentro, em quatro passos

Você não precisa programar nada disso, mas precisa entender para saber onde mexer quando der errado.

1. Dividir. Cada documento é cortado em trechos de algumas centenas de palavras. Um regulamento de vinte páginas vira dezenas de pedaços.
2. Indexar. Cada trecho passa por um modelo pequeno, chamado modelo de embedding, que o transforma numa espécie de endereço numérico baseado no significado. Trechos que falam de coisas parecidas ganham endereços próximos. Tudo isso fica guardado num índice, na sua máquina. O Ollama tem modelos de embedding na biblioteca, e as ferramentas prontas escolhem um por você.
3. Buscar. Quando alguém pergunta, a pergunta passa pelo mesmo modelo de embedding e o sistema procura no índice os trechos com endereço mais próximo. Costuma trazer três a cinco trechos.
4. Gerar. Os trechos encontrados e a pergunta vão juntos para o modelo de linguagem, com uma instrução do tipo "responda só com base nestes trechos e diga de qual documento veio". O modelo escreve a resposta, e a fonte é o nome do arquivo e o pedaço usado.

Três coisas ficam claras quando você olha os passos. Primeiro, o modelo não aprendeu nada: se você trocar o documento, a próxima resposta já usa o novo. Segundo, a qualidade depende da busca: se o trecho certo não for encontrado, a resposta sai errada ou vazia, mesmo com um modelo excelente. Terceiro, tudo roda na sua máquina: o índice, o modelo de embedding e o modelo de linguagem.

Ferramentas prontas: sem código

Você não vai escrever o sistema de RAG. Vai usar o que já vem pronto na interface da aula 5. O Open WebUI faz os quatro passos por você, com dois recursos:

Os formatos aceitos costumam incluir PDF com texto, documentos de editor de texto e arquivos de texto simples. O procedimento exato para criar a coleção e associá-la a um modelo ou a uma conversa está na documentação oficial e muda um pouco entre versões; a lógica é sempre: criar a coleção, enviar os arquivos, esperar a indexação, referenciar a coleção na conversa.

Outras ferramentas de mesa fazem o mesmo. O critério para escolher qualquer uma delas é um só: o índice e os modelos rodam na sua máquina? Se a ferramenta manda os documentos para um serviço na internet para "processar", ela desfaz o motivo de você ter IA local.

A instrução fixa para conversas com documentos

As instruções fixas da aula 5 ganham três linhas quando o modelo vai consultar documentos:

A última frase parece exagero até o dia em que duas versões da mesma política estão na coleção e o modelo escolhe a velha. Com essa instrução, ele te avisa. Sem ela, ele decide sozinho.

Perguntar bem e conferir sempre

RAG responde bem a pergunta específica: "qual é o prazo?", "o que diz a seção sobre férias?", "quais documentos o cliente traz?". Responde mal a pergunta ampla: "resuma tudo", "quais são todas as regras?", "compare todos os contratos". A busca traz alguns trechos; um resumo de tudo precisaria de todos.

Onde o RAG falha, e o que fazer

A regra de ouro é a mesma para toda IA: resposta com fonte se confere; resposta sem fonte se desconfia. Peça a fonte sempre e abra o trecho nas primeiras semanas, até a equipe ter uma noção real da taxa de acerto para cada tipo de pergunta.