O que a IA faz bem, o que faz mal e quando confiar

Nesta aula

Quem usa IA sem saber onde ela erra acaba pagando o erro em dobro.

Trabalho com software há 15 anos e com IA aplicada há 5. Nesse tempo vi dono de loja mandar e-mail com dado inventado, contador copiar um cálculo errado e clínica publicar um texto com uma informação que a IA simplesmente criou. Nenhum deles era descuidado. Todos confiaram numa resposta que parecia certa. Esta primeira aula existe para que isso não aconteça com você. Antes de aprender a pedir bem, você precisa saber o que dá para pedir.

• Ao final, você vai saber explicar em uma frase o que um assistente de IA realmente faz.
• Vai reconhecer os quatro tipos de erro mais comuns e o hábito que evita cada um.
• Vai sair com as suas próprias tarefas classificadas em três baldes: delego à IA, faço com IA, faço sozinho.

O que você precisa ter para fazer este curso

Pouca coisa. Um navegador, um e-mail e uma conta gratuita em pelo menos um dos três assistentes que vamos usar: Claude, ChatGPT ou Gemini. Os três têm versão gratuita suficiente para todas as práticas. Não vou eleger um deles. Ao longo do curso você vai ver que os métodos funcionam nos três, e que vale a pena ter conta em dois para comparar respostas quando o assunto for importante.

Você não precisa instalar nada no computador. Tudo acontece na página do assistente. Se alguém pedir para você baixar um programa, uma extensão ou um aplicativo "para liberar a IA", desconfie. O acesso oficial é pelo site de cada um, e o cadastro é feito só com o e-mail.

Também recomendo um documento simples, no Google Documentos, Word ou Notion, chamado Meu curso de IA. É lá que você vai guardar as práticas de cada aula. No fim do curso, esse documento vira o seu kit de trabalho.

Em uma frase: o que esse assistente faz

Um assistente de IA como os três que citei é um programa que aprendeu, lendo uma quantidade enorme de texto, a prever qual é a continuação mais provável de qualquer trecho. Quando você escreve um pedido, ele não procura a resposta num arquivo de verdades. Ele produz, palavra por palavra, o texto que mais combina com o que você escreveu e com tudo o que ele leu.

Isso explica por que ele é tão bom em escrever, resumir e reorganizar. Também explica o defeito principal: ele produz o texto mais provável, não o texto mais verdadeiro. Se a resposta mais provável para "qual é o CNAE de uma padaria" for um número que parece um CNAE, ele entrega um número que parece um CNAE. Às vezes o certo. Às vezes não. E nos dois casos com a mesma cara de certeza.

Três coisas que ele não faz sozinho

• Não conhece o seu negócio. Ele não sabe quantos funcionários você tem, qual é o seu tom com cliente nem o que aconteceu na reunião de ontem. Tudo o que ele sabe do seu contexto é o que você escreveu na conversa (ou configurou nas instruções, tema da aula 02).
• Não vê o mundo de hoje por padrão. Alguns assistentes têm busca na internet, e quando ela está ligada as respostas sobre fatos recentes melhoram. Mas a busca precisa estar ativa, e mesmo assim a fonte tem que ser conferida. Sem busca, ele responde com o que aprendeu até a data de treinamento.
• Não é responsável pelo resultado. Quem assina o e-mail, o contrato ou o post é você. A IA não vai ao Procon nem responde ao cliente que se sentiu enganado.

O que a IA faz bem

Aqui está a parte boa, e ela é grande. Nas tarefas abaixo a IA entrega um resultado útil na primeira tentativa na maioria das vezes, e você só precisa revisar.

Repare no padrão. Em todas elas, ou o material de origem veio de você (resumir, reorganizar, mudar o tom), ou o resultado é criativo e você é o juiz (rascunhar, listar opções). Não há fato novo a ser inventado, ou, se há, você está olhando.

O que a IA faz mal: os quatro erros que você vai encontrar

Não são defeitos raros. Você vai vê-los na primeira semana de uso. O importante é reconhecer a cara de cada um.

1. Invenção de fatos

É o mais perigoso. Números de lei, nomes de pessoas, datas, estatísticas, citações, links, preços, títulos de livros. A IA produz o dado que "cabe" na frase. O nome técnico é alucinação, mas eu prefiro chamar de invenção, porque é isso que é. O sinal de alerta: quanto mais específico e menos verificável o dado, mais desconfie.

2. Contas e lógica longa

Somar uma lista de 40 valores, calcular juros compostos, aplicar uma regra com cinco exceções. A IA acerta muitas vezes e erra em silêncio nas outras. Para número, use planilha, e use a IA para explicar a fórmula (aula 07). Quando o assistente tiver um recurso de executar código ou análise de dados, ele melhora, mas a conferência continua sendo sua.

3. Contexto que ela não tem

Você pergunta "qual é o melhor horário para postar" e ela responde com uma regra genérica. O melhor horário para a sua padaria depende do seu bairro e do seu público, e ela não sabe nada disso a não ser que você conte. Resposta genérica não é erro do modelo; é falta de contexto no pedido. É o tema da aula 03.

4. Concordância excessiva

Se você escreve "essa ideia é ótima, né?", ela tende a concordar. Se você pede "me convença de que devo abrir uma segunda loja", ela convence. Ela segue a direção do pedido. Para uma opinião útil, peça o contrário: "liste os três maiores riscos desse plano" ou "o que um consultor cético diria disso".

Quando confiar: a régua de três perguntas

Antes de usar qualquer resposta, faço três perguntas. Levam dez segundos e decidem quanto tempo de conferência a resposta merece.

Um exemplo com a régua. Uma clínica pede à IA um texto para o Instagram sobre a importância de check-up anual. É criação, mas contém fatos (por exemplo, "a cada X anos"). Então: o texto em si, revise o tom. Os fatos citados, confira com o médico da casa ou remova. Custo do erro: reputação e saúde, alto. Resultado: o texto sai, mas sem número que ninguém conferiu.

A forma mais barata de reduzir a invenção

Dê o material. Se a resposta precisa sair de um documento, cole o documento (ou a parte dele que pode ser colada, tema da aula 13) e escreva o pedido assim:

Três coisas nesse pedido cortam a invenção: "somente o texto abaixo", "cite o trecho exato" e "se não constar, diga que não consta". A IA ainda pode errar, mas agora o erro fica visível, porque você compara o trecho citado com o original.

Os três baldes: delego, faço com IA, faço sozinho

Toda tarefa do seu dia cabe num de três baldes. Usar IA bem é, em boa parte, colocar cada tarefa no balde certo.

Um dono de oficina mecânica que fez esse exercício comigo chegou nisto: orçamento por escrito para o cliente, faço com IA (ela redige, ele confere peça e valor); mensagem de "seu carro está pronto", delego; avaliação de um mecânico novo no fim da experiência, faço sozinho; lembrete de revisão a cada seis meses, delego; resposta para um cliente que reclamou de um serviço, faço com IA, porque o tom importa e ele conhece a história. Repare que "faço sozinho" não quer dizer "sem IA"; quer dizer que a decisão e a responsabilidade não saem da mão dele.