Como impedir um agente de IA de inventar respostas?
Você impede um agente de IA de inventar respostas fazendo da citação a condição de qualquer resposta. Nos casos da HomoDeus, um valor sem frase por trás vai para uma pessoa, o cálculo exato faz a conta, duas IAs independentes precisam concordar nas decisões de risco, e uma pessoa assina o resultado.
Por que um agente de IA inventa respostas?
Segundo a Formal Opinion 512 da American Bar Association, de 29 de julho de 2024, algumas ferramentas de IA generativa são propensas a alucinações: respostas aparentemente plausíveis sem base nos fatos ou na realidade. O modelo escreve com a mesma fluência tendo ou não o fato, então um texto confiante não prova nada. A mesa do Keystone descobriu que pedir a uma IA para avaliar os próprios números pegava menos de uma em cada quatro respostas ruins. A correção fica fora do modelo, em uma regra que recusa qualquer valor sem uma frase por trás.
A regra em cada caso
- Sem fonte, sem resposta: o Canon só responde quando consegue citar uma fonte aprovada.
- Sem frase, sem valor: o Chronicle envia a uma pessoa o que não consegue citar.
- Sem prova, sem nada consta: o OSINIS só conta uma fonte com a evidência de que ela foi consultada.
- Dois modelos nas decisões de risco: o Agora e o Delphi exigem que duas IAs independentes concordem.
- Código faz a conta: o Assay e o Keystone usam cálculo exato em cada número.
Canon, BIP
O Canon responde as dúvidas dos funcionários da BIP sobre folha, férias e benefícios só a partir de uma fonte aprovada que ele consegue citar, e manda para uma pessoa tudo o que não consegue embasar. A central só responde quando consegue citar uma fonte aprovada. A linguagem trabalhista em português é lida como um especialista na área leria, em vez de por uma busca genérica.
Chronicle, DeHouse
O Chronicle junta a caixa de entrada, as notas de reunião e as listas de leads da DeHouse em um único registro de vendas, onde o cliente quase nunca é quem envia e nada sai sem a aprovação de uma pessoa. O leitor extrai uma fase, um espaço, uma contagem de mesas e um corretor, cada um com a frase exata em que se apoia, conferida no código. Um valor sem frase por trás vai para uma pessoa, nunca é chutado.
Assay, Fundação Butantan
A Assay confere cada folha de serviço da Fundação Butantan contra a nota fiscal, o pedido de compra e o contrato antes de um gestor aprovar o pagamento, e cita o trecho por trás de cada conferência. O agente lê cada documento e puxa cada número junto com a frase exata de onde ele veio. Se não encontra essa frase, o pagamento vai para uma pessoa. Nunca chuta.
Agora, CNN Brasil
A Agora acompanha cada debate e entrevista de candidato da eleição de 2026 para a CNN Brasil e a Rádio Itatiaia, em 79 canais, e entrega à redação cortes e rascunhos onde cada afirmação cita a transcrição e nenhuma fala está na boca errada. Um nome fica numa fala só quando duas IAs independentes concordam sobre quem falou, cada uma apontando as palavras exatas. Uma segunda leitura confirma quem a transcrição mostra na sala. A etapa só remove um nome, nunca acrescenta um.
OSINIS, Positivo
O OSINIS checa uma empresa ou pessoa contra dezenas de fontes oficiais brasileiras para o time jurídico da Positivo, e uma fonte só conta com a prova de que foi consultada. Nada é marcado como nada consta a partir de uma página em branco. Uma fonte só conta com a evidência de que o alvo foi consultado e voltou vazio. Sem prova, sem nada consta.
Perguntas
Por que não deixar a IA avaliar o próprio trabalho?
A mesa do Keystone descobriu que pedir a uma IA que avalie os próprios números pegou menos de uma resposta errada em quatro, e um texto confiante aumentava a nota de contas erradas.
E se o provedor de IA falhar?
O Canon ainda responde pelas regras ou passa a pergunta a uma pessoa. O Nightwatch continuou reservando no backup na noite em que o provedor principal caiu.
Uma pessoa revisa tudo?
Uma pessoa assina o resultado que carrega o risco: o pagamento no Assay, a matéria publicada no Agora, o protocolo no Scribe, o plano no Tempo.