Vibecoding
Como revisar o trabalho de um agente que rodou sozinho
Revisar resposta de chat é fácil: é um texto. Revisar uma sequência de trinta ações é outro problema, e exige um método diferente do que você usa hoje.
Revisar uma resposta de IA é simples: você lê o texto e julga.
Revisar um agente é outro problema. Ele não entregou um texto. Entregou trinta ações encadeadas, cada uma dependendo da anterior, e um resultado no fim.
Se você olhar só o fim, você não revisou nada.
Por que o resultado final engana
Porque erro de critério produz saída bonita.
O agente aplicou a regra errada com perfeição: preencheu todos os campos, seguiu o formato, não deixou nada em branco. O relatório está impecável e a conclusão está errada.
Não existe sinal na aparência. Por isso a revisão precisa olhar o caminho, não o destino.
Passo 1: começa pelo que ele não fez
Contraintuitivo e é o mais revelador.
Olha as recusas e as paradas: os casos em que ele decidiu não agir, pulou, ou marcou como não aplicável.
Duas coisas aparecem aí. Se ele recusou coisa que deveria ter feito, o critério está apertado demais e trabalho está ficando parado sem ninguém saber. Se ele não recusou nada em cem casos, provavelmente o freio não está funcionando, porque em cem casos reais sempre tem algum estranho.
Agente que nunca para é agente que nunca duvida. E nenhum processo real é tão limpo assim.
Passo 2: confere as irreversíveis uma a uma
Separa as ações que não têm volta: apagou, enviou, cobrou, publicou, atualizou dado de cliente.
Essas você olha todas, sem amostragem, pelo menos nas primeiras semanas.
O motivo é econômico, não perfeccionista: erro reversível custa o tempo de desfazer, erro irreversível custa o que custar. A atenção vai pra onde o estrago é permanente.
Passo 3: amostra ao acaso, não os primeiros
O reflexo é abrir os primeiros casos da lista. É o pior método possível.
Os primeiros costumam ser os mais simples, e o agente acerta os simples. Você sai com falsa segurança.
Escolhe ao acaso, e inclui de propósito os que fogem do padrão: o maior, o menor, o de formato estranho, o que demorou mais.
O erro mora nas bordas. Sempre morou.
Passo 4: compara critério aplicado com critério combinado
Esse é o passo que exige a trilha de auditoria, e é por isso que ela precisa guardar o motivo declarado de cada decisão.
Você não está perguntando se a ação foi executada corretamente. Está perguntando se a razão faz sentido.
Quando o motivo declarado começa a parecer criativo, você achou o problema antes de ele virar volume. Critério que deriva devagar é o modo de falha mais comum de agente que roda há meses.
O que fazer com o que você achar
Nem todo desvio é bug. Boa parte é instrução ambígua.
O agente interpretou a regra de um jeito defensável e diferente do que você quis dizer. O conserto não é regra nova, é a regra existente escrita com menos margem.
E aqui tem um ganho que passa despercebido: escrever instrução pra agente força a empresa a explicitar critérios que estavam só na cabeça das pessoas. Isso melhora o processo mesmo que o agente seja desligado depois.
A rotina que sustenta
Depois que estabilizou, não precisa de tudo isso toda vez:
Semanal: amostra pequena, sempre. Sempre: irreversíveis conferidas. Mensal: olhar a distribuição, ver se algum tipo de decisão cresceu sem explicação.
É o mesmo espírito do checklist de revisão de código: você não revisa tudo, revisa o que decide.
Resultado bonito não é prova de processo correto. É só resultado bonito.
A decisão é sua.
Perguntas frequentes
Perguntas rápidas
+Por que não basta conferir o resultado final?
Porque erro de critério gera resultado plausível. A saída fica no formato certo e completa, e o problema está na regra aplicada, que só aparece olhando o caminho e o motivo de cada decisão.
+Por onde começar a revisão?
Pelas ações irreversíveis e pelo que o agente decidiu não fazer. As irreversíveis são as que doem; as recusas revelam o critério dele melhor que os acertos.
+Devo revisar os primeiros casos processados?
Não só. Os primeiros costumam ser os mais simples e dão falsa segurança. Escolha casos ao acaso, incluindo os que fogem do padrão de tamanho ou formato.
+Com que frequência revisar depois que está estável?
Uma amostra pequena por semana, sempre. Regularidade detecta mudança de comportamento; auditoria grande e esporádica só detecta o estrago acumulado.
Continue lendo
Como documentar um sistema que a IA escreveu
Documentação longa ninguém escreve e ninguém lê. Existe uma versão curta que cabe em uma página e resolve 90% do problema, principalmente quando quem escreveu o código foi a IA.
VibecodingComo subir pra produção numa sexta sem medo
A regra de não subir na sexta existe porque o processo é ruim, não porque sexta é perigosa. Com quatro coisas no lugar, o dia da semana para de importar.
VibecodingO agente de código entrou no canal do time. Ver não é revisar
O Slack lançou canais onde agentes de IA programam na frente de todo mundo, com Claude, Copilot, Devin, ChatGPT e Vercel. É a melhor notícia de governança do ano e a maior armadilha de teatro de revisão.