3 Especificar, Delegar, Interrogar, Inspecionar, Verificar, Documentar, Defender
Este capítulo faz parte de um livro em desenvolvimento ativo e ainda não passou pela revisão do autor. O conteúdo pode mudar conforme a revisão avança.
A decisão de pesquisa. Toda vez que você entrega um trabalho a uma ferramenta de IA, você decide o caminho que esse trabalho vai seguir: o que você fixa antes de perguntar, o que você abre e lê quando a resposta chega, e o que você está disposto a dizer com as suas próprias palavras no fim. A sua decisão neste capítulo é parar de improvisar esse caminho e rodar a mesma lista de sete etapas toda vez.
3.1 Por que essa decisão importa
A decisão em jogo: se cada delegação é improvisada, ou passa pela mesma lista fixa todas as vezes.
“Me mostre a comparação, não o número. Quem viu cada versão, em quais dias, e medida contra o quê? Um ganho que eu não consigo reproduzir é boato.” — quem lidera a área de analytics, lendo a alegação de que uma nova página de finalização de compra converte melhor
Uma ferramenta hoje escreve o código, roda o código e te entrega um resultado organizado em um só fôlego. É exatamente por isso que um hábito frouxo é perigoso. Se você cola o resultado direto no seu trabalho, você importou um palpite e assinou o seu nome embaixo. Quem revisa não liga para o quanto o resultado soou confiante. Essa pessoa liga para uma pergunta só, e é a pergunta que todo leitor sério do seu trabalho vai acabar te fazendo:
O que você montou, o que você entregou, e como você conferiu antes de acreditar?
Este capítulo te dá um hábito que responde a essa pergunta toda vez, para que você nunca precise reconstruir a resposta de memória.
3.2 O conceito
O SDIIVDD é uma lista de checagem: sete etapas que você roda toda vez que entrega trabalho de pesquisa a uma ferramenta de IA, sempre na mesma ordem, por menor que a tarefa pareça. Um protocolo é apenas uma sequência fixa de passos que você executa toda vez, para nunca pular a checagem que importa. Você já conheceu a forma curta de três palavras no Capítulo 1: Pergunte, depois Verifique, depois Documente. O SDIIVDD é essa forma curta aberta nas etapas que você de fato executa, e o nome é só a primeira letra de cada uma, em inglês: Specify, Delegate, Interrogate, Inspect, Verify, Document, Defend.
Rode a lista como um piloto roda a checagem pré-voo. Não porque você esqueceu como voar, mas porque o item que você teria pulado é justamente o que morde.
As sete etapas, cada uma definida uma vez, com um exemplo:
- Especificar. Escreva a tarefa exata e a sua própria resposta esperada antes de perguntar. Exemplo: “comparar a conversão da página de finalização antiga com a da nova; espero que a nova ganhe por alguns por cento, não pela metade, e as duas versões precisam ser medidas nos mesmos dias”.
- Delegar. Entregue à ferramenta o pedaço bem especificado. Delegar é atribuir um bloco de trabalho conferível, não o seu julgamento. Exemplo: “puxe os valores do índice de preços ao consumidor de 2019 e 2025 e escreva o código que converte os meus preços em dólares de 2025”.
- Interrogar. Pergunte ao rascunho o que ele pressupõe. Exemplo: “quando você reporta o comparecimento eleitoral, o denominador são as pessoas registradas para votar ou toda a população adulta em idade de votar?”.
- Inspecionar. Leia o que a ferramenta de fato produziu, não o resumo que ela faz de si mesma. Exemplo: abra o script de análise e veja quais poços ela trata como controle, em vez de confiar no comentário que diz que os controles foram excluídos.
- Verificar. Confirme o resultado com uma checagem real e independente antes de confiar nele. Exemplo: recalcule à mão a correção pela inflação a partir dos dois valores publicados do índice e veja se você chega ao mesmo número.
- Documentar. Registre a ferramenta, a tarefa, o prompt e como você conferiu, em um documento que viaja junto com o seu trabalho. Exemplo: uma linha do registro dizendo que a ferramenta escreveu o script de conversão e que você rederivou à mão a taxa de uma das semanas.
- Defender. Enuncie o resultado com as suas próprias palavras, com a ferramenta fora da sala. Exemplo: “o comparecimento foi seis pontos maior nessas seções eleitorais, entre as pessoas registradas para votar, nesta única eleição”.
Duas dessas sete continuam humanas por melhor que a ferramenta fique: Especificar (etapa 1) e Defender (etapa 7). Elas são os apoios humanos nas duas pontas, e tudo o que você entrega fica em segurança entre elas. É isso que faz delas decisões que nunca se delegam, as escolhas que você sempre carrega: o que você está realmente perguntando, o que conta como um teste justo, e o que a sua evidência autoriza você a alegar. Uma ferramenta pode rodar a comparação por você. Só você decide que a comparação foi justa o bastante para ser reportada.
3.2.1 O loop, e quem o está rodando
O meio da lista não é uma linha reta. O trabalho real com IA acontece em um loop de IA: você faz o prompt, lê o resultado, interroga o resultado, refina o prompt ou o código, e roda de novo. As etapas 2 a 5 são esse loop, e uma única tarefa pode te mandar dar cinco voltas nele. Dar voltas não é sinal de que você está fazendo errado. Um primeiro resultado que não precisa de uma segunda passada é raro o bastante para você desconfiar um pouco dele.
O que é novo é que a ferramenta agora consegue rodar o loop sem você. Ferramentas agênticas planejam a tarefa, escrevem o código, executam, leem o próprio erro, reescrevem e rodam de novo, muitos ciclos adiante, e depois te entregam um único resultado limpo. Isso é um ganho real de alcance. Também significa que toda a interrogação e toda a inspeção que você teria feito entre os ciclos nunca aconteceram, a menos que você tenha exigido.
O SDIIVDD é como você mantém o comando dos dois jeitos. Quando você roda o loop, a lista te diz o que fazer a cada passada. Quando a ferramenta roda o loop, a lista te diz a que você deve submetê-la: uma especificação escrita antes do primeiro ciclo, o trabalho intermediário aberto e lido em vez de resumido, e uma checagem independente do número final, antes de você dizer qualquer coisa em seu próprio nome. Os ciclos podem ser automatizados. Os apoios das pontas não.
O ciclo também é onde a IA se paga como parceira de brainstorm: peça a ela perguntas candidatas, explicações rivais, desenhos que você não tinha considerado. Gere amplamente com ela; a escolha continua sua.
3.2.2 A mesma lista, em 126.000 conversas
Uma equipe de pesquisa do Wharton Generative AI Labs perguntou se as táticas comuns de persuasão humana funcionam com um chatbot. Um apelo à autoridade, ou um lembrete de que todo mundo já concordou, conseguiria levar um modelo a atender um pedido que ele foi construído para recusar?
A resposta de um modelo não é a mesma duas vezes, então resolver essa pergunta exige rodar cada prompt centenas de vezes e comparar taxas em vez de casos isolados. A equipe construiu uma ferramenta para fazer as rodadas. No primeiro estudo, no começo de 2025, eles a operaram pela interface web: escrever a versão simples de um pedido, escrever a versão persuasiva, dizer como uma resposta deve ser julgada, definir quantas vezes rodar cada uma, e então ler os resultados. Aquele estudo cobriu 28.000 conversas com um único modelo.
Para a continuação, eles descreveram o experimento para um agente de programação de IA em linguagem comum e deixaram que ele conduzisse a ferramenta. O agente ofereceu formas diferentes de redigir uma condição, rodou pilotos, mandou o desenho inteiro para três modelos ao mesmo tempo, e leu as respostas cruas de volta para sinalizar as que fugiam do padrão. O estudo publicado relata 126.000 conversas, e as táticas de persuasão elevaram a taxa de atendimento de cerca de 35 por cento para cerca de 51 por cento.
Olhe para quais etapas trocaram de mão. Configurar as rodadas, lançá-las em paralelo e dar a primeira passada nas transcrições: tudo delegado. Escrever o pedido simples, escrever o persuasivo e decidir o que conta como o modelo atendendo: nunca delegado, em nenhuma das duas versões do estudo. O resumo que a própria equipe faz do que permaneceu em suas mãos nomeia a primeira e a última etapa deste capítulo. Quem pesquisa, escreve a equipe, “continua tomando as decisões científicas, determinando que pergunta vale a pena fazer, o que conta como uma comparação justa, e se os resultados são significativos”.
Uma coisa que esse caso não mostra é que o agente tenha deixado a ciência melhor. Ele deixou a ciência maior: mais conversas, mais modelos, mais transcrições efetivamente abertas. Se a comparação foi justa, e se 51 por cento significa o que parece significar, isso continua nas mãos das sete pessoas cujos nomes estão no artigo. Escala não é rigor, e uma especificação que você errou fica mais cara quanto mais rápido ela roda.
O estudo: Lennart Meincke, Dan Shapiro, Angela Duckworth, Ethan R. Mollick, Lilach Mollick, Christophe Van den Bulte e Robert Cialdini, “Persuading large language models to comply with objectionable requests”, PNAS, 2026, doi:10.1073/pnas.2535868123. O relato da equipe sobre o trabalho com o agente de programação: “Prompting Research Itself”, Wharton Generative AI Labs, 2026.
3.3 Um exemplo trabalhado
Você está conferindo se uma nova página de finalização de compra de uma pequena loja on-line converte de fato melhor do que a antiga. A taxa de conversão é a fração das visitas que termina em compra, então 40 compras em 1.000 visitas são 4 por cento. Veja a lista rodando.
Especificar. Você escreve primeiro a sua expectativa: “a nova página deveria ganhar por alguns por cento no máximo, e as duas versões precisam ser medidas nos mesmos dias, com o mesmo tipo de cliente”.
Delegar. Você pede à ferramenta que escreva o script que calcula a taxa de conversão de cada versão a partir do registro de sessões e reporta a diferença.
Interrogar. Você pergunta: “o que o seu cálculo pressupõe sobre quem viu cada versão?”. Ela admite que juntou todas as sessões do arquivo.
Inspecionar. Você lê o script e depois os dados. A loja fez uma promoção em todo o site na primeira semana, o que encheu a loja de caçadores de promoção que navegam e vão embora. A nova página só entrou no ar na segunda semana. O script cobrou da versão A uma semana inteira de gente que só olha a vitrine, e que a versão B nunca viu.
Verificar. Você restringe as duas versões à segunda semana, quando elas rodaram lado a lado, e recalcula. Você também confirma que as duas versões contam uma compra da mesma maneira.
Documentar. Você registra o prompt, a correção e os números verificados.
Defender. Você escreve: “entre os clientes que viram uma das duas versões durante os cinco dias em que ambas estavam no ar, a nova página converteu cerca de 6 por cento melhor. Eu não a testei durante uma promoção, e não olhei o tráfego de celular separadamente”.
A ferramenta fez a digitação. Você fez a pesquisa.
3.4 O laboratório no Colab
Este capítulo tem o seu próprio notebook companheiro — abra-o no Colab pelo selo acima. O notebook reúne os prompts e o código do capítulo e termina com o espaço de trabalho Agora é a sua vez, para você completar a etapa do capítulo no seu projeto sem sair do Colab. O laboratório completo de sala de aula por trás deste capítulo é o notebook do curso nb01 — Research in the age of AI: your arm, your RA, not your brain (abrir no Colab), parte do curso companheiro apresentado no apêndice Para instrutores. Lá você roda o protocolo ao vivo: pega uma citação fabricada recuperando-a você mesmo, e depois pega um resumo confiante que exagera um número que os dados nunca tiveram. Os dois são as etapas Inspecionar e Verificar sob pressão real.
3.5 Prompts de IA recomendados
Comprometa-se primeiro com a sua própria resposta, e só então delegue. Cada prompt abaixo é um serviço conferível, não um pedido de veredito, e cada um é o movimento de abertura de um loop, não a conversa inteira.
Localize o método padrão.
Act as a business-analytics assistant. I need to compare conversion rates for two
versions of a checkout page. Before any code, name the standard statistical test
for comparing two proportions and the exact library function that implements it,
citing the official documentation section. Only name functions you are confident
exist.Depois de rodar, verifique: abra a documentação oficial e confirme que a função e os seus padrões existem. Combate a fabricação confiante (um nome de função inventado chega com a mesma confiança de um real).
Delegue, com uma lista de checagem para verificar.
Write the script that computes the conversion rate for version A and version B
from this session log. Then return a table of every assumption your calculation
makes: which sessions are included and excluded, how you count a purchase, whether
both versions ran over the same days, and how repeat visits are handled.Depois de rodar, verifique: recalcule à mão a taxa de uma das versões em um único dia e confira se bate. Combate o método plausível mas errado (um cálculo que, sem alarde, compara condições desiguais).
Faça o red team (revisão adversária) do seu ganho.
Here is my claim: "the new checkout page converts about 6 percent better."
Act as a hostile reviewer. Name every way this comparison could be unfair or this
number could mislead. Do not rewrite the claim for me.Depois de rodar, verifique: se a ferramenta só elogiar a alegação, conteste e exija o pior defeito, um só. Combate a concordância bajuladora (elogio que revisa o seu ego, não a sua evidência).
Especificar e Defender nunca saem das suas mãos. Você decide que pergunta a comparação responde, o que conta como uma comparação justa e se os dados por trás dela são honestos para a alegação que você quer fazer. A frase final, o limite dela e a incerteza dela são seus. A ferramenta consegue calcular as taxas, mas não consegue decidir que o teste foi justo ou que a alegação foi conquistada. Isso é seu.
3.6 Um caso de falha da IA
Você pede a análise e a ferramenta reporta, com toda a confiança: “a nova página de finalização converte 50 por cento melhor”. O número está errado, e o código que o produziu roda sem um único erro. Aqui está a armadilha: o script juntou todas as sessões do registro. Os números da página antiga incluem a semana de promoção, quando o site estava cheio de caçadores de oferta que nunca pretenderam comprar, e a página nova só passou a existir depois. A comparação cobrou de uma versão uma multidão que a outra nunca conheceu.
Você pega isso em Inspecionar e Verificar. Ler o script mostra que ele nunca filtra por data. Restringir as duas versões aos dias em que elas de fato rodaram lado a lado derruba os “50 por cento” para algo em torno de 6. Um sinal verde não é um resultado correto. Você verifica o número, não o parágrafo sobre o número.
3.7 Agora é a sua vez
Você já tem uma lista de tarefas que diz o que você está disposto a delegar. Agora você delega algo de verdade, e mantém o comando do primeiro ao último passo.
- Escolha uma alegação genuína e conferível da sua própria área: uma taxa, um total, uma comparação, qualquer coisa que uma fonte ou um cálculo consiga resolver. Escreva-a como uma única frase.
- Especificar. Antes de abrir qualquer ferramenta, escreva a sua própria resposta esperada e como seria uma maneira justa de chegar até ela.
- Delegar, Interrogar, Inspecionar. Entregue a tarefa. Pergunte ao resultado o que ele pressupõe. Depois abra o que ele de fato produziu, a fonte, o código ou a tabela, em vez do resumo que ele faz de si mesmo. Espere várias passadas por esse loop, e anote o que mudou em cada uma.
- Verificar. Rode uma checagem independente. Se a checagem e o resultado discordarem, não tire a média dos dois; descubra qual deles está errado.
- Defender. Com a ferramenta fechada, escreva uma frase enunciando o resultado com as suas próprias palavras, e uma frase nomeando o que ele não estabelece.
- Documente a corrida inteira no seu AI Research Ledger (o registro de uso de IA), nomeando o método de verificação que você usou do Guia de Verificação e a etapa em que você pegou algo que a ferramenta errou. Uma IA revisora pode rodar a checagem com você; a decisão de aceitar ou rejeitar continua sendo sua.