37 Pesquisa Final e Portfólio de Gestão de IA
Este capítulo faz parte de um livro em desenvolvimento ativo e ainda não passou pela revisão do autor. O conteúdo pode mudar conforme a revisão avança.
A decisão de pesquisa. De tudo o que o seu projeto produziu, você decide quais alegações vai sustentar em público, e monta o registro que mostra como você comandou o seu time de IA, o que manteve nas suas próprias mãos e como cada alegação sobrevivente foi conferida.
37.1 Por que essa decisão importa
A decisão em jogo: sobre quais das suas alegações você aceita estar errado em público, e que registro você consegue mostrar de como conferiu cada uma delas.
“Na hora em que você se levantar para defender, eu não conto as suas ferramentas. Eu pergunto sobre quais alegações você aceita estar errado em público, e se você consegue me mostrar que conferiu cada uma delas você mesmo.” — uma examinadora de defesa, abrindo a pasta que você entregou
Você chega a este capítulo com um projeto inteiro atrás de você e uma coisa por fazer: reunir tudo em algo que você consiga defender em voz alta. Meses de trabalho assistido por IA deixam uma trilha de rascunhos, saídas de papéis e checagens pela metade. Largado numa pilha, nada disso é defensável. A examinadora não vai ler a pilha. Ela vai perguntar quais alegações são suas, onde cada uma para e como você sabe. Este capítulo é onde você decide essas respostas de propósito, antes que a sala as decida por você.
37.2 O conceito
A sua entrega final tem duas metades, e este capítulo constrói as duas.
Um portfólio de pesquisa é o corpo montado do seu trabalho terminado: as suas alegações, a evidência por trás delas e a verificação que torna cada uma defensável. Exemplo: em um projeto de laboratório, ele guarda o seu resultado principal, as medições por trás dele e a checagem que você fez para confirmar que o número está certo.
Ao lado dele vem um portfólio de gestão de IA, o registro honesto de como você comandou a sua equipe de IA da primeira curiosidade até a última checagem: quais tarefas você delegou, onde você retomou a decisão e quais chamadas você nunca entregou a uma ferramenta. Exemplo: ele mostra que um papel revisor redigiu as suas limitações, que você fez o override quando ele suavizou uma alegação que você não conseguia sustentar, e que só você escolheu o limite da alegação.
A decisão que fecha as duas metades é a sua regra de parada, uma declaração escrita do que “pronto” significa, formulada em torno da sua própria confiança verificada, e não da concordância das ferramentas. Exemplo: “eu paro quando consigo defender cada alegação sobrevivente diante de um revisor hostil com uma checagem que eu mesmo fiz”. Uma regra de parada do tipo “quando todos os papéis concordarem” é uma armadilha, porque uma equipe de ferramentas parecidas entre si pode concordar em alto e bom som e estar errada junto.
Essa armadilha tem um nome do qual você vai se proteger: consenso falso, concordância que existe só porque as ferramentas dividiam um ponto cego ou porque você fez uma pergunta indutora. Exemplo: você pede a três revisores para “confirmar que o meu rascunho está pronto”, e os três obedecem, então o coro não diz nada. A cura é uma checagem de independência, um passo que faz a concordância valer mais do que uma contagem de votos: uma checagem que você faz por conta própria, fora das ferramentas.
Tudo isso termina em uma defesa de evidências, uma defesa pública e curta das suas alegações nos limites delas, seguida de perguntas para as quais você não consegue ensaiar. Exemplo: você diz o que encontrou, nomeia exatamente o que não afirma e responde a cada pergunta a partir do seu próprio registro.
37.3 Um exemplo trabalhado
Imagine um pequeno projeto de biologia vegetal. Você testou quantas sementes de um pacote de alface de fato brotam, usando um teste de germinação, um método padrão em que você espalha um número contado de sementes sobre papel úmido, com calor e luz constantes, e depois conta quantas brotaram ao fim de um número fixo de dias. Três bandejas de 50 sementes cada deram uma média de 88% de germinação. Agora você escolhe a alegação que vai defender.
Você roda três papéis revisores de IA sobre o seu rascunho. Um papel revisor elogia a sua frase de destaque, “Semente de alface germina a 88%”. Um papel diagnosticador sinaliza essa mesma frase por ir além da sua evidência: você testou um pacote em três bandejas, não semente de alface em geral. Essa discordância é um presente, porque aponta direto para a decisão de limite. Você retoma a caneta e reescreve a alegação para o que os seus dados sustentam: “Este pacote, testado em três bandejas de 50 sementes, teve média de 88% de germinação, com as bandejas variando de 84% a 92%”. A frase mais estreita é a que você vai defender.
Depois você faz uma checagem de independência que as ferramentas não conseguem forjar. O próprio rótulo do pacote declara uma taxa de germinação de 85%, então você compara os seus 88% com esse valor na mão. Os dois números ficam próximos, e isso é uma tranquilidade real, porque o rótulo nunca fez parte do seu fluxo de trabalho com IA. A sua regra de parada agora está satisfeita, então você para. Para dentro do portfólio de gestão de IA vão quatro coisas: os papéis que você rodou, o conflito entre revisor e diagnosticador e o seu override, esta regra de parada, e a comparação com o rótulo que fez a concordância dos seus revisores valer mais do que uma contagem de votos.
37.4 O laboratório no Colab
Este capítulo tem o seu próprio notebook companheiro — abra-o no Colab pelo selo acima. O notebook reúne os prompts e o código do capítulo e termina com o espaço de trabalho Agora é a sua vez, para você completar a etapa do capítulo no seu projeto sem sair do Colab. O laboratório completo de sala de aula por trás deste capítulo é o notebook do curso nb16 — Managing multiple AI agents + the final defense (abrir no Colab), parte do curso companheiro apresentado no apêndice Para instrutores. Lá você liga uma equipe executor–crítico, roda uma simulação com semente fixa mostrando que quatro revisores parecidos entre si deixam passar uma falha real muito mais vezes do que quatro independentes, e depois redige as quatro partes do seu próprio portfólio e prepara a sua defesa de evidências.
37.5 Prompts de IA recomendados
Comprometa-se primeiro com a sua própria resposta, depois delegue. Cada prompt entrega alcance à ferramenta, não a decisão, e cada um abre um loop em vez de terminar em uma resposta única: você lê o que volta, aperta na parte mais fraca e roda de novo. Fechar o loop é um movimento seu, não da ferramenta.
Localize a referência real.
Act as a research assistant in plant biology. I measured the germination rate of one
packet of lettuce seed. I want a published or label-stated reference value to compare
against. Give the value, the exact source it comes from, and a link. Only state a
figure you are confident is real; if you are unsure, say so and tell me where to
look.Depois de rodar, verifique: abra a fonte ou leia o pacote você mesmo antes de confiar no número (leitura da fonte primária). Combate a fabricação confiante, um valor de referência citado com uma fonte inventada.
Liste todas as alegações a verificar.
Here is my draft: [paste]. List every empirical claim in it as a table: the claim,
the number or measurement it rests on, and whether that claim stays inside my single
sample or reaches past it. Do not add any new claims.Depois de rodar, verifique: confira a tabela contra a sua própria lista do que você mediu, e confirme que nada vai além dos seus dados sem estar marcado. Combate a ilusão de completude, uma lista arrumadinha que omite a única alegação que exagera em silêncio.
Faça red team (revisão adversária) da defesa.
Act as a hostile but fair cross-examiner at a research defense. Here is my headline
claim, its boundary, and my two weakest verification steps: [paste]. Ask me the five
hardest questions you can, each tied to a specific claim or check. Do not soften them,
and do not answer them for me.Depois de rodar, verifique: se toda pergunta for gentil ou se a sua alegação for chamada de “bem sustentada”, insista e exija o elo mais fraco. Combate a concordância bajuladora, um parceiro que ensaia o seu ego em vez da sua defesa.
As ferramentas podem redigir, revisar e trazer perguntas difíceis. Elas nunca podem decidir quais alegações levam o seu nome, onde uma alegação como “88% de germinação” precisa parar, se os seus revisores chegaram a ser independentes, qual é a sua regra de parada, nem uma única palavra da defesa pública. Quando papéis concordantes abençoam uma alegação, decidir se essa concordância é real ou apenas correlacionada é tarefa sua. E também é sua a resposta que você dá quando a sala pergunta como você sabe.
37.6 Um caso de falha da IA
Você manda o seu rascunho pronto para três papéis revisores e pede a cada um que “confirme que está pronto para submissão”. Os três devolvem o mesmo veredito: “Parece sólido, nenhum problema grave”. Parece três confirmações. É uma. Os três papéis rodam sobre o mesmo modelo-base, você deu a eles o mesmo prompt indutor, e eles dividem um ponto cego: nenhum sinaliza que o seu número de destaque não carrega incerteza nenhuma, nenhuma faixa entre as suas três bandejas. Isso é consenso falso, e confiar nele mandaria um resultado exagerado para dentro da sua defesa.
Você pega o erro com um reenquadramento e uma checagem que as ferramentas não enxergam. Primeiro você abandona o pedido indutor e faz um neutro: “Liste as três alegações mais fracas deste rascunho e por quê”. Agora um papel nomeia a faixa que falta. Depois você sai das ferramentas por completo e recalcula você mesmo a dispersão entre as suas bandejas, o que entrega o limite de 84% a 92% que todos os revisores pularam. A lição é direta: a concordância vale apenas o tanto de independência que existe por trás dela. Conte as checagens que você mesmo fez, nunca os papéis que balançaram a cabeça.
37.7 Agora é a sua vez
O seu projeto já tem uma nota, uma cápsula, um time de IA gerenciado e regras de escalonamento que você escreveu; este último passo reúne tudo isso no artefato que você entrega e na defesa que você faz.
- Termine o artefato de pesquisa em si: o seu artigo, a sua nota ou o seu pôster, com cada alegação enunciada no seu limite e a sua incerteza na mesma frase do seu número de destaque. Este é o documento que leva o seu nome.
- Monte o seu portfólio de gestão de IA em quatro partes: a decomposição dos loops que você rodou, um conflito real e o override que você fez, com a checagem sem IA que o sustentou, a sua regra de parada junto da sua lista do que nunca se delega, e uma checagem de independência que fez uma concordância valer mais do que uma contagem de votos.
- Escreva a sua regra de parada como uma frase que você conseguiria ler em voz alta, formulada em torno do que você verificou, e não do que as suas ferramentas aprovaram. “Cada alegação sobrevivente tem uma checagem que eu mesmo fiz” é uma regra de parada. “Os revisores concordaram” não é.
- Ensaie a defesa em três movimentos: a sua alegação e o limite dela, a escolha central que você fez e o caminho que você não seguiu, e a verificação com que você abre. Depois peça a alguém que faça a pergunta que você menos quer ouvir.
- Releia o artefato inteiro contra o seu AI Research Ledger (registro de pesquisa com IA) e corte tudo o que você não consegue rastrear até uma checagem. O que sobrar é o que você consegue defender.
- Feche o registro com a última entrada, e verifique a sua alegação de destaque uma última vez com um método nomeado do Guia de Verificação. Um revisor de IA pode rodar a checagem com você; a decisão de aceitar ou rejeitar continua sendo sua.
É isso, o livro inteiro. Você começou com uma curiosidade que ainda não sabia responder, e agora tem uma pesquisa terminada, um registro de cada ferramenta que a tocou e um conjunto de alegações que você consegue defender nas bordas. As ferramentas foram rápidas. O julgamento foi seu do começo ao fim, e é essa parte que faz do trabalho o seu trabalho.