22 Diagnósticos e Testes Negativos
Este capítulo faz parte de um livro em desenvolvimento ativo e ainda não passou pela revisão do autor. O conteúdo pode mudar conforme a revisão avança.
A decisão de pesquisa. Você decide de qual teste negativo o seu desenho de pesquisa realmente precisa, uma verificação apontada para um lugar onde a resposta tem de ser zero, e decide o que uma passagem limpa autoriza e não autoriza você a dizer. Escolher o teste é a pesquisa. Rodá-lo é a parte fácil.
22.1 Por que essa decisão importa
A decisão em jogo: qual verificação apontada para um zero garantido você roda, e o que passar nela lhe rende.
“Antes de me dizer que o extrato funciona, me mostre a placa sem extrato nenhum. Se o disco em branco também limpou as bactérias, você não descobriu um medicamento. Você descobriu que o seu solvente é tóxico.” — uma orientadora de laboratório de microbiologia, sobre a primeira placa que ela pede para ver
Um resultado impressionante é a coisa mais fácil do mundo de se produzir por acidente. O seu procedimento tem muitas peças móveis: como você manuseou as amostras, como mensurou, como codificou os grupos. Qualquer uma delas pode fabricar um sinal que não tem nada a ver com aquilo que você se propôs a estudar. Um teste negativo é como você descobre se foi o mundo que produziu o seu resultado ou se foi o seu próprio pipeline. Pule esse teste e você pode passar meses defendendo um artefato.
22.2 O conceito
Um teste negativo é uma verificação que roda a sua análise exata em uma situação em que a resposta verdadeira tem de ser zero, de modo que qualquer sinal que ela devolva vem do seu procedimento, não do fenômeno. Exemplo: mensurar o seu “efeito” em um grupo que não recebeu tratamento nenhum. Como a resposta honesta ali é zero, uma leitura diferente de zero expõe uma falha na sua maquinaria. Três membros dessa família aparecem em quase toda auditoria.
- Teste placebo: você substitui a causa real por uma falsa, que não pode agir, e confirma que o efeito desaparece. Exemplo: troque os rótulos reais de tratamento e controle por um cara ou coroa e confira se a estimativa desaba na direção do zero.
- Teste de falsificação: você confere uma consequência que precisa ser falsa se a sua explicação estiver certa, e confirma que ela é falsa. Exemplo: o seu composto só pode agir depois de você adicioná-lo, então uma leitura feita antes de adicioná-lo não deveria mostrar nada.
- Controle negativo: você aponta a mesma maquinaria para um resultado que a sua causa não teria como tocar. Exemplo: um antibiótico não deveria mudar o diâmetro da placa de ágar, então uma leitura de “placa encolhendo” significaria que quem está falando é a mensuração, não o medicamento.
Um termo merece linha própria. Um controle de veículo é o controle negativo combinado com o modo como você entregou a causa: o veículo com o ingrediente ativo deixado de fora. Exemplo: se você dissolveu o seu extrato em etanol, o controle de veículo é um disco embebido apenas em etanol. O que cada um desses testes caça é um artefato, um sinal produzido pelo seu procedimento em vez de pela coisa que você estuda. Exemplo: um anel transparente causado pelo solvente, não pelo extrato.
Ao lado deles fica o diagnóstico mais barato da pesquisa, a verificação deixando um caso de fora: remova cada caso por vez, recalcule e veja se uma única observação está carregando em silêncio o seu achado inteiro. Ela responde a uma pergunta diferente da de um teste negativo. O teste negativo pergunta se o seu procedimento inventa sinal. Deixar um caso de fora pergunta se o seu resultado se apoia em um único ponto.
Os testes negativos compartilham um mesmo movimento: apontar a maquinaria para onde a resposta tem de ser zero e garantir que ela diga zero. Aqui está o limite que você nunca pode borrar. Um teste negativo aprovado descarta um artefato específico. Ele não prova que o seu efeito é real, e nunca transforma uma correlação em causa.
22.3 Um exemplo trabalhado
Você testa se o extrato de uma planta medicinal mata uma bactéria comum. Você embebe um pequeno disco de papel no extrato, o deposita sobre um tapete de bactérias crescendo em uma placa de ágar, incuba durante a noite e, na manhã seguinte, mede o halo de inibição, o anel transparente onde as bactérias não conseguiram crescer em volta do disco. Um anel largo parece um efeito antibacteriano real, e é tentador anotar isso.
Antes de anotar, você roda o teste negativo. Você dissolveu o extrato em etanol 70%, então o seu controle de veículo é um disco embebido apenas em etanol 70%, colocado em uma placa idêntica e tratado exatamente do mesmo jeito. Se esse disco deixar o tapete inteiro, sem inibição, o teste passou: o etanol sozinho não fez nada, então o anel em volta do disco com extrato não é um artefato do solvente, e o seu efeito sobrevive a uma preocupação específica. Se o disco de veículo criar o próprio anel transparente, o teste falhou. O etanol está matando as bactérias, e você já não consegue dizer quanto do anel do extrato é extrato e quanto é solvente. O achado é um artefato até você refazê-lo em uma concentração menor.
Repare no que uma passagem limpa ainda assim não lhe compra. Ela não diz que o extrato funciona dentro de um animal vivo, nem qual molécula é a responsável. Ela descartou um artefato e nada mais, e essa modéstia é o ponto.
22.4 O laboratório no Colab
Este capítulo tem o seu próprio notebook companheiro — abra-o no Colab pelo selo acima. O notebook reúne os prompts e o código do capítulo e termina com o espaço de trabalho Agora é a sua vez, para você completar a etapa do capítulo no seu projeto sem sair do Colab. O laboratório completo de sala de aula por trás deste capítulo é o notebook do curso nb10 — Share the research + attack the analysis (abrir no Colab), parte do curso companheiro apresentado no apêndice Para instrutores. Lá você roda um teste placebo sobre uma estimativa real de survey: você joga fora o agrupamento verdadeiro, o substitui por um rótulo de cara ou coroa 500 vezes e vê as diferenças falsas se aglomerarem bem juntinho no zero, enquanto o resultado real fica bem longe dessa nuvem. Depois uma verificação deixando um caso de fora mostra se um único ponto de dados está carregando em silêncio o achado inteiro.
22.5 Prompts de IA recomendados
Comprometa-se com a sua própria expectativa primeiro, depois delegue uma tarefa conferível. Espere trabalhar em ciclos: propor, interrogar, refinar, perguntar de novo. Um julgamento, porém, nunca melhora com um novo prompt: se o seu controle é genuinamente nulo. Isso você resolve uma vez só, a partir do mecanismo, e nenhuma quantidade de voltas resolve por você.
Localize o controle padrão.
Act as a lab-methods assistant. I ran an antibiotic disk-diffusion assay with a
plant extract dissolved in 70% ethanol. Before any advice, name the standard
negative (vehicle) control for this assay and cite a protocol or textbook where it
appears. Only name controls you are confident are standard practice.Depois de rodar, verifique: abra o protocolo citado e confirme que o controle é real e padrão antes de usá-lo. Contra-ataca a fabricação confiante (um controle “padrão” inventado chega com a mesma confiança de um real).
Liste testes negativos candidatos e depois verifique cada um.
Here is my analysis: [one-sentence design, your cause, your outcome]. Propose three
negative tests: a placebo label, a falsification outcome measured where the effect
cannot yet exist, and a negative-control outcome my cause could not plausibly affect.
Para cada um, nomeie a quantidade que é verdadeiramente zero, diga que leitura contaria
como comum no meu tamanho de amostra e qual seria grande o bastante para preocupar, e
diga se a checagem conseguiria detectar um artefato grande o bastante para importar.Depois de rodar, verifique: para cada teste, confirme que a sua causa genuinamente não pode tocar o controle negativo. Um controle que a sua causa consegue afetar não é nulo, e ele falha em silêncio. Contra-ataca o método plausível mas errado (um “controle negativo” que não é de fato zero).
Faça o red team de uma passagem limpa.
Here is a negative test I ran and its result: [describe the control and its
near-zero outcome]. Act as a hostile reviewer. Name every reason this test could
read as zero for the WRONG reason: too few samples to detect anything, a control too
weak to carry the artifact, a zero I would have gotten no matter what. Do not reassure me.Depois de rodar, verifique: se ela apenas elogiar o resultado limpo, insista e exija a única maneira pela qual o teste é não informativo. Contra-ataca a concordância bajuladora (elogio que revisa o seu alívio, não a sua evidência).
Você decide de qual teste negativo o seu desenho de pesquisa realmente precisa, se o controle é genuinamente nulo (um lugar que a sua causa de fato não alcança) e o que uma passagem limpa autoriza você a alegar. Uma ferramenta pode listar controles candidatos, mas só você conhece o mecanismo bem o bastante para atestar que a sua causa não toca o que você escolheu. O julgamento de que um teste negativo aprovado descarta um artefato sem provar que o seu efeito é real continua sendo seu.
22.6 Um caso de falha da IA
Você pede a uma IA que desenhe um controle negativo para o seu ensaio com etanol. Ela responde, com total confiança, “use um disco embebido em água estéril”. Você roda, o disco de água volta perfeitamente limpo, e a conclusão arrumadinha se escreve sozinha: controle aprovado, efeito confirmado. Aqui está a armadilha. Água não é o veículo que você usou. Você entregou o extrato em etanol, então o artefato que precisava descartar era a toxicidade do etanol, e um disco de água nunca conseguiria mostrá-la. O resultado limpo não descartou absolutamente nada.
Você pega isso com uma pergunta que a ferramenta nunca fez a si mesma: qual artefato este controle de fato descarta? Um controle de veículo válido combina com o modo como você entregou a causa, solvente por solvente. No instante em que você vê o descompasso, troca a água por etanol 70% e roda o teste que pode genuinamente falhar. Isso é um método plausível mas errado: o conselho soava como prática de livro-texto e estava errado para o seu caso.
22.7 Agora é a sua vez
Seu projeto tem uma estimativa principal com um intervalo em volta. Este passo aponta duas verificações para lugares onde a resposta tem de ser zero, para você descobrir se foi o mundo que produziu o seu resultado ou o seu próprio pipeline.
- Nomeie o artefato que mais lhe assusta: a maneira pela qual o seu procedimento, e não o seu objeto de estudo, poderia ter fabricado o seu resultado. Uma frase, escrita antes de você sair procurando.
- Escolha o teste negativo capaz de pegá-lo, seja um rótulo placebo, um resultado de falsificação mensurado onde o efeito ainda não pode existir, ou um controle negativo que a sua causa não teria como tocar. Depois confirme que o controle é genuinamente nulo. Se a sua causa alcança esse controle, não é um teste negativo e ele vai falhar em silêncio.
- Escreva o zero exato que você espera antes de rodar qualquer coisa, e comprometa-se a relatar o resultado dê no que der.
- Rode um diagnóstico ao lado dele. Deixar um caso de fora é o mais barato: remova cada caso por vez, recalcule e descubra se uma única observação está carregando o seu achado.
- Registre o que você obteve contra o que previu e, se a estimativa se moveu, diga em quanto. Depois escreva o seu limite em uma linha: o artefato que essa passagem descarta, e a alegação causal ou geral que ela ainda assim não estabelece.
- Registre os dois testes no seu AI Research Ledger (registro de pesquisa com IA), e verifique pelo menos uma saída com um método nomeado do Guia de Verificação. A simulação é a ferramenta certa para um teste negativo: construa na mão um conjunto de dados em que nenhum efeito existe, rode nele a sua maquinaria de teste e confirme que ela devolve zero em dados sabidamente nulos antes de confiar no zero que ela devolveu nos seus. Uma IA revisora pode rodar a checagem com você; a decisão de aceitar ou rejeitar continua sendo sua.