10 Declarar e Diagnosticar um Desenho de Pesquisa
Este capítulo faz parte de um livro em desenvolvimento ativo e ainda não passou pela revisão do autor. O conteúdo pode mudar conforme a revisão avança.
A decisão de pesquisa. Se o desenho de pesquisa que você escreveu é forte o bastante para ser rodado, decidido antes de você coletar um único dado: você o simula, lê com que frequência ele acerta a verdade e nomeia a única mudança que mais o melhora. Depois você o roda, o conserta, ou reduz o que prometeu.
10.1 Por que essa decisão importa
A decisão em jogo: se este desenho é forte o bastante para ser rodado, julgado antes de você gastar qualquer coisa coletando dados.
Imagine uma metodologista da sua banca lendo o seu plano. Ela faz uma pergunta: “Com que frequência exatamente este desenho pegaria o efeito real se você o rodasse mil vezes?” Se a sua resposta é “eu nunca chequei”, ela para por aí. Um desenho pode ser lindo de ler, com uma pergunta afiada e uma comparação limpa, e mesmo assim voltar com “não há nada aqui” nove em cada dez vezes, ou pousar com confiança no número errado toda vez. Este capítulo permite descobrir isso barato, em simulação, para que os meses que você gastaria coletando dados condenados vão para um desenho que consegue de fato responder à sua pergunta.
10.2 O conceito
No capítulo 9 você construiu as quatro partes de um desenho. Este capítulo as põe à prova com um ciclo de três passos que o livro toma emprestado do RDSS (Research Design in the Social Sciences: Declare, Diagnose, Redesign).
Declarar significa escrever as quatro partes do seu desenho como algo que um computador consiga rodar: um modelo que gera dados falsos, uma indagação que ele consegue calcular sobre esses dados falsos, um plano de amostragem e de atribuição de condições, e uma regra para transformar dados em uma estimativa. Exemplo: código que inventa 40 compradores, joga uma moeda para dar a cada um a nova tela de finalização de compra, e subtrai as médias dos dois grupos.
Diagnosticar significa rodar esse desenho declarado muitas vezes sobre mundos simulados novos e observar como a estimativa dele se comporta. Exemplo: rodar o estudo do cara ou coroa 2.000 vezes e juntar as 2.000 estimativas. Três números começam a história dessa pilha, e cada um responde a uma preocupação diferente.
Viés é a média dos seus erros ao longo das rodadas, contando a direção: cada estimativa menos a verdade, tirada a média. Um desenho é não enviesado quando as estimativas dele se centram na resposta verdadeira. Exemplo: a verdade é 2, e cinco rodadas devolvem 0, 1, 2, 3 e 4. Os erros são -2, -1, 0, +1, +2, cuja média é zero, então o viés é zero mesmo com uma única rodada tendo caído no 2. A direção é o que separa o viés da simples distância: erros que se cancelam dizem que o desenho está bem mirado, enquanto erros que pendem todos para um lado dizem que ele está inclinado.
Variância é o quanto a estimativa balança de uma rodada para a outra. Exemplo: estimativas oscilando entre -5 e +9 em torno de um valor verdadeiro de 2 têm variância alta. Coletar mais dados do mesmo tipo, no mesmo desenho, normalmente reduz esse balanço. É o único problema que o tamanho resolve com confiança.
Poder é a frequência com que o desenho detecta um efeito real, e ele não significa nada até você dizer como decidiria. Um teste estatístico é a regra que você usa para decidir se os seus dados conflitam o bastante com “efeito nenhum” para chamar o resultado de real. Exemplo: no estudo da finalização de compra, uma regra de diferença de médias: declare um efeito quando a diferença entre os dois grupos passa de cerca de duas vezes o seu balanço típico entre rodadas. O limiar do teste é o quão exigente essa regra é, e ele se lê ao longo de repetições imaginadas: no ajuste usual de 5 por cento, um desenho cujo efeito verdadeiro é ZERO ainda gritaria “efeito” em cerca de 5 rodadas a cada 100. O limiar é uma propriedade da regra ao longo de muitas rodadas, nunca a chance de o seu achado específico ser falso. Exemplo: um desenho que passa nessa regra em 8 de 100 rodadas, quando o efeito verdadeiro é 2, tem 8% de poder, o que é quase inútil. O poder se move com tudo o que está na declaração: o teste, o limiar, o efeito que você plantou, o tamanho da amostra e como o mundo faz barulho. Relate o cartão inteiro ao lado do número.
Esses três não esgotam a pilha, e diagnósticos mais completos acrescentam outros. Dois valem conhecer pelo nome. A raiz do erro quadrático médio é o tamanho típico de um erro, com erros grandes pesando mais. Exemplo: no exemplo de cinco rodadas acima, a distância média simples é 1,2, mas a raiz do erro quadrático médio é cerca de 1,4, porque os dois erros de 2 pontos contam mais do que a sua parte. A cobertura é a frequência com que a faixa que você relata em volta da estimativa realmente contém a verdade. Exemplo: se você relata uma faixa feita para acertar 95 vezes em 100, a cobertura confere se ela acerta mesmo. Um desenho pode ser não enviesado e ainda errar feio toda vez, e é exatamente por isso que um número sozinho nunca é o diagnóstico inteiro. Um capítulo mais adiante constrói essas faixas direito; aqui basta saber que um diagnóstico pode perguntar por elas.
Redesenhar significa mudar exatamente uma parte em resposta ao diagnóstico, e diagnosticar de novo. Poder baixo por variância alta pede mais dados. Uma inclinação embutida no desenho, como quem acaba em qual grupo, pede um desenho diferente: mais dados tornam uma estimativa inclinada mais estável, não mais verdadeira.
10.3 Um exemplo trabalhado
Você trabalha com um supermercado online que quer saber se um botão de recompra em um toque, que reconstrói o último carrinho do comprador com um clique só, faz as pessoas passarem pela finalização de compra mais rápido. O seu desfecho é o tempo em segundos até concluir. O seu efeito verdadeiro, no mundo que você simula, é que o botão corta 8 segundos.
Você o declara: cria compradores cujos tempos de referência variam bastante, porque alguns navegam e outros correm; joga uma moeda para atribuir o botão; subtrai as médias dos dois grupos. Você diagnostica um piloto de 12 compradores por versão. O resultado dá o que pensar. O viés é próximo de zero, então o desenho mira certo, mas a dispersão é enorme porque os tempos individuais variam demais, e o poder volta abaixo de 10%. O desenho é honesto e inútil ao mesmo tempo. Ele aponta para o ganho de 8 segundos em média e quase nunca chega perto o bastante em uma rodada isolada para prová-lo.
Agora redesenhe. A variância é o problema, então você eleva a amostra para 400 por versão e diagnostica de novo. O poder salta acima de 90% e a dispersão encolhe em direção à verdade. Isso é variância curada por tamanho. Mas rode mais um desenho como alerta: tire o cara ou coroa e deixe os compradores optarem pelo botão novo por conta própria. Os compradores que optam são os frequentes e treinados, que já finalizam mais rápido de qualquer jeito, então o botão leva o crédito por uma velocidade que o hábito entregou. Esse desenho confundido é igualmente apertado com 400 por versão, e mesmo assim se centra em um ganho de 14 segundos em vez de 8, e nenhuma quantidade extra de dados o move. Essa diferença nomeia a última ideia. Um desenho aleatorizado consegue identificar o efeito do botão, ou seja, atribuir a diferença de tempo ao botão e descartar outras causas, enquanto o confundido mostra apenas uma associação, em que as duas coisas se movem juntas mas uma causa comum poderia explicar isso.
10.4 O laboratório em Colab
Este capítulo tem o seu próprio notebook companheiro — abra-o no Colab pelo selo acima. O notebook reúne os prompts e o código do capítulo e termina com o espaço de trabalho Agora é a sua vez, para você completar a etapa do capítulo no seu projeto sem sair do Colab. O laboratório completo de sala de aula por trás deste capítulo é o notebook do curso nb04 — The anatomy of a research design: MIDA + declare → diagnose → redesign (abrir no Colab), parte do curso companheiro apresentado no apêndice Para instrutores. No laboratório você declara o desenho de mentoria do notebook em poucas linhas de Python, roda-o milhares de vezes para ler o viés, a variância e o poder dele com os seus próprios olhos, e depois vê um redesenho salvar um estudo justo mas sem poder, enquanto um gêmeo confundido segue errado em qualquer tamanho de amostra.
10.5 Prompts de IA recomendados
Comprometa-se com a sua própria expectativa primeiro, depois delegue. Cada prompt abaixo deixa com você um rascunho que ainda precisa ser conferido. A simulação é onde o loop fica mais rápido e mais perigoso ao mesmo tempo: assistentes de código modernos escrevem o script, rodam, leem o erro e corrigem sem esperar por você, e vão alegremente convergir para um código que roda sem erro enquanto declara um desenho diferente do seu. Deixe a ferramenta ser dona da digitação. Continue dono do efeito verdadeiro que você planta e dos números que você lê.
Act as a simulation assistant. Here is my declared design in words:
[model, inquiry, data strategy, answer strategy]. Write the smallest Python
that builds a world where I set the true effect, runs the design many times,
and reports bias, variance, and power. List every assumption your code makes
about my design that I did not state.Depois de rodar, verifique (enfrenta o método plausível, porém errado): rode de novo com o efeito verdadeiro fixado em zero e confirme que ele “detecta” um efeito apenas com a frequência que o seu limiar de significância permite. Uma simulação que dispara com efeito zero está declarando um desenho diferente do seu.
Here is my diagnosed design and its numbers: [bias, variance, power]. List the
threats to any conclusion from one run as a table: threat, whether it is a
bias / variance / power problem, and the single redesign that reduces it most.Depois de rodar, verifique (enfrenta a ilusão de completude): confronte a tabela com o seu próprio diagnóstico impresso. O problema fatal que os seus números já provaram tem que ser a primeira linha; uma lista bem arrumada de seis ameaças que nunca o nomeia perdeu o ponto.
Argue against my claim that this design is strong enough to run. As a hostile
methodologist, name the one diagnosand I am most likely fooling myself about,
and the observation that would expose it.Depois de rodar, verifique (enfrenta a concordância bajuladora): se ela elogiar o desenho sem uma única objeção, descarte a resposta e diagnostique de novo você mesmo.
Três decisões continuam sendo suas. Qual mundo a sua pergunta pressupõe, o modelo que você declara, é uma afirmação sobre a realidade que nenhuma ferramenta faz por você. Qual quantidade única você nomeia como a sua indagação decide o que “sucesso” sequer significa. E a decisão honesta de rodar ou não um desenho que o seu próprio diagnóstico diz ser fraco demais é um julgamento que você assina. Uma IA pode propor ameaças e rascunhar código de simulação, mas não pode decidir que o seu estudo sem poder vale meses da sua vida mesmo assim.
10.6 Um caso de falha da IA
Você cola o seu desenho observacional confundido e pergunta: “Minha estimativa está ruidosa. O que eu faço?” A ferramenta responde com confiança: “Colete mais observações para apertar a sua estimativa.” Isso soa obviamente certo e é exatamente errado para o seu caso. O seu problema é viés por autosseleção, não variância, e mais dados só tornam uma estimativa enviesada um número errado mais preciso. Você pega isso do jeito que este capítulo ensina: rode o desenho confundido em simulação com amostra grande e veja as estimativas se aglomerarem bem em torno de 14 segundos quando a verdade é 8. A dispersão encolheu; o erro não. Essa é a falha plausible-but-wrong-method, e o seu próprio diagnóstico a desmascara.
10.7 Agora é a sua vez
Você tem quatro partes de desenho no papel. Este passo pergunta se elas sobreviveriam ao contato com o mundo, enquanto uma resposta ruim ainda sai de graça.
- Declare o seu desenho como algo que pode ser rodado. Se você sabe programar, escreva o menor script que constrói um mundo em que você fixa o efeito verdadeiro, sorteia a sua amostra, aplica a sua estratégia de resposta e imprime uma estimativa. Se você ainda não sabe programar, declare em palavras precisas o bastante para que outra pessoa pudesse: enuncie o efeito verdadeiro que você está supondo, o número de unidades e a aritmética exata.
- Diagnostique. Rode algumas milhares de vezes e leia três números: viés (as estimativas se centram na verdade que você plantou?), variância (quão larga é a dispersão?) e poder (com que frequência ele passa no limiar que você declarou?). Anote o teste e o limiar que usou, ou o número de poder não significa nada. Se a simulação estiver fora de alcance, registre cada número como “não estimado” e raciocine em palavras sobre a direção: para que lado você espera a inclinação, e o que alargaria a dispersão. Rotule esse raciocínio como raciocínio. Um número que você não computou não é diagnóstico.
- Nomeie o pior dos três, e diga que tipo de problema ele é. Balanço largo e poder baixo costumam ceder a uma amostra maior, mas não só a ela: medição mais afiada, grupos mais equilibrados e um contraste de tratamento mais forte também compram poder. Uma inclinação em quem acaba onde é problema de desenho, e uma amostra maior a torna mais precisa em vez de menos errada.
- Redesenhe uma vez. Mude exatamente uma coisa, a que o seu diagnóstico aponta, e diagnostique de novo. Registre os dois diagnósticos lado a lado para que a melhora fique visível.
- Tome a decisão honesta em uma frase: rodar como redesenhado, redesenhar de novo, ou estreitar a alegação para o que este desenho consegue de fato entregar. Os três são desfechos respeitáveis. Fingir que você nunca checou não é.
- Registre os dois diagnósticos no seu AI Research Ledger (registro de pesquisa com IA), e verifique o número-chave com um método nomeado do Guia de Verificação; a simulação é o método para uma alegação sobre como um procedimento se comporta, e o diagrama causal é a segunda checagem se a sua indagação usa a palavra causa. Um revisor de IA pode rodar o diagnóstico com você; a decisão de rodar, consertar ou estreitar continua sendo sua.